音视频入门基础——笔记

目录
流媒体学习框架图
音视频播放的原理
YUV和RGB
RGB 色彩空间
存储模式
存储模式
存储模式
YUV色彩空间
H264简介
流媒体学习框架图
音视频播放的原理
解协议->解封装->解码->音视频同步->播放。如果是本地播放，没有解协议这一步骤。
解协议，就是将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。
解封装，就是将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。
解码，就是将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如，RGB等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如PCM数据。
视音频同步，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。
流媒体协议是服务器与客户端之间通信遵循的规定。
音视频播放其实是一层层的去除协议、封装，再解码，最后得到原始数据。
YUV和RGB
图像编码格式_yh的博客-CSDN博客_图片编码格式
色彩空间与像素格式 - 叶余 - 博客园
RGB 色彩空间
颜色是不同波长的光对人眼刺激产生的色彩感觉。色彩空间(Color Space)是颜色的数学表示，根据不同的表示方法分为不同的色彩模型。最常用的色彩模型有三类：RGB(用于计算机图形学), YUV(用于视频系统), CMYK(用于彩色印刷) 。
彩色三要素
光的颜色取决于客观和主观两方面的因素。客观因素是光的功率波谱分布，它影响光源的颜色。主观因素是人眼视频特性，它影响人眼对色彩的感觉。彩色三要素指亮度()、色调(Hue)和饱和度()，任一色彩都可以用这三个基本参量来表示：
亮度表示颜色明暗的程度，是光作用于人眼时引起的明亮程度的感觉。
色调是指颜色的类别，例如红色、蓝色、绿色指的就是色调。
饱和度指颜色的深浅程度，也称彩度。例如深绿、浅绿指的就是绿色这个色调的饱和度，饱和度越高，颜色越深。
人眼看到的物体颜色，是光源照射到物体，物体吸收(还有透射)部分颜色的光，然后从物体表面反射的光线进入人眼后人眼得到的色彩感觉。
RGB颜色空间主要应用于计算机显示器、电视机、舞台灯光等，都具有发光特性。彩色像素在显示器屏幕上不会重叠，但足够的距离时，光线从像素扩散到视网膜上会重叠，人眼会感觉到重叠后的颜色效果。
RGB 色彩空间中每个像素点包含了 R、G、B 三种分量。RGB 存储模式也有和两类，这两种模式的区分在第 3 节中讲述。RGB 色彩空间及存储模式比较简单，我们挑几个有代表性的存储模式来简述一下：
存储模式
使用 16b(bit)表示一个像素，5b 用于 R，6b 用于 G，5b 用于 B 。如下：