H.264视频编码算法研究
常见的视频编码详解
常见的视频编码详解 A VI所采用的压缩算法并无统一的标准。也就是说，同样是以A VI为后缀的视频文件，其采用的压缩算法可能不同，需要相应的解压软件才能识别和回放该A VI文件。除了Microsoft 公司之外，其他公司也推出了自己的压缩算法，只要把该算法的驱动(Codec)加到Windows 系统中，就可以播放用该算法压缩的A VI文件。最新流行的MPEG-4视频也借用A VI的名称，只要机器安装了它的编码解码，也能够实现正常的播放。这些A VI都能够在用Authorware 或PowerPiont开发的作品当中正常放映。各种编码Codec所生成的A VI文件的大小和质量是不同的，对系统和硬件要求也不同。 因此在压缩A VI时，必须根据计算机的软硬件情况，来考虑采用什么Codec算法，否则你的作品中视频放映是难以令人满意的。下面就是对各种常见编码解码Codec的说明。 常见的视频编码 1、Cinepak Codec by Radius 它最初发布的时候是用在386的电脑上看小电影，在高数据压缩率下，有很高的播放速度。利用这种压缩方案可以取得较高的压缩比和较快的回放速度，但是它的压缩时间相对较长。 2、Microsoft Video 1 用于对模拟视频进行压缩，是一种有损压缩方案，最高仅达到256色，它的品质就可想而知，一般还是不要使用它来编码A VI。 3、Microsoft RLE 一种8位的编码方式，只能支持到256色。压缩动画或者是计算机合成的图像等具有大面积色块的素材可以使用它来编码，是一种无损压缩方案。 4、Microsoft H.261和H.263 Video Codec 用于视频会议的Codec，其中H.261适用于ISDN、DDN线路，H.263适用于局域网，不过一般机器上这种Codec是用来播放的，不能用于编码。 5、Intel Indeo Video R3.2 所有的Windows版本都能用Indeo video 3.2播放A VI编码。它压缩率比Cinepak大，但需要回放的计算机要比Cinepak的快。 6、Intel Indeo Video 4和5
视频压缩编码方法简介—AVI
视频压缩编码方法简介—AVI AVI（Audio Video Interleave）是一种音频视像交插记录的数字视频文件格式。1992年初Microsoft公司推出了AVI技术及其应用软件VFW（Video for Windows）。在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。这种按交替方式组织音频和视像数据的方式可使得读取视频数据流时能更有效地从存储媒介得到连续的信息。构成一个AVI文件的主要参数包括视像参数、伴音参数和压缩参数等： 1、视像参数 （1）、视窗尺寸（Video size）：根据不同的应用要求，AVI的视窗大小或分辨率可按4：3的比例或随意调整：大到全屏640×480，小到160×120甚至更低。窗口越大，视频文件的数据量越大。 （2）、帧率（Frames per second）：帧率也可以调整，而且与数据量成正比。不同的帧率会产生不同的画面连续效果。 2、伴音参数：在AVI文件中，视像和伴音是分别存储的，因此可以把一段视频中的视像与另一段视频中的伴音组合在一起。AVI 文件与WAV文件密切相关，因为WAV文件是AVI文件中伴音信号的来源。伴音的基本参数也即WAV文件格式的参数，除此以外，AVI文件还包括与音频有关的其他参数： （1）、视像与伴音的交织参数（Interlace Audio Every X Frames）AVI格式中每X帧交织存储的音频信号，也即伴音和视像交替的频率X是可调参数，X的最小值是一帧，即每个视频帧与音频数据交织组织，这是CD－ROM上使用的默认值。交织参数越小，回放AVI文件时
读到内存中的数据流越少，回放越容易连续。因此，如果AVI文件的存储平台的数据传输率较大，则交错参数可设置得高一些。当AVI文件存储在硬盘上时，也即从硬盘上读AVI文件进行播放时，可以使用大一些的交织频率，如几帧，甚至1秒。 （2）、同步控制（Synchronization） 在AVI文件中，视像和伴音是同步得很好的。但在MPC中回放AVI文件时则有可能出现视像和伴音不同步的现象。 （3）、压缩参数：在采集原始模拟视频时可以用不压缩的方式，这样可以获得最优秀的图像质量。编辑后应根据应用环境环择合适的压缩参数。 3、 AVI数字视频的特点 （1）、提供无硬件视频回放功能：AVI格式和VFW软件虽然是为当前的MPC设计的，但它也可以不断提高以适应MPC的发展。根据AVI格式的参数，其视窗的大小和帧率可以根据播放环境的硬件能力和处理速度进行调整。在低档MPC机上或在网络上播放时，VFW的视窗可以很小，色彩数和帧率可以很低；而在Pentium级系统上，对于64K色、320×240的压缩视频数据可实现每秒25帧的回放速率。这样，VFW就可以适用于不同的硬件平台，使用户可以在普通的MPC上进行数字视频信息的编辑和重放，而不需要昂贵的专门硬件设备。 （2）、实现同步控制和实时播放：通过同步控制参数，AVI可以通过自调整来适应重放环境，如果MPC的处理能力不够高，而AVI文件的数据率又较大，在WINDOWS环境下播放该AVI文件时，播放器可
常见的几种高清视频编码格式
高清视频的编码格式有五种，即H.264、MPEG-4、MPEG-2、WMA-HD以及VC-1。事实上，现在网络上流传的高清视频主要以两类文件的方式存在：一类是经过MPEG-2标准压缩，以tp和ts为后缀的视频流文件；一类是经过WMV-HD(Windows Media Video High Definition)标准压缩过的wmv文件，还有少数文件后缀为avi或mpg，其性质与wmv是一样的。真正效果好的高清视频更多地以H.264与VC-1这两种主流的编码格式流传。 H.264编码 H.264编码高清视频 H.264是由国际电信联盟(iTU-T)所制定的新一代的视频压缩格式。H.264 最具价值的部分是更高的数据压缩比，在同等的图像质量，H.264的数据压缩比能比当前DVD系统中使用的 MPEG-2高2～3倍，比MPEG-4高1.5～2倍。正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。在 MPEG-2需要6Mbps的传输速率匹配时，H.264只需要1Mbps～2Mbps 的传输速率，目前H.264已经获得DVD Forum与Blu-ray Disc Association采纳，成为新一代HD DVD的标准，不过H.264解码算法更复杂，计算要求比WMA-HD 还要高。 从ATI的Radeon X1000系列显卡、NVIDIA的GeForce 6/7系列显卡开始，它们均加入对H.264硬解码的支持。与MPEG-4一样，经过H.264压缩的视频文件一般也是采用avi 作为其后缀名，同样不容易辨认，只能通过解码器来自己识别。 总的来说，常见的几种高清视频编码格式的特点是能够以更低的码率得到更高的画质，相同效果的MPEG2与H.264影片做比较，后者在容量上仅需前者的一半左右。这也就意味着，H.264不仅能够节省HDTV的存储空间，而且还可以
视频文件格式和视频编码方式区别
目前网上的各种视频格式可以说是泛滥成灾，加上各个PMP(Portable Media Player,便携式媒体播放器)生产厂家的对自己产品在功能方面的炒作，使得很多人对视频格式的名称都是一头的雾水。 经常有些童鞋问我类似下面的问题。 A问我说：“我的MP4分明写着能播放AVI吗?为什么这一个AVI文件就播放不了？” B问：“我的MP4支持Mpeg-4啊，为什么Mp4文件不能播放呢？” 好的，下面我从最基本的概念给大家解释一下，顺便回答这两个问题 首先大家要清楚两个概念，视频文件格式和视频编码方式。 视频文件格式一般情况下从视频文件的后缀名就能看出来，比如AVI,Mp4,3gp,mov，rmvb等等。这些格式又叫做容器格式（container format），顾名思义就是用来装东西的，你可以把它想象成为一个便当盒，或者野餐篮（兄弟，你没吃早饭吧）。 通常我们从网上下载的电影都是有声音的（废话，难道你只看默片！众人扔香蕉皮），所以容器格式中一般至少包含有两个数据流（stream），一个视频流，一个音频流，就好比是一个便当盒里装着的配菜和米饭。 视频编码方式则是指容器格式中视频流数据的压缩编码方式，例如Mpeg-4，，，等等。而视频数据采用了何种编码方式是无法单单从文件格式的后缀上看出来的。就是说你无法从一个盖着盖子的便当盒外面看出里面装了什么配菜。 如果你想播放一个视频文件，第一步你的播放器（不论是软件的还是硬件的）要能够解析相应的容器格式，这一步也叫做解复用（demux），第二步你的播放器要能够解码其中所包含视频流和音频流。这样影片才能播放出来。 打个不太恰当的比方，播放器好比你雇用的一个试菜员，由他来品尝便当（视频文件），然后告诉你便当里装了什么东西。（没天理阿！我想自己吃，好的当然可以，0x00 00 01 B6 05 FF 36 1A 50 …… ……，俄~） 所以试菜员首先要懂得如何打开便当盒，还要知道吃的出来便当盒里装了什么配菜，这样你才能获得你想要的信息。 回过头来看前面的两个问题，用以上的比喻翻译一下。 问题A，我的试菜员能打开AVI这种便当的，为什么我不能知道里面装了什么？ 回答很简单，虽然他能够打开便当，但是吃不出里面的东西是什么。理论上没有一个播放器能够播放所有的AVI格式的电影，因为你不知道我会往里面放什么配菜。 问题B，我的试菜员吃过Mpeg-4这种牛排阿，为什么不能打开Mp4这种便当盒呢？ 这个问题通过翻译之后看起来已经不是问题了，Mpeg-4是视频编码方式，而Mp4是容器格式，两者本来就不是一个范畴里的东西。 好了下面简单介绍一下流行的视频格式。 AVI是音频视频交错（Audio Video Interleaved）的英文缩写，它是Microsoft公司开发的一种数字音频与视频文件格式，允许视频和音频交错在一起同步播放。 AVI文件的格式是公开并且免费的，大量的视频爱好者在使用这种文件格式。很多PMP 唯一能支持的格式就是AVI格式，一般的PMP都带有可以转换其他格式视频成为AVI格式的软件。 AVI文件采用的是RIFF（Resource Interchange File Format，资源互换文件格式）文件结构，RIFF是Microsoft公司定义的一种用于管理windows环境中多媒体数据的文件格
音视频编码技术
音视频编码技术报告 姓名: 学号： 学院(系):电子与信息工程学院 专业: 电子与通信工程 题目: 基于DCT变换的图像压缩技术的仿真
1.引言 在信息世界迅猛发展的今天, 人们对计算机实时处理图像信息的要求越来越高。如何在保证图像质量的前提下, 同时兼顾实时性和高效性成了一个值得关注的问题。于是, 对图像信息进行一定的压缩处理成为了一个不可或缺的环节。图像压缩是关于用最少的数据量来表示尽可能多的原图像的信息的一个过程。 本文主要研究基于DCT 变换的有损压缩编码技术。离散余弦变换, 简称DCT , 是一种实数域变换, 其变换核为余弦函数, 计算速度快。DCT 除了具有一般的正交变换性质外, 它的变换阵的基向量能很好地描述人类语音信号和图像 信号的相关特征。因此, 在对语音信号、图像信号的变换中,DCT 变换被认为是一种准最佳变换。近年颁布的一系列视频压缩编码的国际标准建议中, 都把DCT 作为其中的一个基本处理模块。而且对于具有一阶马尔柯夫过程的随机信 号,DCT 十分接近于Karhunen -Loeve 变换, 也就是说它是一种最佳近似变换。 2.图像压缩编码的简介 从信息论的角度看，图像是一个信源。描述信源的数据是信息量和信息量冗余之和。数据压缩实际上就是减少这些冗余量。图像编码压缩的方法目前有很多，其分类方法根据出发点不同而有差异。根据解压重建后的图像和原始图像之间是否具有误差（对原图像的保真程度），图像编码压缩分为无误差（亦称无失真、无损、信息保持）编码和有误差（有失真或有损）编码两大类。 无损压缩（冗余度压缩、可逆压缩）：是一种在解码时可以精确地恢复原图像，没有任何损失的编码方法，但是压缩比不大，通常只能获得1~5倍的压缩比。用于要求重建后图像严格地和原始图像保持相同的场合，例如复制、保存十分珍贵的历史、文物图像等。 有损压缩（不可逆压缩）：只能对原始图像进行近似的重建，而不能精确复原，适合大数工用于存储数字化了的模拟数据。压缩比大，但有信息损失，本文采用有损压缩。 DCT图像压缩编码可以概括成图2.1的框图。 图2.1 DCT压缩编码过程简化 3.DCT变换 最小均方误差下得到的最佳正交变化是K-L变换，而离散余弦变换(DCT)是仅次于K-L变换的次最佳变换，目前已获得广泛应用。离散预先变换DCT用于图像压缩操作中的基本思路是，将图像分为8×8的子块或16×16的子块，并对每一个子块进行单独的DCT变换，然后对变换结果进行量化、编码。
视频编码标准汇总及比较
视频编码标准汇总及比较 MPEG-1 类型：Audio&Video 制定者：MPEG(Moving Picture Expert Group) 所需频宽：2Mbps 特性：对动作不激烈的视频信号可获得较好的图像质量，但当动作激烈时，图像就会产生马赛克现象。它没有定义用于额外数据流进行编对码的格式，因此这种技术不能广泛推广。它主要用于家用VCD，它需要的存储空间比较大。 优点：对动作不激烈的视频信号可获得较好的图像质量。 缺点：当动作激烈时，图像就会产生马赛克现象。它没有定义用于额外数据流进行编对码的格式，因此这种技术不能广泛推广。 应用领域：Mixer 版权方式：Free 备注：MPEG-1即俗称的VCD。MPEG是ISO/IEC JTC1 1988年成立的运动图像专家组（Moving Picture Expert Group）的简称，负责数字视频、音频和其他媒体的压缩、解压缩、处理和表示等国际技术标准的制定工作。MPEG-1制定于1992年，它是将视频数据压缩成1~2Mb/s的标准数据流。对于清晰度为352×288的彩色画面，采用25帧/秒，压缩比为50：1时，实时录像一个小时，经计算可知需存储空间为600MB左右，若是8路图像以每天录像10小时，每月30天算，则要求硬盘存储容量为1440GB，则显然是不能被接受的。 --------------------------------------------------------------------------------------------- MPEG-2
类型：Audio&Video 制定者：MPEG(Moving Picture Expert Group) 所需频宽：视频上4.3Mbps，音频上最低的采样率为16kHz 特性：编码码率从每秒3兆比特～100兆比特，是广播级质量的图像压缩标准，并具有CD 级的音质。MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道。作为MPEG-1的兼容性扩展，MPEG-2支持隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨率的场合。但是MPEG-2标准数据量依然很大，不便存放和传输。 优点：MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道，具有CD级的音质。可提供一个较广的范围改变压缩比，以适应不同画面质量、存储容量以及带宽的要求。支持隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨率的场合。 缺点：压缩比较低，数据量依然很大，不便存放和传输，如用于网络方面则需要较高的网络带宽，因此不太适合用于Internet和VOD点播方面。 应用领域：Mixer 版税方式：按个收取(最初的收费对象为解码设备和编码设备，中国DVD制造商每生产一台DVD需要交纳专利费16.5美元。向解码设备和编码设备收取的专利授权费每台2.5美元) 备注：MPEG-2是其颁布的（活动图像及声音编码）国际标准之一，制定于1994年，是为高级工业标准的图像质量以及更高的传输率而设计，为了力争获得更高的分辨率 （720×486），提供广播级视频和CD级的音频，它是高质量视频音频编码标准。在常规电视的数字化、高清晰电视HDTV、视频点播VOD，交互式电视等各个领域中都是核心的技术之一。由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也可播放MPEG-1格式的数据，如VCD。MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道。我们平时所说的DVD就是采用MPEG-2编码压缩，所以可有8种语言的配音。除了作为DVD的指定标准外，MPEG-2的应用前景非常的广阔，
视频编码的基本原理及基本框架
视频编码的基本原理及基本框架 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。 去时域冗余信息 使用帧间编码技术可去除时域冗余信息，它包括以下三部分： －运动补偿 运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。 －运动表示 不同区域的图像需要使用不同的运动矢量来描述运动信息。运动矢量通过熵编码进行压缩。－运动估计 运动估计是从视频序列中抽取运动信息的一整套技术。 注：通用的压缩标准都使用基于块的运动估计和运动补偿 去空域冗余信息 主要使用帧内编码技术和熵编码技术： －变换编码 帧内图像和预测差分信号都有很高的空域冗余信息。变换编码将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。 －量化编码 经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达到一定的位率。这一过程导致精度的降低。
熵编码是无损编码。它对变换、量化后得到的系数和运动信息，进行进一步的压缩。 视频编码的基本框架 H.261 H.261标准是为ISDN设计，主要针对实时编码和解码设计，压缩和解压缩的信号延时不超过150ms，码率px64kbps(p=1~30)。 H.261标准主要采用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩技术。只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。支持两种图像扫描格式：QCIF 和CIF。 H.263 H.263标准是甚低码率的图像编码国际标准，它一方面以H.261为基础，以混合编码为核心，其基本原理框图和H.261十分相似，原始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其它一些国际标准中有效、合理的部分，如：半像素精度的运动估计、PB帧预测等，使它性能优于H.261。 H.263使用的位率可小于64Kb/s,且传输比特率可不固定（变码率）。H.263支持多种分辨率：SQCIF(128x96)、QCIF、CIF、4CIF、16CIF。 与H.261和H.263相关的国际标准 与H.261有关的国际标准 H.320：窄带可视电话系统和终端设备； H.221：视听电信业务中64~1 920Kb/s信道的帧结构； H.230：视听系统的帧同步控制和指示信号； H.242：使用直到2Mb/s数字信道的视听终端的系统。 与H.263有关的国际标准 H.324：甚低码率多媒体通信终端设备； H.223：甚低码率多媒体通信复合协议； H.245：多媒体通信控制协议； G.723.1.1：传输速率为5.3Kb/s和6.3Kb/s的语音编码器。 JPEG 国际标准化组织于1986年成立了JPEG(Joint Photographic Expert Group)联合图片专家小组，主要致力于制定连续色调、多级灰度、静态图像的数字图像压缩编码标准。常用的基于离散余弦变换(DCT)的编码方法，是JPEG算法的核心内容。
三维视频编码技术的发展与挑战
收稿日期：2011－03－16；修回日期：2011－05－09。 基金项目：国家自然科学基金资助项目（30970780）；北京市自然科学基金及教委重点科技项目（KZ200910005005）。作者简介：邓智玭（1983－），女，湖南邵阳人，博士研究生，主要研究方向：视频编码；贾克斌（1962－），男，北京人，教授，博士生导师，主要研究方向：多媒体技术；陈锐霖（1971－），男，香港人，教授，博士生导师，主要研究方向：视频技术；伏长虹（1981－），男，香港人，副教授，主要研究方向：视频编码；萧允治（1954－），男，香港人，教授，博士生导师，主要研究方向：视频编码。 文章编号：1001－9081（2011）09－2453－04 doi ：10．3724/SP．J．1087．2011．02453 三维视频编码技术的发展与挑战 邓智玭1，2，贾克斌1，陈锐霖2，伏长虹2，萧允治 2 （1．北京工业大学电子信息与控制工程学院，北京100124；2．香港理工大学电子资讯工程系，香港九龙） (zhipindeng@gmail．com;kebinj@bjut．edu．cn) 摘 要：介绍了三维视频编码的核心技术。首先比较了纯视频格式和深度增强格式三维视频编码技术的发展方 向及面临的挑战，其中重点分析了深度估计技术和视点合成技术的研究思路；然后概括了国际3DV /FTV 标准的制定 现状；最后对三维视频编码技术进行了总结和展望。 关键词：三维视频；多视点视频；立体视频；视频编码；深度图 中图分类号：TN919．81 文献标志码：A New trend and challenges in 3D video coding DENG Zhi-pin 1，2，JIA Ke-bin 1，CHAN Yui-lam 2，FU Chang-hong 2，SIU Wan-chi 2 (1．College of Electronic Information and Control Engineering，Beijing University of Technology，Beijing 100124，China ；2．Department of Electronic and Information Engineering，The Hong Kong Polytechnic University，Kowloon Hongkong，China ) Abstract:The key technologies of 3D video coding were introduced．Firstly，the developing directions and challenges of video-only format and depth-enhancement format 3D videos were elaborated．The depth estimation and view synthesis technologies were analyzed in detail．Subsequently，the process of standardizing the current 3DV /FTV standard of MPEG was summarized．The conclusion and prospect were given at last． Key words:3D video;multiview video;stereoscopic video;video coding;depth map 0引言 近二十年来，视频广播技术发生了重大变革，从20世纪的模拟电视到数字电视、高清数字电视，乃至现在的三维电 视，视频技术随着人们生活水平的提高不断发展进步 ［1－2］ 。当今世界，人们已经不再满足于传统的单目视频带来的视觉感受，具有临场感和交互性的三维立体视频以其独特的景深 效果给用户带来前所未有的奇妙体验［3］ 。随着好莱坞推出《阿凡达》等立体电影，三维视频技术逐渐成为多媒体信息产 业的热门话题［4－6］ 。与传统的单目视频相比，三维视频包含的数据量成倍增加［7］ 。为了避免信道中数据量激增，必须对其进行有效的编码压缩。近年来，全球各大研究机构都投入大量精力对三维视频编码技术进行深入研究。 1三维视频编码技术 根据传输形式不同将三维视频分为两大类：1）纯视频格 式，需要传输所有视角的数据［8］ ；2）深度增强格式，传输有限个单目视频及其深度序列， 在解码端利用视点合成技术生成虚拟视点［9］ 。这两类三维视频由于传输形式不同而采用不同的编码方式。 1．1纯视频格式三维视频 纯视频格式三维视频由多路具有细微视角差异的视频组成，由两台（或多台）相邻摄像机从不同角度同时对同一场景进行拍摄得到，这些视频可以直接在三维立体显示设备上播放。1．1．1 立体视频编码 最直接的双通道立体视频编码方式是采用Simulcast 方 法直接对左右视点数据进行独立压缩，如图1（a ）所示，但是 左右视点间的相关性没有得到利用，编码效率较低［10］ 。早在 十几年前， MPEG-2Multiview Profile 就提出结合左右视点之间的交叉相关性和同一视点内部的时空相关性来提高立体视频编码效率［11－12］ 。近年来，立体补充增强信息（Stereo Supplemental Enhancement Information ，Stereo SEI ）和帧组合补 充增强信息（Frame Packing Arrangement SEI ）被纳入到H.264/AVC 中［13］。根据Stereo SEI ，在编码前将左右视点以左右/上下方式交错排列成一段视频，然后通过场间预测来消除视点间的交叉冗余，在解码端通过反交错将立体视频还原成两段独立视点，如图1（b ）所示。该方式与原有的H．264编 解码器完美兼容， 不需要改变原有硬件结构。2009年7月，国际运动图像专家组（Moving Picture Expert Group ，MPEG ）颁 布了MPEG-4AVC Stereo High Profile ，作为多视点视频编码 （Multiview Video Coding ，MVC ）标准的一个子集［14］。然而，Stereo High Profile 只适用于逐行和隔行扫描的双通道立体视频序列，不支持临场感更强的多视点视频和自由视点视频。1．1．2 多视点视频编码 多视点视频是由多台相邻摄像机从不同角度对同一场景 进行拍摄得到的多路视频序列［15］ 。多视点视频的数据量巨 大，相邻视点间的交叉冗余信息比双通道立体视频大得多，为 了最大限度地提高压缩率， 在编码时采用一种基于分层B 帧（Hierarchical B Pictures ，HBP ）的视点—时间金字塔型预测结构［16－18］ ，如图2所示。该结构被MVC 的官方测试模型JMVC 采纳［19］ 。 2009年1月，国际联合视频小组（Joint Video Team ，JVT ） 第31卷第9期2011年9月 计算机应用 Journal of Computer Applications Vol．31No．9Sep．2011
视频压缩编码方法简介—AVI
视频压缩编码方法简介—A V I A VI（Audio Video Interleave）是一种音频视像交插记录的数字视频文件格式。1992年初Microsoft公司推出了A VI技术及其应用软件VFW（Video for Windows）。在A VI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。这种按交替方式组织音频和视像数据的方式可使得读取视频数据流时能更有效地从存储媒介得到连续的信息。构成一个A VI文件的主要参数包括视像参数、伴音参数和压缩参数等。 1.视像参数 （1）视窗尺寸（Video size）。根据不同的应用要求，A VI的视窗大小或分辨率可按4:3的比例或随意调整，大到全屏640×480，小到160×120甚至更低。窗口越大，视频文件的数据量越大。 （2）帧率（Frames per second）。帧率也可以调整，而且与数据量成正比。不同的帧率会产生不同的画面连续效果。 2.伴音参数。在A VI文件中，视像和伴音是分别存储的，因此可以把一段视频中的视像与另一段视频中的伴音组合在一起。A VI文件与WA V文件密切相关，因为WA V文件是A VI文件中伴音信号的来源。伴音的基本参数也即WA V文件格式的参数，除此以外，A VI文件还包括与音频有关的其他参数。 （1）视像与伴音的交织参数（Interlace Audio Every X Frames）。A VI格式中每X帧交织存储的音频信号，也即伴音和视像交替的频率X是可调参数，X的最小值是一帧，即每个视频帧与音频数据交织组织，这是CD－ROM上使用的默认值。交织参数越小，回放A VI文件时读到内存中的数据流越少，回放越容易连续。因此，如果A VI文件的存储平台的数据传输率较大，则交错参数可设置得高一些。当A VI文件存储在硬盘上时，也即从硬盘上读A VI文件进行播放时，可以使用大一些的交织频率，如几帧，甚至1秒。 （2）同步控制（Synchronization）。在A VI文件中，视像和伴音是同步得很好的。但在MPC中回放A VI文件时则有可能出现视像和伴音不同步的现象。 （3）压缩参数。在采集原始模拟视频时可以用不压缩的方式，这样可以获得最优秀的图像质量。编辑后应根据应用环境选择合适的压缩参数。 3.A VI数字视频的特点 （1）提供无硬件视频回放功能。A VI格式和VFW软件虽然是为当前的MPC设计的，但它也可以不断提高以适应MPC的发展。根据A VI格式的参数，其视窗的大小和帧率可以根据播放环境的硬件能力和处理速度进行调整。在低档MPC机上或在网络上播放时，VFW的视窗可以很小，色彩数和帧率可以很低；而在Pentium级系统上，对于64K色、320×240的压缩视频数据可实现每秒25帧的回放速率。这样，VFW就可以适用于不同的硬件平台，使用户可以在普通的MPC上进行数字视频信息的编辑和重放，而不需要昂贵的专门硬件设备。 （2）实现同步控制和实时播放。通过同步控制参数，A VI可以通过自调整来适应重放环境，如果MPC 的处理能力不够高，而A VI文件的数据率又较大，在WINDOWS环境下播放该A VI文件时，播放器可以通过丢掉某些帧，调整A VI的实际播放数据率来达到视频、音频同步的效果。 （3）可以高效地播放存储在硬盘和光盘上的A VI文件。由于A VI数据的交叉存储，VFW播放A VI数据时只需占用有限的内存空间，因为播放程序可以一边读取硬盘或光盘上的视频数据一边播放，而无需预先把容量很大的视频数据加载到内存中。在播放A VI视频数据时，只需在指定的时间内访问少量的视频图像和部分音频数据。这种方式不仅可以提高系统的工作效率，同时也可以实现迅速地加载和快速地启动播放程序，减少播放A VI视频数据时用户的等待时间。 （4）提供了开放的A VI数字视频文件结构。A VI文件结构不仅解决了音频和视频的同步问题，而且具有通用和开放的特点。它可以在任何Windows环境下工作，而且还具有扩展环境的功能。用户可以开发自己的A VI视频文件，在Windows环境下可随时调用。 （5）A VI文件可以再编辑。A VI一般采用帧内有损压缩，可以用一般的视频编辑软件如Adobe Premiere 或MediaStudio进行再编辑和处理。
音频、视频压缩有哪些技术标准
音频、视频压缩有哪些技术标准？ 视频压缩技术有：MPEG-4、H263、H263+、H264等 MPEG-4视频编码技术介绍 MPEG是“Moving Picture Experts Group”的简称，在它之前的标准叫做JPEG，即“Joint Photographic Experts Group”。当人们用到常见的“.jpg”格式时，实际上正在使用JPEG的标准。JPEG规范了现代视频压缩的基础，而MPEG把JPEG 标准扩展到了运动图象。 MPEG-4视频编码标准支持MPEG-1、MPEG-2中的大多数功能，它包含了H.263的核心设计，并增加了优先特性和各种各样创造性的新特性。它提供不同的视频标准源格式、码率、帧频下矩形图像的有效编码，同时也支持基于内容的图像编码。采纳了基于对象(Object-Based)的编码、基于模型(Model-based)的编码等第二代编码技术是MPEG-4标准的主要特征。 MPEG4与MPEG1、MPEG2的比较 从上表可以看出，MPEG1和MPEG2主要应用于固定媒体，比如 VCD 和 DVD ，而对于网络传输，MPEG4具有无可比拟的优势。 H.263/H.263+/H.264视频编码技术介绍 1.H.263视频编码标准 1.H.263是最早用于低码率视频编码的ITU-T标准，随后出现的第二 版(H.263+)及H.263++增加了许多选项，使其具有更广泛的适用性。 H.263是ITU-T为低于64kb/s的窄带通信信道制定的视频编码标准。 它是在H.261基础上发展起来的，其标准输入图像格式可以是
S-QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亚取样图像。 H.263与H.261相比采用了半象素的运动补偿，并增加了4种有效的 压缩编码模式。 2.H.263+视频压缩标准 1.ITU-T在H.263发布后又修订发布了H.263标准的版本2，非正式 地命名为H.263+标准。它在保证原H.263标准核心句法和语义不变 的基础上，增加了若干选项以提高压缩效率或改善某方面的功能。原 H.263标准限制了其应用的图像输入格式，仅允许5种视频源格式。 H.263+标准允许更大范围的图像输入格式，自定义图像的尺寸，从而 拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高 帧频的图像序列及宽屏图像。为提高压缩效率，H.263+采用先进的帧 内编码模式；增强的PB-帧模式改进了H.263的不足，增强了帧间预 测的效果；去块效应滤波器不仅提高了压缩效率，而且提供重建图像 的主观质量。为适应网络传输，H.263+增加了时间分级、信噪比和空 间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有 意义；另外，片结构模式、参考帧选择模式增强了视频传输的抗误码 能力。 3.H.264视频压缩标准 1.H.264是由ISO/IEC与ITU-T组成的联合视频组(JVT)制定的新一 代视频压缩编码标准。对信道时延的适应性较强，既可工作于低时延 模式以满足实时业务，如会议电视等；又可工作于无时延限制的场合， 如视频存储等。 2.提高网络适应性，采用“网络友好”的结构和语法，加强对误码和 丢包的处理，提高解码器的差错恢复能力。 3.在编/解码器中采用复杂度可分级设计，在图像质量和编码处理之 间可分级，以适应不同复杂度的应用。 4.相对于先期的视频压缩标准，H.264引入了很多先进的技术，包括 4×4整数变换、空域内的帧内预测、1/4象素精度的运动估计、多参 考帧与多种大小块的帧间预测技术等。新技术带来了较高的压缩比， 同时大大提高了算法的复杂度。 G.7xx系列典型语音压缩标准介绍 G.7xx 是一组 ITU-T 标准，用于视频压缩和解压过程。它主要用于电话方面。在电话学中，有两个主要的算法，分别定义在 mu-law 算法（美国使用）和 a-law 算法（欧洲及世界其他国家使用），两者都是对数关系，但对于计算机的处理来说，后者的设计更为简单。 国际电信联盟G系列典型语音压缩标准的参数比较：
各种音视频编解码学习详解 h264
各种音视频编解码学习详解h264 ，mpeg4 ，aac 等所有音视频格式 编解码学习笔记（一）：基本概念 媒体业务是网络的主要业务之间。尤其移动互联网业务的兴起，在运营商和应用开发商中，媒体业务份量极重，其中媒体的编解码服务涉及需求分析、应用开发、释放license收费等等。最近因为项目的关系，需要理清媒体的codec，比较搞的是，在豆丁网上看运营商的规范标准，同一运营商同样的业务在不同文档中不同的要求，而且有些要求就我看来应当是历史的延续，也就是现在已经很少采用了。所以豆丁上看不出所以然，从wiki上查。中文的wiki信息量有限，很短，而wiki的英文内容内多，删减版也减肥得太过。我在网上还看到一个山寨的中文wiki，长得很像，红色的，叫―天下维客‖。wiki的中文还是很不错的，但是阅读后建议再阅读英文。 我对媒体codec做了一些整理和总结，资料来源于wiki，小部分来源于网络博客的收集。网友资料我们将给出来源。如果资料已经转手几趟就没办法，雁过留声，我们只能给出某个轨迹。 基本概念 编解码 编解码器（codec）指的是一个能够对一个信号或者一个数据流进行变换的设备或者程序。这里指的变换既包括将信号或者数据流进行编码（通常是为了传输、存储或者加密）或者提取得到一个编码流的操作，也包括为了观察或者处理从这个编码流中恢复适合观察或操作的形式的操作。编解码器经常用在视频会议和流媒体等应用中。 容器 很多多媒体数据流需要同时包含音频数据和视频数据，这时通常会加入一些用于音频和视频数据同步的元数据，例如字幕。这三种数据流可能会被不同的程序，进程或者硬件处理，但是当它们传输或者存储的时候，这三种数据通常是被封装在一起的。通常这种封装是通过视频文件格式来实现的，例如常见的*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 这些格式中有些只能使用某些编解码器，而更多可以以容器的方式使用各种编解码器。 FourCC全称Four-Character Codes，是由4个字符（4 bytes）组成，是一种独立标示视频数据流格式的四字节，在wav、a vi档案之中会有一段FourCC来描述这个AVI档案，是利用何种codec来编码的。因此wav、avi大量存在等于―IDP3‖的FourCC。 视频是现在电脑中多媒体系统中的重要一环。为了适应储存视频的需要，人们设定了不同的视频文件格式来把视频和音频放在一个文件中，以方便同时回放。视频档实际上都是一个容器里面包裹着不同的轨道，使用的容器的格式关系到视频档的可扩展性。 参数介绍 采样率 采样率（也称为采样速度或者采样频率）定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。采样频率的倒数叫作采样周期或采样时间，它是采样之间的时间间隔。注意不要将采样率与比特率（bit rate，亦称―位速率‖）相混淆。
视频编解码芯片
芯片厂商如何改变视频监控行业(1) 随着中国安防市场近年来的迅速增长，芯片市场也随之得到了强劲发展。安防行业的需求逐渐明确，芯片厂家开始关注并主动去推广安防这个潜力巨大的市场。安防行业的发展吸引了越来越多的芯片厂商加入，成为继工业自动化、消费电子、电话机等领域之后一个新的利润角逐场。 然而，表象背后，是否会续写PC电脑行业的悲哀，频频受制于英特尔？“狼来了”的口号是否会在安防行业响起？值得我们欣慰的是，安防行业产品种类繁多，应用情况又各不相同，这也就决定了芯片厂商还没有能力“一手遮天”。 未来，将会有越来越多的芯片厂商将目光投向SoC芯片，致力于提高集成度，引入先进工艺，降低系统成本，改善系统性能以增强市场竞争力。为下游用户带来更多价值，从而推动产业向更深、更广的范围发展。 目前，中国已成为全球最大的安防市场。中国安防产值从十年前两百多亿元增长到目前的两千亿元，安防各类产品、系统、解决方案的应用层出不穷，安防市场出现难得的“百花齐放”的景象。然而，繁华背后却隐藏着些许担忧。核心技术的缺失，阻碍了中国安防技术源动力的蓬勃发展，成为中国安防市场向高端科技领域进军的掣肘。那么，是谁在禁锢着安防技术？谁又在影响和改变着安防呢？毋庸置疑，芯片决定着安防技术的级别。 随着“平安城市”、“北京奥运”等重大项目的带动，中国视频监控市场呈现迅猛发展的态势，以年均40%的速度傲视整个安防市场。视频监控市场需求的不断增长，除了引起安防监控设备厂商的关注，同样也引起了视频监控核心器件——芯片生产商的广泛关注。作为安防产品的上游核心客户，芯片厂商“跺一跺脚”就会直接影响着安防设备生产商们的生死存亡。TI、NXP、ADI、Techwell等一大批国际半导体企业将目光投向中国安防市场，量身打造一些符合中国安防市场使用的芯片，对推动中国安防市场的蓬勃发展起到了一定积极的作用。另外，像中国台湾和中国大陆的一些芯片商也纷纷拿出“看家本领”，进一步推动了中国安防市场的发展。海思、中星微、升迈、映佳等纷纷涉足视频监控处理芯片领域。 芯片厂商发力视频监控市场 1999年，恩智浦PNX1300芯片在中国推广并得到应用之后，2003年，TI推出通用数字媒体处理器TMS320DM642，正式进军中国数字视频监控领域。2006年左右，海思作为全球率先推出H.264 SoC监控专用芯片的半导体公司，在綷-历了三年多的调研和研发之后，进入到大家的视野之中。几乎在同一时间，台湾升迈开始整合ARMcore，兼容FA526CPU 和MPEG4/MJPEGcodec及多项外围IP，为数字监控量身打造视频编解码芯片SoC。 基于国内蓬勃发展的监控形势，海思自2006年在全球推出首款针对安防应用的H.264 SoC开始，至今已綷-发展到了第三代SoC芯片，已成为国内领先的视频监控解决方案供应商。海思半导体有限公司成立于2004年10月，前身是建于1991年的华为集成电路设计中心。作为领先的本土芯片提供商，海思的产品线覆盖无线网络、固定网络、数字媒体等领域的芯片及解决方案，并成功应用于全球100多个国家和地区。 在中国芯片业发展的历史上，有这样一家公司为历史所铭记，它的名字叫“中星微电子有限公司”。这家承担了国家战略项目——“星光中国芯工程”的企业，致力于数字多媒体芯片的开发、设计和产业化。中星微电子从2006年开始投入IP视频监控系统的研发和设计，在网络摄像机专用芯片、终端以及运营级网络视频监控平台等方面持续投入，并取得了一系列的成果。目前，中星微依靠多媒体芯片、视频编解码、智能、网络产品开发的技术积累，提供多媒体处理芯片、高清网络摄像机、硬件视频智能分析终端、视频监控统一媒体平台四大视频监控组件，并在此基础上提供视频监控应用解决方案。 有专家指出，安防用的芯片具有几个显著特点：一是长时间不间断工作，二是多视频的
H.264视频编码标准分析和算法优化
H.264编码标准的分析和算法优化 一、研究背景： 随着社会的不断进步和多媒体信息技术的发展，人们对信息的需求越来越丰富，方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。其中视觉信息给人们直观、生动的形象，因此图像与视频的传输更受到广泛的关注。然而，视频数据具有庞大的数据量，以普通的25帧每秒，CIF格式（分辨率为352×288）的视频图像为例，一秒钟的原始视频数据速率高达3.8M字节。不对视频信号进行压缩根本无法实时传输如此庞大的数据量，因此，视频压缩技术成为研究热点。 随着近几年来视频图像传输领域的不断扩展，以往的标准己经难于适应不同信道的传输特征及新兴的应用环境。为此，ISO/IEC&ITU-T共同开发了最新视频编码标准H.264/AVC。相对以前的视频编码标准，H.264集成了许多新的视频压缩技术，具有更高的压缩效率和图像质量。在同等的图像质量条件下，H.264的数据压缩比是应用于当前DVD系统MPEG-2的2~3倍，比MPEG-4高1.5~2倍，并且具有更好的网络友好性。但是H.264高压缩比的代价是编码器计算复杂度大幅度地提高。因此在保持编码效率几乎不变的同时尽可能提高编码速度是H.264/AVC视频编码标准能否得到广泛应用的关键。 在上述研究背景下，本文深入探讨了H.264/AVC标准，分析了编码器主要耗时模块的工作原理，提出三种降低H.264/AVC高计算复杂度的优化算法――快速帧内预测模式选择算法、快速帧间预测模式选择算法以及快速运动估计算法。实验结果表明：本文所提快速算法都可大幅度地降低H.264编码器的计算复杂度，并且保持基本不变的编码效率。 二、新一代视频编码标准H.264简介： 编码标准演进过程：H.261 MPEG-1 MPEG-2 H.263 MPEG-4 从视频编码标准的发展历程来看，视频编码标准都有一个不断追求的目标：在尽可能低的码率（或存储容量）下获得尽可能好的图像质量。MPEG-2、MPEG-4、H.263等标准都取得了巨大的成功，但在应用中也发现一些问题。H.263众多的选项往往令使用者无所适从；MPEG-2压缩效率己显略低；引人注目的MPEG-4的“基于对象的编码”由于尚有技术障碍，目前还难以普遍应用。在此背景下，两大国际标准化组织ITU-T和ISO共同制定了新一代视频编码标准H.264。该编码标准在混合编码的框架下引入新的编码方式，解决了目前编码标 准存在的问题，进一步贴近实际应用，其应用前景是不言而喻的。 三、H.264视频编码标准概述 JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。JVT的工作已于2003年3月被ITU-T采纳，新的视频编码标准称为H.264标准。该标准也被ISO采纳，称为AVC（Advanced Video Coding）标准，是国际标准ISO14496-10（MPEG-4的第10部分），因此总称为H.264/AVC。 H.264着重于提高压缩效率和传输的可靠性，因而其应用面十分广泛。具体来说，H.264支持三个不同档次的应用： 1、基本档次：H.264简单版本，应用面广，主要用于视频会话，如会议电视、可视电话、远程医疗、远程教学等。 2、主要档次：采用了多项提高图像质量和增加压缩比的技术措施，主要用于消费电子应用，可用于SDTV、HDTV和DVD等。 3、扩展档次：主要用于各种网络的视频流传输，如视频点播等。