视频信号处理与研究报告

视频信号处理与传输课程研究报告

课程目的：

让学生系统地理解和掌握视频信息的采集，压缩编码，运动估计，滤波，数字水印的嵌入与抽取、视频信息检索，视频信息传输等数字视频技术，并灵活应用。注重理论与实践结合，培养学生在视频信息处理与传输应用领域从事科研，教学，产品设计与管理工作的初步能力。

视频信号采集：

CCD图像传感器,也就是电荷耦合器件图像传感器。可以将图像资料由光信号转换成电信号,是一种进入影像世界不可缺少的取像元件。CCD图像传感器与传统的摄像管比较,具有体积小、重量轻、用电省、价格低、寿命长、防震性强以及不受磁场影响等优点。近年来在多种多样的电子产品中,CCD图像传感器取代摄像管,成为电子影像输入的最佳元件。目前,CCD图像传感

视频采集卡又称视频捕捉卡，用它可以获取数字化视频信息，并将其存储和播放

出来。很多视频采集卡能在捕捉视频信息的同时获得伴音，使音频部分和视频部分在数字化时同步保存、同步播放。

视频采集卡，“Video Capture Card”，其功能是将视频信号采集到电脑中，以数据文件的形式保存在硬盘上。它是我们进行视频处理必不可少的硬件设备，通过它对数字化的视频信号进行后期编辑处理、比如剪切画面、添加滤镱、字幕和音效、设置转场效果以及加入各种视频特效等等，最后将编辑完成的视频信号转换成标准的VCD、DVD以及网上流媒体等格式，方便传播。

视频（Video)是多幅静止图像(图像帧）与连续的音频信息在时间轴上同步运动的混合媒体，多帧图像随时间变化而产生运动感，因此视频也被称为运动图像。按照视频的存储与处理方式不同，可分为模拟视频和数字视频两种.

视频采集就是将视频源的模拟信号通过处理转变成数字信号（即0和1），并将这些数字信息存储在电脑硬盘上的过程。这种模拟/数字转变是通过视频采集卡上的采集芯片进行的。

视频压缩编码

必要性：以较少的数据来表示图像，

可以节约存储器的空间，节省传输信道带宽，加快处理速度。

可行性：冗余越大，可压缩的程度就越高。

1.由于相邻像素之间存在关联而产生大量的空间冗余。

2.由于彩色元素间存在相互关联而产生大量的频谱冗余。

3.鱼油人类视觉系统特点而引起的大量心理视觉冗余。

视频压缩的评价指标：

压缩速度，压缩质量，客观保真度，主观保真度，计算量

压缩编码的方法：

1.变换编码：

变换编码的作用是将空间域描述的图像信号变换到频率域，然后对变换后的系数进行编码处理。一般来说，图像在空间上具有较强的相关性，变换到频率域可以实现去相关和能量集中。常用的正交变换有离散傅里叶变换，离散余弦变换等等。数字视频压缩过程中应用广泛的是离散余弦变换。

离散余弦变换简称为DCT变换。它可以将L*L的图像块从空间域变换为频率域。所以，在基于DCT的图像压缩编码过程中，首先需要将图像分成互不重叠的图像块。假设一帧图像的大小为1280*720，首先将其以网格状的形式分成160*90个尺寸为8*8的彼此没有重叠的图像块，接下来才能对每个图像块进行DCT变换。

2.运动估计和运动补偿

3.熵编码

熵编码是因编码后的平均码长接近信源熵值而得名。熵编码多用可变字长编码（VLC，Variable Length Coding）实现。其基本原理是对信源中出现概率大的符号赋予短码，对于出现概率小的符号赋予长码，从而在统计上获得较短的平均码长。可变字长编码通常有霍夫曼编码、算术编码、游程编码等。其中游程编

码是一种十分简单的压缩方法，它的压缩效率不高，但编码、解码速度快，仍被得到广泛的应用，特别在变换编码之后使用游程编码，有很好的效果。

4.混合编码

混合编码（即变换编码+ 运动估计和运动补偿+ 熵编码）的模型。该模型普遍应用于MPEG1，MPEG2，H.264等标准中。

混合编码模型

从图中我们可以看到，当前输入的图像首先要经过分块，分块得到的图像块要与经过运动补偿的预测图像相减得到差值图像X，然后对该差值图像块进行DCT变换和量化，量化输出的数据有两个不同的去处：一个是送给熵编码器进行编码，编码后的码流输出到一个缓存器中保存，等待传送出去。另一个应用是进行反量化和反变化后的到信号X’，该信号将与运动补偿输出的图像块相加得到新的预测图像信号，并将新的预测图像块送至帧存储器。

视频信号传输：

移动密切相关。5至7层是高层，包含应用程序级的数据。每一层负责一项具体

Osi层功能

TCP/IP协议：

TCP/IP协议是一个协议簇。里面包括很多协议的。UDP只是其中的一个。之所以命名为TCP/IP协议，因为TCP,IP协议是两个很重要的协议，就用他两命名了。

TCP/IP协议是INTERNET事实上的工业标准。

TCP（Transmission Control Protocol，传输控制协议）是面向连接的协议，也就是说，在收发数据前，必须和对方建立可靠的连接。一个TCP连接必须要经过三次“对话”才能建立起来，其中的过程非常复杂，只简单的描述下这三次对话

“我想给你发数据，可以吗？”，的简单过程：主机A向主机B发出连接请求数据包：

这是第一次对话；主机B向主机A发送同意连接和要求同步（同步就是两台主机一个在发送，一个在接收，协调工作）的数据包：“可以，你什么时候发？”，这是第二次对话；主机A再发出一个数据包确认主机B的要求同步：“我现在就发，你接着吧！”，这是第三次对话。三次“对话”的目的是使数据包的发送和接收同

步，经过三次“对话”之后，主机A才向主机B正式发送数据。

详细点说就是：（文章部分转载https://www.sodocs.net/doc/761073028.html,，主要是这个人讲解得很到位，的确很容易使人理解！）

TCP三次握手过程

1 主机A通过向主机B 发送一个含有同步序列号的标志位的数据段给主机B ,向主机B 请求建立连接,通过这个数据段,

主机A告诉主机B 两件事:我想要和你通信;你可以用哪个序列号作为起始数据段来回应我.

2 主机B 收到主机A的请求后,用一个带有确认应答(ACK)和同步序列号(SYN)标志位的数据段响应主机A,也告诉主机A两件事:

我已经收到你的请求了,你可以传输数据了;你要用哪佧序列号作为起始数据段来回应我

3 主机A收到这个数据段后,再发送一个确认应答,确认已收到主机 B 的数据段:"我已收到回复,我现在要开始传输实际数据了

这样3次握手就完成了,主机A和主机B 就可以传输数据了.

3次握手的特点

没有应用层的数据

SYN这个标志位只有在TCP建产连接时才会被置1

握手完成后SYN标志位被置0

UDP（User Data Protocol，用户数据报协议）

（1） UDP是一个非连接的协议，传输数据之前源端和终端不建立连接，当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。在发送端，UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机的能力和传输带宽的限制；在接收端，UDP把每个消息段放在队列中，应用程序每次从队列中读一个消息段。

（2）由于传输数据不建立连接，因此也就不需要维护连接状态，包括收发状态等，因此一台服务机可同时向多个客户机传输相同的消息。

（3） UDP信息包的标题很短，只有8个字节，相对于TCP的20个字节信息包的额外开销很小。

（4）吞吐量不受拥挤控制算法的调节，只受应用软件生成数据的速率、传输带宽、源端和终端主机性能的限制。

（5）UDP使用尽最大努力交付，即不保证可靠交付，因此主机不需要维持复杂的链接状态表（这里面有许多参数）。

（6）UDP是面向报文的。发送方的UDP对应用程序交下来的报文，在添加首部后就向下交付给IP层。既不拆分，也不合并，而是保留这些报文的边界，因此，应用程序需要选择合适的报文大小。

我们经常使用“ping”命令来测试两台主机之间TCP/IP通信是否正常，其实“ping”命令的原理就是向对方主机发送UDP数据包，然后对方主机确认收到数据包，如果数据包是否到达的消息及时反馈回来，那么网络就是通的。

UDP的包头结构：

源端口 16位

目的端口 16位

长度 16位

校验和 16位

TCP与UDP的区别：

1.基于连接与无连接；

2.对系统资源的要求（TCP较多，UDP少）；

3.UDP程序结构较简单；

4.流模式与数据报模式；

5.TCP保证数据正确性，UDP可能丢包，TCP保证数据顺序，UDP不保证。

Ip协议

IP协议是TCP/IP协议簇中的核心协议，也是TCP/IP的载体。所有的TCP，UDP，ICMP及IGMP数据都以IP数据报格式传输。

IP提供不可靠的，无连接的数据传送服务。

不可靠指它不能保证IP数据报能成功到达目的地。IP仅提供最好的传输服务。当发生某种错误时，如某个路由器暂时用完了缓冲区，IP有一个简单的错误处理算法：丢弃该数据报，然后发送ICMP消息给信源。任何要求的可靠性必须由上层来提供。

无连接指IP并不维护任何关于后续数据报的状态信息。每个数据报的处理是相互独立的。IP数据报可以不按发送顺序接收。如果一信源向相同的信宿发送两个连续的数据报（先是A，然后是B）每个数据报都是独立的进行路由选择，可能选择不同的路线，因此B可能在A到达之前先到达。

IP包头

国际规定：把所有的IP地址划分为 A，B，C，D，E

A类地址:范围从0-127，0是保留的并且表示所有IP地址，而127也是保留的地址，并且是用于测试环回用的。因此A类地址的范围其实是从1-126之间。

B类地址：范围从128-191，如172.168.1.1，第一和第二段号码为网络号码，剩下的2段号码为本地计算机的号码。转换为2进制来说，一个B类IP地址由2个字节的网络地址和2个字节的主机地址组成，网络地址的最高位必须是“10”，地址范围从128.0.0.0到191.255.255.255。可用的B类网络有16382

个，每个网络能容纳6万多个主机。

以子网掩码来进行区别：255.255.0.0

C类地址：范围从192-223，如192.168.1.1，第一，第二，第三段号码为网络号码，剩下的最后一段号码为本地计算机的号码。转换为2进制来说，一个C 类IP地址由3字节的网络地址和1字节的主机地址组成，网络地址的最高位必须是“110”。范围从192.0.0.0到223.255.255.255。C类网络可达209万余个，每个网络能容纳254个主机。

以子网掩码来进行区别： 255.255.255.0

D类地址：范围从224-239，D类IP地址第一个字节以“1110”开始，它是一个专门保留的地址。它并不指向特定的网络，目前这一类地址被用在多点广播(Multicast)中。多点广播地址用来一次寻址一组计算机，它标识共享同一协议的一组计算机。

E类地址：范围从240-254，以“11110”开始，为将来使用保留。全零(“0.0.0.0”)地址对应于当前主机。全“1”的IP地址(“255.255.255.255”)是当前子网的广播地址。

http协议：

HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。HTTP协议的主要特点可概括如下：

1.支持客户/服务器模式。

2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。

3.灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type 加以标记。

4.无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的

请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

5.无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

http（超文本传输协议）是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用。

http请求由三部分组成，分别是：请求行、消息报头、请求正文

在接收和解释请求消息后，服务器返回一个HTTP响应消息。

HTTP响应也是由三个部分组成，分别是：状态行、消息报头、响应正文

HTTP消息由客户端到服务器的请求和服务器到客户端的响应组成。请求消息和响应消息都是由开始行（对于请求消息，开始行就是请求行，对于响应消息，开始行就是状态行），消息报头（可选），空行（只有CRLF的行），消息正文（可选）组成。

HTTP消息报头包括普通报头、请求报头、响应报头、实体报头。

每一个报头域都是由名字+“：”+空格+值组成，消息报头域的名字是大小写无关的。

视频信号处理与传输的应用:

HD-SDI高清视频信号处理

作为数字串行接口的SDI，在高清音视频信号处理应用中并不比HDMI损色多少，由于串行数字信号的数据率很高，在传送前必须经过处理。SDI视频信号处理比一般的高清视频处理叫麻烦，因此SID视频设备产品也比一般的其他视频接口的同作用的高清视频处理设备要贵很多，SDI虽然存在着一定的优势，但是在当前数字模拟并存的情况下，SDI的使用还是存在着一定的弊端：

支持的分辨率较少，目前HD-SDI标准的格式只有720P和1080P两种，目前尚不能满足对分辨率有更高需求的市场;在同三维高清视频采集卡中，SID采集卡所支持的分辨率远远也没有HDMI高清采集卡、VGA模拟接口的VGA采集卡所支持的采集分辨率那么多，由于对很多分辨率没有良好的支持，也没有配套的高清分辨率的显示设备，所以很多情况下都是将HD-SDI转换成HDMI输出。

HD-SDI以未经压缩的数字资料在同轴电缆上传输，不会失真。HD-SDI信号传输距离比较短，只能在小范围应用，对传输线缆等要求较高;超过100米就必须是HD-SDI光端机，无法和HDMI信号延长器、DVI光纤传输设备相比，同三维高清信号传输设备中有传输500米/10千米/15千米的DVI/HDMI光纤延长器，有支持40-100米传输的hdmi信号放大器，100米-3000米模拟VGA信号传输的VGA 信号放大器，性价比远远高于HD-SDI信号传输设备。

虽然HD-SDI是数字产品，但是其应用模式跟传统模拟相类似。HD-SDI因其无压缩、无延时、不失真等特性，在一些特殊的行业中，特别是对实时性、稳定性、安全性要求较高行业用户。未压缩过的数字高清图像，图像的完整性有保障，带对存储设备、存储容量的要求较高;

HD-SDI在传输过程中没有产生压缩与封包化的处理，不会像一般数字高清视频产生图像延迟问题，没有延时及信号延时所带来的图像偏差，而已更为重要的是HD-SDI视频信号即使经过多次传输和处理，图像质量并不会有太多的损耗，较大程度上保留信号源视频效果和提高了终端显示图像视频效果;在一些特殊的行业有低延时的特性，需要观看高清晰的视频图像要求，HD-SDI数字高清视频信号输出可以直接接到大屏显示器等高清显示设备上，HD-SDI数字高清视频信号没有经过压缩，不会有因为码率不足而产生的失真，色斑，锯齿等编码带来的问题，同时也不会有网络传输，编解码带来的几百毫秒甚至几秒的延时问题。

针对高清SDI信号采集，同三维推出的SDI采集卡中，同三维T150 Mini 高清SDI采集卡以MPEG-4 实时压缩采集技术，通过视频采集编码压缩将高清视频信号编码处理后，高清视频就和标清视频在信号传输，特别是远距离传输中的成本就大大降低。同三维专业高清SID采集卡可连接SDI摄影机等高画质影音设备进行预览及录像，适合IPC或专业使用者安装应用。

基于socket的网络通信

网络中的进程是通过socket来通信的，那什么是socket呢？socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，都可以用“打开open –> 读写write/read –> 关闭close”模式来操作。我的理解就是Socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭），这些函数我们在后面进行介绍。

在组网领域的首次使用是在1970年2月12日发布的文献IETF RFC33中发现的，撰写者为Stephen Carr、Steve Crocker和Vint Cerf。根据美国计算机历史博物馆的记载，Croker写道：“命名空间的元素都可称为套接字接口。一个套接

字接口构成一个连接的一端，而一个连接可完全由一对套接字接口规定。”计算机历史博物馆补充道：“这比BSD的套接字接口定义早了大约12年。

int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);

函数的三个参数分别为：

?sockfd：即socket描述字，它是通过socket()函数创建了，唯一标识一个socket。bind()函数就是将给这个描述字绑定一个名字。

?addr：一个const struct sockaddr *指针，指向要绑定给sockfd的协议地址。这个地址结构根据地址创建socket时的地址协议族的不同而不

同，如ipv4对应的是：

?struct sockaddr_in {

? sa_family_t sin_family; /* address family: AF_INET */

? in_port_t sin_port; /* port in network byte order */ ? struct in_addr sin_addr; /* internet address */

?};

?

?/* Internet address. */

?struct in_addr {

? uint32_t s_addr; /* address in network byte order */

};

心得体会：

我为自己学了这门课程感到庆幸，为自己找软件工作打好了基础。里面的通讯协议在笔试，面试里出现了很多次，关于点对点通讯，路由器，集线器有了一定的理解。同时通过c语言写关于tcp的程序，了解了android这个平台。我相信我以后会长期从事手机通信方面的工作的。在这个课程的学习中，学到了很多。但是也有一些不懂得，比如：tcp，udp里面使用多线程，多进程通信，结合多路复用时，我就对里面的socket是怎么传输的不是很懂。

参考文献：

[1].数字视频信号处理与传输教程刘富强机械工业出版社 2004

[2].计算机网络 Andrew s。 Tanenbam 清华大学出版社 2004

[3].嵌入式学院讲义华清远见北京华清远见 2014

[4]。MPEG2运动图像压缩编码国际标准及mpeg的新发展钟玉琢

清华大学出版社 2002

[5]数字图像处理与图像传输朱秀昌北京邮电大学出版社 2002