信息论与编码理论-第4章无失真信源编码-知识题解答-2007120

第4章无失真信源编码

习题及其参考答案

4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F

（1）求这些码中哪些是唯一可译码；

（2）求哪些码是及时码；

（3）对所有唯一可译码求出其平均码长l。

4-2 设信源

6

126

1

126

()1

()()()

()i

i

s s s

X

p s

p s p s p s

P X

=

??

??

==

??

??

????

∑。对此次能源进行m元唯一

可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式）

4-3设信源为1

234567

811111111()2

4

8

16

3264128128s

s s s s s s s X p X ??

????=????

???

???

，编成这样的码：（000，001，010，011，100，101，110，111）。求

（1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为11122

(,,,

,)3551515

信源的二元霍夫曼编码。讨论此码对于概率分布为

11111

(,,,,)55555

的信源也是最佳二元码。 4-5有两个信源X 和Y 如下：

1

234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=????????

1

23456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=????????

（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率；

（2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。

4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。

4-7设信源为1234

5678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ????=????????

，求其三元霍夫曼编

码。

4-8若某一信源有N 个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当

N =2i 和N =2i +1（i 是正整数）时，每个码值的长度是多少？平均码长是多少？

4-9现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像

素上的灰度级。

（1）不考虑图像的任何统计特性，对图像进行二元等长编码，这幅图像共需要多少个二元符号描述？

（2）若考虑图像的统计特性，求这幅图像的信源熵，并对每个灰度级进行二元霍夫曼编码，问平均每个像素需用多少二元符号表示。

4-10在MPEG中为了提高数据压缩比，采用了____方法。

A．运动补偿与运行估计 B.减少时域冗余与空间冗余

C．帧内图像数据与帧间图像数据压缩 D.向前预测与向后预测

4-11 JPEG中使用了____熵编码方法。

A.统计编码和算术编码

B.PCM编码和DPCM编码

C.预测编码和变换编码

D.哈夫曼编码和自适应二进制算术编码

4-12 简述常用信息编码方法的两类。

4-13 简述等长编码和变长编码的特点，并举例说明。

4-14已知信源X＝[x1=0.25,x2=0.25,x3=0.2,x4=0.15,x5=0.10,x6=0.05]，试对其进行Huffman编码。4-15已知信源X＝[x1＝1/4，x2＝3/4]，若x1＝1,x2＝０，试对1011进行算术编码。

4-16离散无记忆信源发出A，B，C三种符号，其概率分布为5/9，1/3，1/9，应用算术编码方法对序列CABA进行编码，并对结果进行解码。

4-17给定一个零记忆信源，已知其信源符号集为A=｛a1，a2｝＝｛0，1｝，符号产生概率为P(a1)＝1/4，P(a2)＝3/4。对二进制序列11111100，求其二进制算术编码码字。

4-18有四个符号a，b，c，d构成的简单序列S＝abdac，各符号及其对应概率如表所示。应用算术编码方法对S进行编码，并对结果进行解码。

符号符号概率p i

a 1/2

b 1/4

c 1/8

d 1/8

4-19简述游程编码的思想和方法。

4-20简述JEPG算法的主要计算步骤，并详细说明每个步骤。

4-21设二元信源的字母概率为P(0)=1/4,P(1)=3/4。若信源输出序列为1011011110110111 （a）对其进行算术编码并计算编码效率。

（b）对其进行LZ编码并计算编码效率。

4-22设有二元信源符号集，输入信源符号序列为

101000110110,

a a a a a a a a a a a a求其序列的字典编码。4-23一个离散记忆信源A={a,b,c},发出的字符串为bccacbcccccccccccaccca。试用LZ算法对序列编码，给出编码字典及发送码序列。

4-24 用LZ 算法对信源A ={a,b,c }编码，其发送码字序列为：2，3，3，1，3，4，5，10，11，6，10。试据此构建译码字典并译出发送序列。

习题参考答案

4-1：

(1) A 、B 、C 、E 编码是唯一可译码。 (2) A 、C 、E 码是及时码。 (3) 唯一可译码的平均码长如下：

6

1

111111

()3()32416161616A i i i l p s l ===?+++++=∑ 码元/信源符号

6

1111111

()123456 2.1252416161616B i i i l p s l ===?+?+?+?+?+?=∑码元/信源符号

61111111

()123456 2.1252416161616C i i i l p s l ===?+?+?+?+?+?=∑码元/信源符号

61

111111

()12()422416161616E i i i l p s l ===?+?++++?=∑码元/信源符号

4-3： (1)

/bit ∑8

i i i=1

H(X)=-p(x )logp(x )

1111111111

=-log -log -log -log -log 22448816163232111111 -log -log -log

646412812812812863

=164

符 (2) 平均码长：

6

1

11111111

()3()3248163264128128i i i l p s l ===?+++++++=∑码元/信源符号

所以编码效率：()

0.6615H X l

η== (3) 仙农编码：

费诺码：

4-5：

(1) 霍夫曼编码：

对X 的霍夫曼编码如下：

0.220.1920.1830.1730.1530.140.014 2.72l =?+?+?+?+?+?+?=码元/信源符号 7

1()log 2.61i i i H X p p ===∑ 码元/符号

() 2.61

0.95962.72H X l

η=

==

Y 的二元霍夫曼编码：

平均码长：

0.4910.14320.07420.0440.0250.0260.016 2.23l =?+??+??+?+?+?+?=码元/信源

符

9

1

()log 2.31i i i H Y p p ===∑码元/符号

编码效率：() 2.31

0.99142.33H Y l

η=== (2) 仙农编码：

对X 的仙农编码：

平均码长：

0.230.1930.1830.1730.1530.140.017 3.14l =?+?+?+?+?+?+?=

码元/信源符

() 2.61

0.83123.14H X l

η=

== 对Y 的仙农编码：

平均编码长度：

0.4920.1420.07420.0450.02620.0260.017 2.89l =?+?+??+?+??+?+?=码元/信源符

编码效率：() 2.31

0.79932.89H Y l

η=== (3) 费诺编码： 对X 的费诺编码：

平均编码长度：

0.220.1930.1830.1720.1530.140.014 2.74l =?+?+?+?+?+?+?=

码元/信源符号 编码效率：() 2.61

0.95262.74H X l

η=

== 对Y 进行费诺编码：

平均码长：

0.4910.14230.07420.0440.0250.0260.016 2.33l =?+??+??+?+?+?+?=码元/信源

符号

编码效率：() 2.31

0.99142.33H Y l

η=

== (4) 由三种编码的编码效率可知：

仙农编码的编码效率为最低，平均码长最长；霍夫曼编码的编码长度最短，编码效率最高，费诺码居中。

4-7： 由三元编码方式可知：R=D －B=R D-1(K －2)+2

由本题可知D=3，K=8，R=2，所以，首先合并最后两个信源概率，其中一种编码方式如下：

4-16：

符号分布概率：

译码：

46738()0.9292,172996738

572990.36280,8919

0.362805

80.6530,59919

5

0.6530590.36280,85999

F u ??

=

=∈????

∴-

??

=∈????-

∴-??

=∈?

???-∴-

??

=∈????-

∴第一字符是:C 第二字符是:A 第二字符是:B

第二字符是:A

所以译码结果是：CABA 4-21： (1)

由题目可知信源符号为： 1011 0111 1011 0111

12

4

124

()

31(1)(0)()()0.0001237

44

1011 0111 1011 0111p s p p ==== 算术码的码长log ()13l p s =-=

由序列S 的分布函数F （S ）由二元整树图来计算：

2482103124

()1(11)(10111)(1011011111)(1011011110111)(1011011110110111)331313131

1()()()()()()()()()4444444440.35114030.0101100110011

F S p p p p p =-----=-----==

所以算术编码为：0100 0011 0011 平均码长及编码效率如下：

13

0.812516

l =

=码元/符号 ()(1)log (1)(0)log (0)0.8113H S p p p p =--= bit/符号 ()

0.9985H S l

η=

= (2)

由于信源符号集中共有2个元素，因此只需要??12

log =位二进制数就可以表示其编码，该符号集的编码表如下：

按照分段规则，分段为：1 0 11 01 111 011 0111

短语数为7，可用??37log ==n 位来表示段号；

每个信源符号编码长度为1，所以短语长度为：3+1=4，具体编码过程如下：

平均编码长度： 1.7516

l =

=码元/符号

编码效率为：4636.075.18113

.0)(===

l

S H η

第5章_无失真信源编码题与答案

第5章_无失真信源编 码题与答案 本页仅作为文档封面，使用时可以删除 This document is for reference only-rar21year.March

有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字， 110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3)

3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L

第四章 信源编码 习题解答

第四章信源编码 习题解答 1、一个信源由 1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。 解：1）A 、B 、C 、D 、E 、F 是非奇异码。A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。A 、C 、F 是即时码（B 是续长码）。 3） 编码A ： 平均码长：3A L = 码元/消息 信源熵：111111 ()lb lb 4lb 222441616 H X =---?=比特/消息 编码效率：max ()/2/3 66.7%lb21 A H H X L H η====码码 编码B 和C ： 平均码长：111111 23456 2.1252416161616 B C L L ==+?+?+?+?+?= 码元/消息 编码效率：max ()/2/2.125 94.1%lb21 B C H H X L H ηη=====码码 编码F ： 平均码长：11 1234 2.524 16F L ??=? +?+?= ??? 码元/消息 编码效率：max ()/2/2.5 80%lb21 F H H X L H η====码码 2、离散无记忆信源X 的概率空间为：1 234567()0.200.190.180.170.150.100.01X x x x x x x x p X ????=???????? 1）对其进行费诺编码，并计算其编码效率； 2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。

解：1）费诺编码： 平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵： ()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号 编码后平均码元熵：() 2.60874 0.95212.74H X H L ===码比特/码元 编码效率：max 0.9521 95.21%lb2 H H η= ==码码 2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2 3 000 x 3 3 001 x 4 3 010 x 5 4 0110 x 6 4 0111 x 7 平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+?+++?++?=码元/符号 编码后平均码元熵：() 2.60874 0.95912.72H X H L ===码比特/码元 编码效率：max 0.9591 95.91%lb2 H H η= ==码码 与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。 一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。

第5章_无失真信源编码 题与答案

有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； * (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r ） E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r

(2) 非延长码：A ，C (3) 3125 .16161 5161416131612411213 =?+?+?+?+?+?=?===∑i i i C B A l p L L L 设离散信源的概率空间为 % ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为 100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少 } 解： (1)

信息论与编码第5章

第五章 信源编码（第十讲） （2课时） 主要内容：（1）编码的定义（2）无失真信源编码 重点：定长编码定理、变长编码定理、最佳变长编码。 难点：定长编码定理、哈夫曼编码方法。 作业：5。2，5。4，5。6； 说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。 通信的实质是信息的传输。而高速度、高质量地传送信息是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能做到尽可能不失真而又快速呢？这就需要解决两个问题：第一，在不失真或允许一定失真的条件下，如何用尽可能少的符号来传送信源信息；第二，在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。为了解决这两个问题，就要引入信源编码和信道编码。 一般来说，提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。二者是有矛盾的。然而在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信息处理方法，能够解决上述矛盾，做到既可靠又有效地传输信息。这些结论对各种通信系统的设计和估价具有重大的理论指导意义。 §3.1 编码的定义 编码实质上是对信源的原始符号按一定的数学规则进行的一种变换。 讨论无失真信源编码，可以不考虑干扰问题，所以它的数学描述比较简单。图 3.1是一个信源编码器，它的输入是信源符号},,,{21q s s s S =，同时存在另一符号},,,{21r x x x X =，一般来说，元素xj 是适合信道传输的，称为码符号（或者码元）。编码器的功能就是将信源符号集中的符号s i （或者长为N 的信源符号序列）变换成由x j (j=1,2,3,…r)组成的长度为l i 的一一对应的序列。 输出的码符号序列称为码字，长度l i 称为码字长度或简称码长。可见，编码就是从信源符号到码符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的，并且是可逆的。 码符号的分类： 下图是一个码分类图

第四章 信源编码 习题解答

第四章信源编码习题解答 1、一个信源由: 1） 2）分别计算每个唯一可译码得平均码长与编码效率。 解:1)A、B、C、D、E、F就是非奇异码。A、B、C、F就是唯一可译码(E不满足克拉夫特不等式)。A、C、F就是即时码(B就是续长码)。 3）编码A: 平均码长: 信源熵:比特/消息 编码效率: 编码B与C: 平均码长: 111111 23456 2.125 2416161616 B C L L ==+?+?+?+?+?=码元/消息 编码效率: 编码F: 平均码长: 编码效率: 2、离散无记忆信源X得概率空间为: 1)对其进行费诺编码,并计算其编码效率; 2)对其进行哈夫曼编码,并将其编码效率与费诺编码相比较。解:1)费诺编码:

平均码长:()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵: ()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号 编码后平均码元熵:比特/码元 编码效率: 2)哈夫曼编码: 码长 码字 信源X p (X ) 2 10 x 1 0、20 2 11 x 2 0、19 3 000 x 3 0、18 3 001 x 4 0、17 3 010 x 5 0、15 4 0110 x 6 0、10 4 0111 x 7 0、01 平均码长:()()()0.20.1920.180.170.1530.10.014 2.72L =+?+++?++?=码元/符号 编码后平均码元熵:比特/码元 编码效率: 与费诺编码相比,哈夫曼编码得编码效率要高于费诺编码。 一般情况下哈夫曼编码效率较高,但费诺编码如果每次划分概率很接近,则效率也很高。 3、离散无记忆信源X 得概率空间为: 1)对其进行费诺编码; 2)对其进行哈夫曼编码。 解:1)费诺编码:

信息论第五章 信源编码习题答案

5.1 设信源12 34567()0.20.190.180.170.150.10.01X x x x x x x x P X ????=???????? (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= 0.0 --- 0.000000 2) 0.2*2 = 0.4 0 0.4*2 = 0.8 0 0.8*2 = 1.6 1 3) 0.39 * 2 = 0.78 0 0.78 * 2 = 1.56 1 0.56 * 2 = 1.12 1 4) 0.99 * 2 = 1.98 1 0.98 * 2 = 1.96 1 0.96 * 2 = 1.92 1 0.92 * 2 = 1.84 1 0.84 * 2 = 1.68 1 0.68 * 2 = 1.36 1 0.36 * 2 = 0.72 0 (3) % 1.8314.3609.2)()(14 .301 .071.0415.0317.0318.0319.032.03)(=====?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η

5.2 对信源??????=????? ?01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。 % 2.9574.2609.2)()(74 .2=====K X H R X H i η 5.3 对信源??????=????? ?01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： % 9.9572.2609.2)()(72 .2=====K X H R X H i η

第五章 信源编码习题答案

5.1 设信源? ?????=??????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= %1.8314.3609 .2)()(14 .301 .071.0415.0317.0318.0319.032.03)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.2 对信源? ?????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。 解：

%2.9574.2609 .2)()(74 .201 .041.0415.0317.0218.0319.032.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.3 对信源??????=??????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： %9.9572.2609 .2)()(72 .201 .041.0415.0317.0318.0319.022.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 三进制哈夫曼码：

第四章 信源编码 习题解答培训讲学

第四章信源编码习 题解答

第四章信源编码 习题解答 1、一个信源由6个消息组成，其概率分布已知，对其进行信源编码得如下表所示6种编码方法： 1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。 解：1）A 、B 、C 、D 、E 、F 是非奇异码。A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。A 、C 、F 是即时码（B 是续长码）。 3） 编码A ： 平均码长：3A L = 码元/消息 信源熵：111111 ()lb lb 4lb 222441616H X =---?=比特/消息 编码效率：max ()/2/3 66.7%lb21 A H H X L H η====码码 编码 B 和 C ： 平均码长：1 11111 23456 2.1252416161616 B C L L ==+?+?+?+?+?= 码元/消息 编码效率：max ()/2/2.12594.1%lb21 B C H H X L H ηη=====码码 编码F ： 平均码长：111234 2.52 4 16F L ?? =?+?+? = ??? 码元/消息

编码效率：max ()/2/2.5 80%lb21 F H H X L H η====码码 2、离散无记忆信源X 的概率空间为：1 234567()0.200.190.180.170.150.100.01X x x x x x x x p X ????=??? ?? ??? 1）对其进行费诺编码，并计算其编码效率； 2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。 解：1）费诺编码： 平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵： ()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号 编码后平均码元熵：() 2.60874 0.95212.74H X H L = ==码比特/码元 编码效率：max 0.9521 95.21%lb2 H H η= ==码码 2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2

第四章信源编码习题解答

第四章信源编码习题解答 1 种编码方法： 1）哪些是非奇异码哪些是唯一可译码哪些是即时码 2）分别计算每个唯一可译码的平均码长和编码效率。 解：1）A、B、C、D、E、F是非奇异码。A、B、C、F是唯一可译码（E不满足克拉夫特不等式）。A、C、F是即时码（B是续长码）。 3）编码A： 平均码长：3 A L=码元/消息 信源熵： 111111 ()lb lb4lb2 22441616 H X=---?=比特/消息 编码效率： max ()/2/3 66.7% lb21 A H H X L H η==== 码 码 编码B和C： 平均码长： 111111 23456 2.125 2416161616 B C L L ==+?+?+?+?+?=码元/消息 编码效率： max ()/2/2.125 94.1% lb21 B C H H X L H ηη ===== 码 码 编码F： 平均码长： 111 234 2.5 2416 F L?? =?+?+?= ? ?? 码元/消息

编码效率：max ()/2/2.5 80%lb21 F H H X L H η====码码 2、离散无记忆信源X 的概率空间为：1 234567()0.200.190.180.170.150.100.01X x x x x x x x p X ????=????? ??? 1）对其进行费诺编码，并计算其编码效率； 2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。 解：1平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵： ()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号 编码后平均码元熵：() 2.60874 0.95212.74H X H L = ==码比特/码元 编码效率：max 0.9521 95.21%lb2 H H η= ==码码 2）哈夫曼编码： 码 长 码字 信源X (X )

信息论与编码理论-第4章无失真信源编码-知识题解答-2007120

第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l。 4-2 设信源 6 126 1 126 ()1 ()()() ()i i s s s X p s p s p s p s P X = ?? ?? == ?? ?? ???? ∑。对此次能源进行m元唯一 可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式）

4-3设信源为1 234567 811111111()2 4 8 16 3264128128s s s s s s s s X p X ?? ????=???? ??? ??? ，编成这样的码：（000，001，010，011，100，101，110，111）。求 （1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为11122 (,,, ,)3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为 11111 (,,,,)55555 的信源也是最佳二元码。 4-5有两个信源X 和Y 如下： 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 1 23456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=???????? （1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率； （2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。 4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。 4-7设信源为1234 5678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ????=???????? ，求其三元霍夫曼编 码。 4-8若某一信源有N 个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当 N =2i 和N =2i +1（i 是正整数）时，每个码值的长度是多少？平均码长是多少？ 4-9现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像

第5章_无失真信源编码 题与答案资料

5.1 有一信源，它有6个可能的输出，其概率分布如题 5.1表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3) 3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L

5.7 设离散信源的概率空间为 ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 5.8 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？ 解： (1) 码字中有0个“1”，码字的个数：10 100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003 100=C 18 35.17166751log log 166751 161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q r C C C C q i

信息论与编码理论-第4章无失真信源编码-习题解答-20071202

第4章 无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l 。 4-2 设信源6 1 261 126()1() () ()()i i s s s X p s p s p s p s P X =????==???? ???? ∑。对此次能源进行m 元唯一 可译编码，其对应的码长为（l 1,l 2,…,l 6）=(1,1,2,3,2,3)，求m 值的最好下限。（提示：用kraft 不等式） 4-3设信源为1 234567 811111111()2 4 8 16 3264128128s s s s s s s s X p X ?? ????=???? ??? ??? ，编成这样的码：（000，001，010，011，100，101，110，111）。求 （1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为11122 (, ,,,)3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为11111 (,,,,)55555 的信源也是最佳二元码。 4-5有两个信源X 和Y 如下： 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=????????

2015秋.信息论.第4节无失真信源编码

00001 001 0000001 0000000 01 0000000 0001 000001 0001 0000001 5 3 7 7 2 7 4 6 4 7 1 01 001 0001 00001 000001 0000001 0000000 S1 s2 s3 s4 s5 s6 s7 s8 000 001 010 011 100 101 110 111

第四章无失真信源编码 将信源产生的全部信息无损地发送给信宿，这种信源编码称无失真信源编码。编码过程由编码器实现。 §4.1 编码器 r 编码器数学模型

1、编码器构成： 输入： 信源符号集S =(s 1,s 2, …s q )，由q 个符号组成码符号集X =(x 1,x 2…x r )，由r 个符号组成输出： 代码组C =(w 1, w 2,…w q )，由q 个码字组成 其中，称为码字，l i 称为码字长度)...(21i l i i i i x x x w =2、编码器的作用： 将信源符号集S 中的符号s i ，i=1,2…,q → 变换成由码符号集X 中的码元x j ，j=1,2…,r 组成的长度为l i 的一一对应的码字 码字的集合称为代码组C 。 )...(21i l i i i i x x x w =

3、码分类：根据代码组C 中码字的长度 固定长度码：（定长码）代码组C 中所有码字的长度相同。可变长度码：（变长码）代码组C 中码字的长度不相同。 10 晴阴雨雪 0.40.30.20.1 1*0.4+2*0.3+3*0.2+3*0.1=1.9

4、码奇异性： 非奇异码：代码组C中所有码字都不相同。奇异码：代码组C中有相同的码字。

第五章 信源编码-习题答案

5.1 设信源? ?????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) symbol bit x p x p X H i i i /609.2)01.0log 01.01.0log 1.015.0log 15.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0() (log )()(22222227 1 2=?+?+?+?+?+?+?-=-=∑= %1.8314.3609 .2)()(14 .301 .071.0415.0317.0318.0319.032.03)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.2 对信源? ?????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制费诺码，计算编码效率。

%2.9574.2609 .2)()(74 .201 .041.0415.0317.0218.0319.032.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 5.3 对信源??????=? ?????01.01.015.017.018.019.02.0)(765432 1x x x x x x x X P X 编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。 解： 二进制哈夫曼码： %9.9572.2609 .2)()(72 .201 .041.0415.0317.0318.0319.022.02)(==== =?+?+?+?+?+?+?==∑K X H R X H x p k K i i i η 三进制哈夫曼码：