信息论与编码课后答案

2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，

()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，

()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下

状态转移矩阵为：

1/21/2

01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭

设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、

W 3

由1231WP W W W W =⎧⎨++=⎩得1231132231231

112331223

231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩

计算可得1231025925625W W W ⎧=⎪⎪⎪

=⎨⎪

⎪=⎪⎩

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，

(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p ==

(0|11)(10|11)0.2p p ==(0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p ==(1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p ==(1|10)(01|10)0.5p p ==

于是可以列出转移概率矩阵：0.80.20

0000.50.50.50.5000

00.20.8p ⎛⎫ ⎪

⎪= ⎪ ⎪

⎝⎭ 状态图为：

设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有

41

1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131

132

24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175

14W W W W ⎧

=⎪⎪

⎪=⎪⎨⎪=⎪⎪⎪=

⎩

2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫

=

⎪ ⎪⎝⎭⎝⎭

〔1〕求每个符号的自信息量

〔2〕信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：12

2118

()log log 1.415()3

I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为

87.81

1.9545

=bit/符号

2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜

色。

〔1〕如果仅对颜色感兴趣，那么计算平均不确定度

〔2〕如果仅对颜色和数字感兴趣，那么计算平均不确定度 〔3〕如果颜色时，那么计算条件熵

解：令X 表示指针指向某一数字，那么X={1,2, (38)

Y 表示指针指向某一种颜色，那么Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = 〔1〕3

1

12381838

()()log

log 2log 1.24()3823818

j j j H Y p y p y ==

=+⨯=∑bit/符号 〔2〕2(,)()log 38 5.25H X Y H X ===bit/符号

〔3〕(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为

1112

132122233132337/241/2401/241/41/2401/247/24r r r r r r r

r r ⎛⎫⎛⎫

⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭

（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？

（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？

（3） 在Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：联合概率(,)i j p x y 为

2

2221(,)(,)log (,)

72411

2log 4log 24log 4247244

i j i j ij

H X Y p x y p x y ==⨯

+⨯+∑ =2.3bit/符号

X 概率分布

21

()3log 3 1.583

H Y =⨯=bit/符号

(|)(,)() 2.3 1.58

H X Y H X Y H Y =-=- Y 概率分布是 =0.72bit/符号

2.16 黑白 机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

〔1〕假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图

〔2〕实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

〔3〕比拟两种信源熵的大小，并说明原因。 解：〔1〕221010

()0.3log 0.7log 0.881337

H X =+=bit/符号 P(黑|白)=P(黑)

P(白|白)＝P(白)

P(黑|黑)＝P(黑)

P(白|黑)＝P(白)

〔2〕根据题意，此一阶马尔可夫链是平稳的〔P(白)＝0.7不随时间变化，P(黑)＝0.3不随时

间变化〕

212

222

2

1()(|)(,)log (,)

111

0.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2

10.80.3log 0.8

i j i j ij

H X H X X p x y p x y ∞===⨯+⨯+⨯+⨯∑ ＝0.512bit/符号

2.20 给定语音信号样值X 的概率密度为1()2

x

p x e λλ-=,x -∞<<+∞,求H c (X)，并证明它小于同样方差的正态变量的连续熵。

解：

201()()log ()()log 21

()log ()()log 211log log ()2211

1log log ()log

()222

11

log 2log 22x

c x x x x x x

x x

H X p x p x dx p x e dx

p x dx p x x edx

e e x dx

e e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞

--∞-∞+∞

+∞

-∞-∞+∞

--∞

+∞

--∞+∞-=-=-=---=-+=-+⋅-+=-+⎰⎰⎰⎰⎰⎰⎰

⎰0

1log log (1)212log log log

2x x dx

e x e e e λλλλλλ

+∞

-⎡⎤=--+⎣⎦=-+=

2

2

()0,()E X D X λ==

,221214()log 2log ()22e H X e H X ππλλ=

==>=

2.29 有一个一阶平稳马尔可夫链1,2,,,

r X X X ,各X r 取值于集合{}1,2,3A a a a =,起始

概率P(X r )为1231/2,1/4p p p ===，转移概率如下列图所示

(1) 求123(,,)X X X 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵

(3) 求012,,H H H 和它们说对应的冗余度 解：〔1〕

12312132,112132(,,)()(|)(|)

()(|)(|)

H X X X H X H X X H X X X H X H X X H X X =++=++

1111111

()log log log 1.5/224444

H X bit =---=符号

X 1，X 2的联合概率分布为

212()()j i j i

p x p x x =∑

X 2的概率分布为那么

2111

(|)log 4lo

48

H X X =+

=1.209

bit/符号

X 2X 3

那么

32771535535

(|)log 2log 4log 4log log3log log3244883627236272

H X X =

++++++ =1.26bit/符号

123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号

所以平均符号熵3123 3.969

(,,) 1.3233

H X X X bit =

=／符号 〔2〕设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为11

12442

103321033

P ⎛⎫ ⎪ ⎪

⎪= ⎪ ⎪ ⎪ ⎪⎝⎭

由1i WP W W =⎧⎪⎨=⎪⎩∑ 得到 123132123122123311431W W W W W W W W W ⎧++=⎪⎪⎪+=⎨⎪++=⎪⎪⎩计算得到12347314314W W W ⎧=⎪⎪

⎪=⎨⎪

⎪=⎪⎩

又满足不可约性和非周期性

3

1

4111321

()(|)(,,)2(,,0) 1.2572441433

i i i H X W H X W H H bit ∞===

+⨯=∑/符号 (3)0log3 1.58H bit ==/符号 1 1.5H bit =/符号 2 1.5 1.209

1.3552

H bit +=

=/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-=22 1.25

110.0781.355

γη=

-=-=

2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为〔0，1，2〕。

〔1〕求信源平稳后的概率分布P(0),P(1),P(2) 〔2〕求此信源的熵

〔3〕近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与

H ∞进展比拟

图2-13

解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦

令状态0,1,2平稳后的概率分布分别为W1,W2,W3

31

1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得到 1231

1232123(1)2

2

(1)221p p p W W W W p

p W p W W W W W W ⎧

-++=⎪⎪⎪+-+

=⎨⎪++=⎪⎪⎩

计算得到131313W W W ⎧=⎪⎪

⎪

=⎨⎪

⎪=⎪⎩

由齐次遍历可得

112

()(|)3(1,,)(1)log log 3221i i i p p H X W H X W H p p p p p ∞==⨯-=-+-∑

,()log 3 1.58/H X bit ==符号 由最大熵定理可知()H X ∞存在极大值

或者也可以通过下面的方法得出存在极大值:

()121log(1)(1)log log

1222(1)H X p p p

p p p p p p ∞⎡⎤∂-=---+-++⋅⋅=-⎢⎥∂--⎣

⎦ 112(1)22(1)p p p =-+-- 又01p ≤≤所以

[]0,2(1)p p ∈+∞-当p=2/3时12(1)

p

p =- 0

()log 02(1)H X p

p p ∞∂=->∂- 2/3

()log 02(1)

H X p

p p ∞∂=-<∂-

所以当p=2/3时()H X ∞存在极大值,且max () 1.58/H X bit ∞=符号

所以,

()()H X H X ∞≤

练习题：有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为

0121/4,1/4,1/2p p p ===，设计两个独立的实验去观察它，其结果分别为

{}{}120,1,0,1Y Y ∈∈，条件概率:

(1) 求1(;)I X Y 和2(;)I X Y ，并判断哪一个实验好些

(2) 求12(;)I X Y Y ，并计算做Y 1和Y 2两个实验比做Y 1和Y 2中的一个实验可多得多少关于X

的信息

(3) 求12(;|)I X Y Y 和21(;|)I X Y Y ，并解释它们的含义 解:(1)由题意可知

P(y 1=0)=p(y 1=1)=1/2 p(y 2=1)=p(y 2=1)=1/2

11111111

(;)()(|)log 2log log 2log 242424I X Y H Y H Y X ∴=-=---⨯=0.5bit/符号

222111

(;)()(|)log 2log1log1log11/442

I X Y H Y H Y X bit =-=---=符号>1(;)I X Y

所以第二个实验比第一个实验好

〔2〕因为Y 1和Y 2 相互独立，所以

1212(|)(|)(|)p y y x p y x p y x =

121212111

(;)(,)(|)log 4log1log12log 2444

I X Y Y H Y Y H Y Y X ∴=-=---⨯bit/符号

=1.5bit/符号

由此可见，做两个实验比单独做Y 1可多得1bit 的关于X 的信息量，比单独做Y 2多得0.5bit 的关于X 的信息量。 〔3〕

12112212212122(;|)(|)(|,)(,)()[()(;,)]

[()(;)][()(;,)](;,)(;)

I X Y Y H X Y H X Y Y H X Y H X H X I X Y Y H X I X Y H X I X Y Y I X Y Y I X Y =-=---=---=-

=1.5-1=0.5bit/符号

表示在已做Y2的情况下，再做Y1而多得到的关于X 的信息量 同理可得

21121(;|)(;,)(;)I X Y Y I X Y Y I X Y =-=1.5-0.5=1bit/符号

表示在已做Y1的情况下，再做Y2而多得到的关于X 的信息量

(完整word版)信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案 第二章 2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转移概率 为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =， ()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =， 画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132 231231 112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩ 计算可得1231025925625W W W ⎧=⎪⎪⎪= ⎨⎪ ⎪=⎪⎩

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00) p=0.8，(0|11) p=0.2，(1|00) p=0.2，(1|11) p=0.8，(0|01) p=0.5，(0|10) p=0.5，(1|01) p=0.5，(1|10) p=0.5。画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8 p p ==(0|01)(10|01)0.5 p p == (0|11)(10|11)0.2 p p ==(0|10)(00|10)0.5 p p == (1|00)(01|00)0.2 p p ==(1|01)(11|01)0.5 p p == (1|11)(11|11)0.8 p p ==(1|10)(01|10)0.5 p p == 于是可以列出转移概率矩阵： 0.80.200 000.50.5 0.50.500 000.20.8 p ⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎝⎭ 状态图为： 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/36 2/36 2/36 2/36 X (2,2) (2,3) (2,4) (2,5) (2,6) P(x) 1/36 2/36 2/36 2/36 2/36 X (3,3) (3,4) (3,5) (3,6) P(x) 1/36 2/36 2/36 2/36 X (4,4) (4,5) (4,6) P(x) 1/36 2/36 2/36 X (5,5) (5,6) (6,6) P(x) 1/36 2/36 1/36 bit x H 32.436log 36 62log 3615)(=??+?? =∴ X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 bit x H 71.3636 log 366536log 3610 436 log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴==

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == u 1 u 2 u 3 1/2 1/21/3 2/32/3 1/3

信息论与编码陈运主编答案完整版

信息论与编码课后习题答案详解 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表 示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ 八进制脉冲的平均信息量 H X( 2) = log n = log8 = 3 bit symbol/ 二进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/ 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和3 倍。 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x1（是大学生）x2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y1（身高>160cm）y2（身高<160cm） P(Y) 已知：在女大学生中有75%是身高160 厘米以上的 即：p y( 1 / x1) = bit 求：身高160 厘米以上的某女孩是大学生的信息量 p x p y( 1) ( 1 / x1 ) log × =bit即：I x( 1 / y1 ) = −log p x( 1 / y1 ) = −log = − p y( 1 )

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=⨯=AA p 1634341 )(=⨯=AB p 1634143)(=⨯=BA p 1694343)(=⨯=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为

《信息论与编码》课后习题解答

*** 1 《信息论与编码》课后习题解答 2.2假设一副充分洗乱了的扑克牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，任一特定的排序方式是等概率出现的，则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，从中抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134log )(log )(4)(1352131352 13 =-=-== 2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历，则是大学生的概率为P(x)1=0.25，不是大学生的概率为P(x)2=0.75。 设随机变量Y 代表女孩子身高,则身高大于160cm 和小于160cm 的概率分别为P(y 1)=0.5、P(y 2)=0.5 又有已知：在女大学生中有75%是身高160厘米以上的， 即：bit x y p 75.0)/(11= 所以身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.4 设离散无记忆信源? ?????=====??????8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？

信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案 第二章 2. 1 一个马尔可夫信源有3个符号｛“⑷,呵，转移概 率 为：〃（曲）= 1/2 , p （lll\u\） = \//l ， /?（M3l W1） = O , /2（Mll W2）= l/3 , 2.2由符号集｛0, 1｝组成的二阶马尔可夫链，其转移 槪 £率为：p （oioo ）=0・ 8 9 p （oiii ）=0・ 2, /?（i I oo ）=0. 2, p （i 111）=0. 8, P （OIOI ）=0. 59 〃（oiio ）=0・ 5, p （iioi ）= 0. 5, p （iiio ）=0. 5。iffll 出 状态图，并计算各状态的稳态概 率。 解: p （0100） = /?（00100） = 0.8 P （U2\U2）= O y p （m\U2）= 2/3 y 〃（"llU3）= l/3 , ”（“2丨心） = 2/3, /? （M3lM3）=O y 画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 设状态5, %比稳定后的概率分别为W” W2、Ws -Wi + -W2+-Wi = Wi 2 3 3 1 2 _Wl+_W3 = W2 2 3 -W2 = VV3 3 Wi + Wi + W3 = \ WP = w 彳曰 Wl + W2 + W3=l '寸v 计算可得 W\ = VV2 = vv? = 10 一259256 一 25 /XOIOl) = p(lOIOl)=O.5

于是可以列出转移概率矩阵：厂08 0.2 0 0 、0 0 0.5 0.5 0.5 0.5 0 0 0 0.2 0.8 . 状态图为:

信息论与编码理论课后答案

信息论与编码理论课后答案 【篇一：《信息论与编码》课后习题答案】 式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长 篇论文，从而创立了信息论。 3、按照信息的性质，可以把信息分成语法信息、语义信息和语用 信息。 4、按照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用 各种各样的信息。 6、信息的是建立信息论的基础。 7、 8、是香农信息论最基本最重要的概念。 9、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般 用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量， 定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是。 14、不可能事件的自信息量是 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的 熵的。 limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。 20、一维连续随即变量x在[a，b] 。 1log22?ep 21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。

22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p 25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。 27 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?1 1?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学 2期望，则x的信源熵c。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信 2源熵为。 31信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 33、具有一一对应关系的无噪信道的信道容量。 34、强对称信道的信道容量。 35、对称信道的信道容量。 36、对于离散无记忆信道和信源的n次扩展，其信道容量cn= 。xh(x)?logmelog52 37、对于n个对立并联信道，其信道容量 cn = 。 38、多用户信道的信道容量用多维空间的一个区域的界限来表示。 39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。 40、广播信道是只有一个输入端和多个输出端的信道。 41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。 ?ck?1nk p1log2(1?x)2pn。 42、高斯加性信道的信道容量c= 43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。 ?1/21/20??0?01??代表的信道的信道容量。 44、信道矩阵 ?10??10????01??代表的信道的信道容量。 45、信道矩阵?

信息论与编码课后答案

2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =， ()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =， ()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、 W 3 由1231WP W W W W =⎧⎨++=⎩得1231132231231 112331223 231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩ 计算可得1231025925625W W W ⎧=⎪⎪⎪ =⎨⎪ ⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。 画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p ==(0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p ==(1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p ==(1|10)(01|10)0.5p p ==

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年 1.【图片】该信道的信道容量是（）bit/符号。 参考答案: log4-H(1/3,1/3,1/6,1/6); 2.对于离散无记忆平稳信源的N次扩展信源，其熵为扩展前信源熵的N倍。 参考答案: 正确 3.对应对称的DMC信道，当输入呈什么分布时，信道到达信道容量。 参考答案: 等概率分布 4.在X-Y-Z的信息传递中，信息不增性原理表示为I(X;Z)>=I(Y;Z)。 参考答案: 错误 5.信道容量随信源输出的概率分布的变化而变化。 参考答案: 错误 6.已知8个码组为（000000）、（001110）、（010101）、（011011）、 （100011）、（101101）、（110110）、（111000），若只用于检错，可检测出（）位错码。

参考答案: 2 7.突发差错始终以相等的概率独立发生于各码字、各码元、各比特。 参考答案: 错误 8.(7,3)码的监督矩阵有3行，生成矩阵有4行。 参考答案: 错误 9.根据香农容量公式可知，通过增大带宽可以无限的提高信道容量，只是提高 的速度会变慢 参考答案: 错误 10.二进制对称信道中，当信道转移概率中正确、错误的概率相等时，此信道不 能传递信息。 参考答案: 正确 11.某信道输入熵为H(X)，输出熵为H(Y)，若信道为无噪有损信道，其容量为 H(X)。 参考答案: 正确

12.连续信源限峰值条件下正态分布具有最大熵。 参考答案: 错误 13.关于信息熵在通信系统中的描述，以下错误的是（）。 参考答案: 条件熵H(X|Y)可以看作是信道上的干扰和噪声使接收端获得Y之后对X还有的平均不确定度，又称为噪声熵。 14.必然事件和不可能事件的自信息量都是0 。 参考答案: 错误 15.通常所说的符号差错概率（误码元率）是指信号差错概率，而误比特率是指 信息差错概率。 参考答案: 正确 16.当离散信源输出服从（）分布时，其熵为最大 参考答案: 等概率分布 17.信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造 的是最佳码。

(完整版)信息论与编码习题参考答案

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解： bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。 证: . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i 1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ⨯∴⨯=-⨯=≥ ≤-=∴== ⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H 1.9 给 定 一 个 概 率 分 布 ) ,...,,(21n p p p 和一个整数m ， n m ≤≤0。定义 ∑=-=m i i m p q 1 1，证明： )log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？ 证： ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0