(完整word版)信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案 第二章

2.1一个马尔可夫信源有3个符号{}1,

23,u u u ，转移概率

为：()1

1

|1/2p u u =，()2

1|1/2p u

u =，()31|0p u u =，()12|1/3p u u =，

()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，

画出状态图并求出各符号稳态概率。 解：状态图如下

状态转移矩阵为：

1/21/2

01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭

设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3

由1231WP W W W W =⎧⎨++=⎩得1231132

231231

112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩

计算可得1231025925625W W W ⎧=⎪⎪⎪=

⎨⎪

⎪=⎪⎩

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)

p=0.8，(0|11)

p=0.2，(1|00)

p=0.2，(1|11)

p=0.8，(0|01)

p=0.5，(0|10)

p=0.5，(1|01)

p=0.5，(1|10)

p=0.5。画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8

p p

==(0|01)(10|01)0.5

p p

==

(0|11)(10|11)0.2

p p

==(0|10)(00|10)0.5

p p

==

(1|00)(01|00)0.2

p p

==(1|01)(11|01)0.5

p p

==

(1|11)(11|11)0.8

p p

==(1|10)(01|10)0.5

p p

==

于是可以列出转移概率矩阵：

0.80.200

000.50.5

0.50.500

000.20.8 p

⎛⎫

⎪

⎪=

⎪

⎪

⎝⎭

状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有

4

1

1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得

131

13224324412340.80.50.20.50.50.20.50.81

W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪

+=⎨⎪+=⎪+++=⎪⎩

计算得到12345141

717514W W W W ⎧

=⎪⎪

⎪=⎪⎨

⎪=⎪⎪⎪=

⎩

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；

(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；

(5) 两个点数中至少有一个是1的自信息量。 解： (1)

bit

x p x I x p i i i 170.418

1

log )(log )(18

1

61616161)(=-=-==

⨯+⨯=

(2)

bit

x p x I x p i i i 170.536

1

log )(log )(36

1

6161)(=-=-==

⨯=

两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合：

其中11，22，33，44，55，66的概率是36

16

161=

⨯ 其他15个组合的概率是18

16

1612=⨯⨯

symbol bit x p x p X H i

i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛

⨯+⨯-=-=∑

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

symbol

bit x p x p X H X P X i

i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36

12 )

(log )()(36112181111211091936586173656915121418133612)(=⎪

⎭⎫ ⎝⎛

+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥

⎦⎤⎢⎣⎡∑

bit

x p x I x p i i i 710.136

11

log )(log )(36

11

116161)(=-=-==

⨯⨯=

2-4

2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：

设随机变量X 代表女孩子学历

X x 1（是大学生）

x 2（不是大学

生） P(X)

0.25

0.75

设随机变量Y 代表女孩子身高

Y y 1（身

高>160cm ） y 2（身高

<160cm ）

P(Y)

0.5

0.5

已知：在女大学生中有75%是身高160厘米以上的 即：bit x y

p 75.0)/(11

=

求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y

p x p y x p y x I 415.15

.075

.025.0log

)

()

/()(log )/(log )/(111

1

1

1

1

1

=⨯-=-=-=

2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：

1）因圆点之和为3的概率1()(1,2)(2,1)18

p x p p =+=

该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率

1

()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6

p x p p p p p p =+++++=

该消息自信息量()log ()log6 2.585I x p x bit =-==

2.7 设有一离散无记忆信源，其概率空间为

123401233/8

1/41/41/8X x x x x P ====⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭ （1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：1

2

2118

()log

log 1.415()3

I x bit p x === 同理可以求得2

3

3

()2,()2,()3I x bit I x bit I x bit ===

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：1

2

3

4

14()13()12()6()87.81I I x I x I x I x bit =+++=

平均每个符号携带的信息量为87.81 1.9545

=bit/符号

2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}

二进制脉冲可以表示2个不同的消息，例如：{0, 1}

假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1

===

八进制脉冲的平均信息量symbol bit n X H / 38log log )(2

=== 二进制脉冲的平均信息量symbol

bit n X H / 12log log )(0

===

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9 “－” 用三个脉冲 “●”用一个脉冲

(1) I(●)=Log 4()2

= I(－)＝

Log 43⎛

⎝⎫

⎪⎭

0.415=

(2) H= 14

Log 4()34

Log 43⎛

⎝⎫

⎪⎭

+

0.811= 2-10

(2) P(黑/黑)= P(白/黑)=

H(Y/黑)=

(3) P(黑/白)= P(白/白)= H(Y/白)=

(4) P(黑)= P(白)= H(Y)=

2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的

指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度

（3）如果颜色已知时，则计算条件熵

解：令X 表示指针指向某一数字，则X={1,2,……….,38} Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色}

Y 是X 的函数，由题意可知()()i j

i

p x y p x =

（1）3

112381838

()()log

log 2log 1.24()3823818

j

j j H Y p y p y ===+⨯=∑bit/符号 （2）2

(,)()log 38 5.25H X Y H X ===bit/符号

（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i

j

ij

r x y r =为

1112

132122233132337/241/2401/241/41/2401/247/24r r r r r r r

r r ⎛⎫⎛⎫

⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭

（1） 如果有人告诉你X 和Y 的实验结果，你得到

的平均信息量是多少？

（2） 如果有人告诉你Y 的实验结果，你得到的平

均信息量是多少？

（3） 在已知Y 实验结果的情况下，告诉你X 的实

验结果，你得到的平均信息量是多少？ 解：联合概率(,)i

j

p x y 为

2

2221(,)(,)log (,)

72411

2log 4log 24log 4247244

i j i j ij

H X Y p x y p x y ==⨯

+⨯+∑ =2.3bit/符号

X 概率分布

21

()3log 3 1.58

3

H Y =⨯=bit/符

号 (|)(,)() 2.3 1.58

H X Y H X Y H Y =-=- Y

概率分布是

=0.72bit/符号

2.13 有两个二元随机变量X 和Y ，它们的联合概率为

并定义另一随机变量Z = XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y),

H(X/YZ), H(Y/XZ)和H(Z/XY)；

(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和

I(X;Z/Y)。

解： (1)

symbol

bit y p y p Y H y x p y x p y p y x p y x p y p symbol

bit x p x p X H y x p y x p x p y x p y x p x p j

j j i

i i / 1)(log )()(2

1

8183)()()(21

8381)()()(/ 1)(log )()(2

1

8183)()()(218381)()()(22212121112212221111=-==

+=+==

+=+==-==

+=+==

+=+=∑∑

Z = XY 的概率分布如下：

symbol

bit z p Z H z z Z P Z k

k / 544.081log 8187log 87

)()(818710)(2

21=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪

⎬⎫

⎪⎩⎪⎨⎧===⎥

⎦⎤⎢⎣⎡∑

symbol

bit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k

k i k i / 406.181log 8183log 8321log 21

)(log )()(8

1)()()()()(8

35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-==

=+==-=-=+====+=∑∑

symbol

bit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j k

k j k j / 406.181log 8183log 8321log 21

)(log )()(8

1

)()()()()(8

35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-==

=+==-=-=+====+=∑∑

symbol

bit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i

j

k

k j i k j i / 811.181log 8183log 8383log 8381log 8

1

)(log )()(8

1)()()

()()(0

)(8

3)()()()()(8

38121)()()()()()(8/1)()()()()(0

)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211=⎪⎭⎫ ⎝⎛+++-=-==

==+====+=-=-==+===+===∑∑∑

(2)

symbol

bit XY H XYZ H XY Z H symbol bit XZ H XYZ H XZ Y H symbol bit YZ H XYZ H YZ X H symbol

bit Y H YZ H Y Z H symbol bit Z H YZ H Z Y H symbol bit X H XZ H X Z H symbol bit Z H XZ H Z X H symbol bit X H XY H X Y H symbol bit Y H XY H Y X H symbol

bit y x p y x p XY H i j

j i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81

)(log )()(2=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑ (3)

symbol

bit YZ X H Y X H Y Z X I symbol bit XZ Y H X Y H X Z Y I symbol bit YZ X H Z X H Z Y X I symbol

bit Z Y H Y H Z Y I symbol bit Z X H X H Z X I symbol bit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-=

2-14 (1) P(ij)= P(i/j)=

(2) 方法1: =

方法2:

2-15 P(j/i)=

2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。

解：（1）22

1010

()0.3log0.7log0.8813

H X=+=bit/符号

37

P(黑|白)=P(黑)

P(白|白)＝P(白)

P(黑|黑)＝P(黑)

P(白|黑)＝P(白)

（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时

间变化）

212

222

2

1()(|)(,)log (,)

111

0.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2

10.80.3log 0.8

i j i j ij

H X H X X p x y p x y ∞===⨯+⨯+⨯+⨯∑ ＝0.512bit/符号

2.17 每帧电视图像可以认为是由3

105个像素组成

的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： 1)

symbol

bit X NH X H symbol

bit n X H N

/ 101.27103)()(/ 7128log log )(6

5

22⨯=⨯⨯=====

2)

symbol

bit X NH X H symbol bit n X H N

/ 13288288.131000)()(/ 288.1310000log log )(22=⨯=====

3)

158037

288

.13101.2)()(6

=⨯==X H X H N N

2.20 给定语音信号样值X 的概率密度为

1()2

x

p x e λλ-=

,x -∞<<+∞,求H c (X)，并证明它小于同样方差

的正态变量的连续熵。 解：

201()()log ()()log 21

()log ()()log 211log log ()2211

1log log ()log

()222

11

log 2log 22x

c x x x x x x

x x

H X p x p x dx p x e dx

p x dx p x x edx

e e x dx

e e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞

+∞

--∞-∞+∞

+∞

-∞-∞+∞

--∞

+∞

--∞+∞-=-=-=---=-+=-+⋅-+=-+⎰⎰⎰⎰⎰⎰⎰

⎰0

1log log (1)212log log log

2x x dx

e x e e e λλλλλλ

+∞

-⎡⎤=--+⎣⎦=-+= 2

2

()0,()E X D X λ

==

,221214()log 2log ()22e H X e H X ππλλ=

==>=

2.24 连续随机变量X 和Y 的联合概率密度为：

⎪⎩⎪

⎨⎧≤+=其他

1),(2222

r y x r y x p π，求H(X), H(Y), H(XYZ)和I(X;Y)。

（提示：⎰-

=2

222log 2

sin log ππ

xdx ）

解：

⎰⎰⎰

⎰

⎰⎰⎰⎰⎰⎰

⎰⎰⎰⎰⎰⎰

⎰

-+-=+

==-==--=--=--=-+-=--=---=--=-=≤≤--===----------

---202020

220

2

20

20

22220

2

20

222222222

2222222222

22222

22

2

22sin log 2

2cos 1422cos 1log 4

sin log sin 4

log sin 4

sin log sin 4

sin log sin 4)

cos (sin log sin 4cos log 4log 2log )(/ log 2

1

log log 2

1

1log 2log log )(2log log )(2

log )( 2log )( )(log )()()

( 21)()(2

222222

2π

π

π

π

π

ππθ

θθ

πθθπθ

θθπ

θθπ

θθθπ

θθθπθθθπθπππππππππd d r d rd d r d r r r r d r r r r x dx x r x r r dx x r r x r dx

x r x p symbol

bit e r e

r r dx

x r x p r dx

x r x p dx r

x p dx

r x r x p dx

x p x p X H r x r r x r dy r dy xy p x p r

r

r r

r

r r r r r r r

r r

r c x r x r x r x r 令其中：

e

e e d e d e d e d e d e

d d d e

r d r d d r r d d d r d r 220

2220

220

22

0220

2220

220

20

20

20

220

20

220

20

20

20

20

log 2

1

2sin log 21log 212cos log 1log 122cos 1log 2

cos log 2

sin log cos cos sin 21

sin log 2sin sin log 2sin 12sin sin log 1

sin log 2cos 2

log 2

1

1log sin log 2cos 2

1log sin log 2cos 2

)2log 2

(2

2sin log 1

log sin log 2cos 2

sin log 2

2cos log 2

log 2

-=--=--=+-

=-=-=⎪⎪⎭

⎫

⎝⎛-==

+-=-

-=-

-

+

-

=-

+

-

=

⎰⎰⎰⎰⎰

⎰⎰

⎰⎰

⎰

⎰⎰

⎰

⎰⎰π

π

ππ

π

π

π

π

π

π

π

π

π

π

π

π

π

θπθ

θπ

θπθ

θ

πθ

θπθ

θ

θθ

θπθθθθπθ

θπθ

θθπθ

θθπθ

θθπππ

θπ

θ

θθπθθπθθπ

θπ

其中：

bit/symbol e r e r XY H Y H X H Y X I bit/symbol r dxdy xy p r dxdy r xy p dxdy

xy p xy p XY H bit/symbol

e r X H Y H x p y p r y r r y r dx r dx xy p y p c c c c R

R

R

c C C y r y r y r y r log log

log log log 2

)()()();( log

)(log

1

log )(

)(log )()( log 2

1

log )()()

()()( 21

)()(222222222

222

2222

2222

22

2-=--=-+===-=-=-===≤≤--=

==⎰⎰⎰⎰⎰⎰⎰

⎰

---

---πππππππππ

2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；

(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式；

(3) 计算(2)中序列的熵。 解： (1)

(完整word版)信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案 第二章 2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转移概率 为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =， ()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =， 画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132 231231 112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩ 计算可得1231025925625W W W ⎧=⎪⎪⎪= ⎨⎪ ⎪=⎪⎩

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00) p=0.8，(0|11) p=0.2，(1|00) p=0.2，(1|11) p=0.8，(0|01) p=0.5，(0|10) p=0.5，(1|01) p=0.5，(1|10) p=0.5。画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8 p p ==(0|01)(10|01)0.5 p p == (0|11)(10|11)0.2 p p ==(0|10)(00|10)0.5 p p == (1|00)(01|00)0.2 p p ==(1|01)(11|01)0.5 p p == (1|11)(11|11)0.8 p p ==(1|10)(01|10)0.5 p p == 于是可以列出转移概率矩阵： 0.80.200 000.50.5 0.50.500 000.20.8 p ⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎝⎭ 状态图为： 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有

信息论与编码(第二版)曹雪虹(最全版本)答案

《信息论与编码（第二版）》曹雪虹答案 第二章 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132 231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=???= ?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概 率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == u 1 u 2 u 3 1/2 1/21/3 2/32/3 1/3

信息论与编码-曹雪虹-课后习题参考答案

《信息论与编码》-曹雪虹-课后习题答案 第二章 错误！未定义书签。2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转 移概率为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =， ()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出 各符号稳态概率。 W 2、W 3 12310259 25625W W W ?=???=? ? ?=?? 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.5000 00.20.8p ?? ? ?= ? ? ?? 状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有 4 1 1 i i WP W W = = ? ? ? = ? ? ∑ 得 131 132 243 244 1234 0.80.5 0.20.5 0.50.2 0.50.8 1 W W W W W W W W W W W W W W W W += ? ?+= ?? += ? ?+= ? +++= ?? 计算得到 1 2 3 4 5 14 1 7 1 7 5 14 W W W W ? = ? ? ?= ? ? ?= ? ? ?= ? 2.31/6， 求： (1)“3和5 (2)“两个1 (3) 1的自信息量。 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56

信息论与编码第六章课后习题答案(曹雪虹)(word文档良心出品).docx

第六章：信道 (本章复大我重新修改了一下，尤其要关注 色内容 ) 1、基本概念：差符号、差比特；差：随机差、突差 ；分：和、分和卷、性与非性 、随机差和突差；矢量空、空及其偶空； 有离散信道的定理：P e e- NE ( R)（掌握信道定理的内容及 减小差概率的方法）；形分的展与短（掌握奇偶校及短的校矩、生成矩与原形分的关系）。 2、性分 (封性 )：生成矩及校矩、系形式的 G 和 H、 伴随式与准列表、距与能力、完(明 )、循 的生成多式及校多式、系形式的循。 作： 6-1、6-3、6-4、6-5 和 6-6 一、 6-7 6-8 和 6-9 一 6-1 二元域上 44重失量空的元素个数共有24=16 个，它 分是(0,0,0,0),(0,0,0,1)? (1,1,1,1)，它的一个自然基底是 (0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二子空含有的元 素个数 22个，取其中一个自然基底(0,0,0,1)和(0,0,1,0)，其 二子空中所包含的全部矢量(0,0,0,0,),(0,0,0,1),(0,0,1,0)和 (0,0,1,1)(注不唯一 )；上述子空的偶子空可以有三种 不同的：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0) 或(0,0,0,0) (1,0,0,0)。(注意本中所包含的关于矢量空的一些基本概 念 ) 6-3 由可以写出系 (8,4)的形方程如下：

v 7 u 3 v 6 u 2 v 5 u 1 v 4 u 0 (注：系统码高四位与信息位保持一致， u i 为信息位 ) v 3 u 3 u 2 u 0 v 2 u 3 u 1 u 0 v 1 u 2 u 1 u 0 v 0 u 3 u 2 u 1 把上述方程组写成矩阵形式， 可以表示为 V=UG ，其中 V 为码字构 成的矢量，即 V=(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即 U=( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为： 1 0 0 0 1 1 0 1 0 1 0 0 1 0 1 1 4 | P 4*4 G 0 1 0 0 1 1 I 0 1 0 0 0 1 1 1 1 0 由系统生成矩阵和校验矩阵的关系可得： 1 1 0 1 1 0 0 0 H P 4*4 T 1 0 1 1 0 1 0 0 | I 4 1 1 1 0 0 1 0 1 1 1 0 0 0 0 1 由校验矩阵可以看出，矩阵 H 的任意三列都是线性无关的 (任意三列之和不为 0)，但存在四列线性相关的情况 (如第 1、5、6、8 列，这四列之和为 0)，即校验矩阵 H 中最小的线性相关的列数为 4，从而得该线性分组码的最小码距为 4。(注意：书上 定理 6.3 的结论是 错误的，正确的结论是线性分组码的最小码距为校验矩阵中最小的 线性相关的列数 )。 该编码器的硬件逻辑连接图略 (用 WORD 画图比较麻烦，希望同学 们自己把硬件电路图画一下，主要考查数字电路一些知识点，其他

信息论与编码答案

《信息论与编码》-曹雪虹-课后习题答 案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =， ()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概 率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231 W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=??? =?? ? =??

2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5， (1|10)p =0.5。画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.500000.20.8p ?? ? ?= ? ??? 状态图为： 设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有 41 1i i WP W W ==???=??∑ 得 131 132 24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=??+=??+=??+=?+++=?? 计算得到1234514171 75 14W W W W ? =?? ?=???=???= ? 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；

信息论与编码(第二版)曹雪虹(最全版本)答案

《信息论与编码（第二版）》曹雪虹答案（一）第二章 Equation Chapter 1 Section 12.1一个马尔可夫信源有3个符号，转移概率为：，，，，，，， ，，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 设状态u1，u2，u3稳定后的概率分别为W1，W2、W3 由得计算可得 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：=0.8，=0.2，=0.2， =0.8，=0.5，=0.5，=0.5，=0.5。画出状态图，并计算各状态的稳态概率。 解： 于是可以列出转移概率矩阵： 状态图为：

00 01 10 11 0.8 0.2 0.5 0.50.50.5 0.2 0.8 设各状态00，01，10，11的稳态分布概率为 W1,W2,W3,W4 有 得 计算得到 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1)(2) (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

信息论与编码-曹雪虹-第四章-课后习题答案

4.2 某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵为 ⎥⎦⎤⎢⎣⎡=a a D 00求这信源的D max 和D min 和R(D)函数。 解： 0021021),(min )(202121),()(min min min max =⨯+⨯===⨯+⨯===∑∑i j i j i i j i i j j y x d x p D a a y x d x p D D 因为二元等概信源率失真函数： ⎪⎭⎫ ⎝⎛-=a D H n D R ln )( 其中n = 2, 所以率失真函数为： ⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-=a D a D a D a D D R 1ln 1ln 2ln )( 4.3 一个四元对称信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣ ⎡4/14/1324/14/110)(X P X ，接收符号Y = {0, 1, 2, 3}，其失真矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣ ⎡0111101111011110，求D max 和D min 及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 0041041041041),(min )(43041141141141),()(min min min max =⨯+⨯+⨯+⨯===⨯+⨯+⨯+⨯===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 因为n 元等概信源率失真函数： ⎪⎭⎫ ⎝⎛-⎪⎭⎫ ⎝⎛-+-+=a D a D n a D a D n D R 1ln 11ln ln )( 其中a = 1, n = 4, 所以率失真函数为： ()()D D D D D R --++=1ln 13ln 4ln )( 函数曲线：

信息论与编码第六章课后习题答案(曹雪虹)(word文档良心出品)

第六章：信道编码(本章复习大纲我重新修改了一下，尤其要关注红色内容) 1、基本概念：差错符号、差错比特；差错图样：随机差错、突发差错；纠错码分类：检错和纠错码、分组码和卷积码、线性码与非线性码、纠随机差错码和纠突发差错码；矢量空间、码空间及其对偶空间； 有扰离散信道的编码定理：-()NE R e P e （掌握信道编码定理的内容及减小差错概率的方法）；线形分组码的扩展与缩短（掌握奇偶校验码及缩短码的校验矩阵、生成矩阵与原线形分组码的关系）。 2、线性分组码(封闭性)：生成矩阵及校验矩阵、系统形式的G 和H 、伴随式与标准阵列译码表、码距与纠错能力、完备码(汉明码)、循环码的生成多项式及校验多项式、系统形式的循环码。 作业：6-1、6- 3、6- 4、6-5和6-6选一、6-7 6-8和6-9选一 6-1 二元域上4维4重失量空间的元素个数总共有24=16个，它们分别是(0,0,0,0),(0,0,0,1)…(1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二维子空间含有的元素个数为22个，选取其中一个自然基底为(0,0,0,1)和(0,0,1,0)，则其二维子空间中所包含的全部矢量为(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注选择不唯一)；上述子空间对应的对偶子空间可以有三种不同的选择：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。(注意本题中所包含的关于矢量空间的一些基本概念) 6-3 由题设可以写出该系统(8,4)码的线形方程组如下：