信息论与编码陈运主编答案完整版

信息论与编码课后习题答案详解

试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表

示 2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ 八进制脉冲的平均信息量

H X( 2) = log n = log8 = 3 bit symbol/

二进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和3 倍。

居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X 代表女孩子学历

X x1（是大学生）x2（不是大学生）

P(X)

设随机变量Y 代表女孩子身高

Y y1（身高>160cm）y2（身高<160cm）

P(Y)

已知：在女大学生中有75%是身高160 厘米以上的

即：p y( 1 / x1) = bit

求：身高160 厘米以上的某女孩是大学生的信息量

p x p y( 1) ( 1 / x1 ) log ×

=bit即：I x( 1 / y1 ) =

−log p x( 1 / y1 ) = −log = −

p y( 1 )

一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

解：

(1) 52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

p x ( i ) =

I x ( i ) =−log p x ( i ) = log52!= bit

(2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下：

413

p x ( i ) =

C 5213

413

I x ( i ) = −log p x ( i ) = −log

C 5213 = bit

设离散无记忆信源⎢⎡⎣P X (X )⎥⎦⎤ = ⎨⎩⎧x 31 /=80

x 2 =1 x 3 = 2 x 4 = 3⎫⎬

，其发出的信息为 1/4 1/4 1/8 ⎭

(202032)，求

(1) 此消息的自信息量是多少？

(2) 此消息中平均每符号携带的信息量是多少？ 解：

(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是：

p = ⎛⎜3⎞⎟14 ×⎛⎜ 1 ⎞⎟25 ×⎛⎜1⎞⎟6 ⎝8⎠

⎝ 4⎠

⎝8⎠

此消息的信息量是：I =−log p = bit

(2) 此消息中平均每符号携带的信息量是：I n / = 45 = bit

从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少

信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士： p x ( Y ) = 7%

I x ( Y ) = −log p x ( Y ) = − = bit p x ( N ) = 93%

I x ( N ) = −log p x ( N ) = − = bit H X (

) p x ( )log p x ( ) bit

symbol /

i

女士：

H X (

) p x ( )log p x ( )

bit symbol /

⎢P X ( )⎥⎦

⎨⎩ ⎬⎭

⎣

H(X) > log6不满足信源熵的极值性。

解：

H X

p x p x

i

=− + + + + = bit symbol / H X (

) > log 62 =

不满足极值性的原因是。

i

证明：H(X 3/X 1X 2) ≤ H(X 3/X 1)，并说明当X 1, X 2, X 3是马氏链时等式成立。证明：

H X ( 3 / X X 12 ) − H X ( 3 / X 1)

= −∑∑∑ p x x x ( i 1 i 2i 3 )log p x ( i 3 / x x i 1 i 2 ) + ∑∑ p x x ( i 1 i 3 )log p x ( i 3 / x i 1)

i 1 i 2

i 3

i 1

i 3

i

⎡ X ⎤ ⎧ x 设信

源 = 1

x 2

x 3

x 4 x 5

x 6 ⎫

，求这个信源的熵，并解释为什么

= −∑∑∑ p x x x( i1 i2i3 )log p x( i3 / x x i1 i2 ) + ∑∑∑ p x x x( i1 i2i3 )log p x( i3 / x i1) i1 i2 i3 i1 i2 i3 p x( i3 / x i1)

= ∑∑∑i1 i2 i3 p x x x( i1 i2 i3 )log p x( i3 / x x i1 i2 )

⎛p x( i3 / x i1) 1⎞⎟⎟log2 e

≤ ∑∑∑i1 i2 i3 p x x x( i1 i2 i3 )⎜⎜⎝p x( i3 / x x i1 i2 ) −⎠

= ⎜⎛∑∑∑ p x x( i1 i2 ) (p x i3 / x i1) −∑∑∑ p x x x( i1 i2i3 )⎞⎟log2 e

⎝i1 i2 i3 i1 i2 i3 ⎠

⎛⎡⎤⎞

= ⎜⎜∑∑ p x x( i1 i2 )⎢∑ p x( i3 / x i1)⎥−1⎟⎟log2 e

⎝i1 i2 ⎣i3 ⎦⎠

= 0

∴H X( 3 / X X1 2) ≤ H X( 3 / X1)

p x( i3 / x i1) 1 0时等式等等当

− = p x( i3 / x x i1 2i )

⇒ p x( i3 / x i1) = p x( i3 / x x i1 2i )

⇒ p x x( i1 2i ) (p x i3 / x i1) = p x( i3 / x x i1 2i ) (p x x i1 2i )

⇒ p x( i1) (p x i2 / x i1) (p x i3 / x i1) = p x x x( i1 2 3i i )

⇒ p x( i2 / x i1) (p x i3 / x i1) = p x x( i2 3i / x i1)

∴等式等等的等等是X1, X2, X3是马氏链_

证明：H(X1X2 。。。X n) ≤ H(X1) + H(X2) + … + H(X n)。证明：

H X X( 1 2...X n ) = H X( 1)+ H X(2 / X1)+ H X( 3

/ X X1 2 )+...+ H X( n / X X1 2...X n−1 )

I X( 2 ;X1 ) ≥ 0 ⇒ H X( 2 ) ≥ H X( 2

/ X1 ) I X( 3;X X1 2 ) ≥ 0 ⇒ H X( 3 ) ≥ H X(

3 / X X1 2 )

...

I X( N;X X1 2...X n−1) ≥ 0 ⇒ H X( N ) ≥ H X( N / X X1 2...X n−1)

∴H X X( 1 2...X n) ≤ H X( 1)+H X( 2)+H X( 3)+ +... H X( n)

设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = ，P(1) = 的概率发出符号。

(1)试问这个信源是否是平稳的？

(2)试计算H(X2), H(X3/X1X2)及H∞；

(3)试计算H(X4)并写出X4信源中可能有的所有符号。

解：

(1)

这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……”

(2)

H X(2 ) = 2H X( ) = −2× =bit symbol/

H X( 3 / X X1 2 ) = H X( 3 ) = −∑ p x( i )log p x( i ) = − = bit symbol/

i

H∞ = lim H X( N / X X1 2...X N−1 ) = H X( N ) = bit symbol/

N−>∞

(3)

H X(4 ) = 4H X( ) = −4× = bit symbol/

X 4的所有符号：

0000 0001 00100011

0100 0101 01100111

1000 1001 10101011

1100 1101 11101111

一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1) 求

平稳后信源的概率分布；

(2) 求信源的熵H∞。

解：

(1)

⎧p e( 1 ) = p e p e( 1 ) ( 1 /e1 ) + p e( 2 ) (p e1 /e2 )

⎪

⎨p e( 2 ) = p e( 2 ) (p e2 /e2 ) + p e( 3 ) (p e2 /e3 )

⎪

⎩p e( 3 ) = p e( 3 ) (p e3 /e3 ) + p e p e( 1 ) ( 3 /e1 )

⎧p e( 1 ) = p p e⋅( 1 ) + p p e⋅( 2 )

⎪⎪

⎨p e( 2 ) = p p e⋅( 2 ) + p p e⋅( 3 )

⎪⎪⎩p e( 3 ) = p p e⋅( 3 ) + p p e⋅( 1 )

⎧p e( 1 ) = p e( 2 ) = p e( 3 )

⎨

⎩p e( 1 ) + p e( 2 ) + p e( 3 ) =1

⎧p e( 1 ) =1/3

⎪

⎨p e( 2 ) =1/3

⎪

⎩p e( 3 ) =1/3

⎧p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e⋅( 1 ) + p p e⋅( 2 ) = (p + p)/3 =1/3

⎪⎪

⎨p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e⋅( 2 ) + p p e⋅( 3 ) = (p + p)/3 =1/3

⎪⎪⎩p x( 3 ) = p e( 3 ) (p x3 /e3 ) + p e p x( 1 ) ( 3 /e1 ) = p p e⋅( 3 ) + p p e⋅( 1 ) = (p + p)/3 =1/3⎡X ⎤⎧ 0 1 2 ⎫

⎢P X( )⎥⎦= ⎨⎩1/3 1/3 1/3⎬⎭

p p

p p p p log 1 log 1 log 1 log 1 log 1 log 1 3

1

⎢ ⎡ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ + + + + =− + ⋅ ⎣

(2)

H

p e p e ( ) (

/e )log p e ( j /e i ) i j

= −⎡⎢13 p e ( 1 /e 1)log p e ( 1 /e 1) + 13 p e ( 2 /e 1)log p e ( 2 /e 1) + 1

3 p e ( 3

/e 1)log p e ( 3 /e 1) ⎣

1

1 1

⎤

+ 3 p e ( /e )log p e ( 1 /e 3) + 3 p e ( 2 /e 3)log p e ( 2 /e 3) + 3 p e ( 3 /e 3)log p e ( 3 /e 3)⎦⎥ 3 3 p p 3 p p 3 3 p p 3 ⎤⎥⎦

⎣

= −(p ⋅log p + p ⋅log p bit symbol )

/

黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。设黑色出现的概率为 P(黑) = ，白色出现的概率为P(白) = 。

(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；

(2) 假设消息前后有关联，其依赖关系为P(白/白) = ，P(黑/白) = ，P(白/黑) = ， P(黑/黑) = ，求此一阶马尔可夫信源的熵H 2(X);

(3) 分别求上述两种信源的剩余度，比较H(X)和H 2(X)的大小，并说明其物理含义。解：

(1)

H X (

) =−∑ p x ( i )log p x ( i ) =− = bit symbol /

i

(2)

⎧p e ( 1 ) = p e p e ( 1 ) ( 1 /e 1 )+ p e ( 2 ) (p e 1 /e 2 ) ⎨

⎩p e ( 2 ) = p e ( 2 ) (p e 2 /e 2 )+ p e p e ( 1 ) ( 2 /e 1 ) ⎧p e ( 1 ) = (p e 1 )+ (p e 2 ) ⎨

⎩p e ( 2 ) = (p e 2 )+ (p e 1 ) ⎧p e ( 2 ) = 2 (p e 1 ) ⎨

⎩p e ( 1 )+ p e ( 2 ) =1 ⎧p e ( 1 ) =1/3 ⎨

⎩p e ( 2 ) = 2/3

H ∞ = −∑∑ p e p e ( i ) ( j /e i )log p e ( j /e i )

i

j

= −⎛⎜1× 1× 2 × 2 × 3 3 3 ⎠

=bit symbol /

(3)

η 1 = H 0 − H ∞ = log2− =% H 0 log2

%

H(X) > H 2(X)

表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。

同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … ,

12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。解：

(1)

p x( i ) =× + ×

=

I x( i ) = −log p x( i ) = −log = bit

(2)

p x( i ) =× =

I x( i ) = −log p x( i ) = −log = bit

(3)

两个点数的排列如下：

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

共有21 种组合：其中11，22，33，44，55，66 的概

率是

其他15 个组合的概率是

H X( ) = −∑

p x( i )log p x( i ) = −

⎛

⎜6× 36

1

log36

1

+15×18

1

log18

1 ⎞

⎟⎠=

bit symbol/ i ⎝

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

⎡⎢P X (X )⎤⎦⎥ = ⎧⎪⎪⎨⎩3612 1813

1214

195 3656

176 3685

919 10121

18111 12361 ⎫⎪⎪⎭⎬ ⎣

H X () = −∑i p x ( i )log p x ( i )

= −⎛⎜2× 1 log 1 + 2× 1 log 1 + 2× 1 log 1 + 2× 1log1 + 2× 5 log 5 + 1log 1⎞⎟ ⎝ 36 36 18 18 12 12 9 9 36 36 6 6⎠ =

bit symbol /

(5)

p x ( i ) =

× ×11=

I x ( i ) = −log p x ( i ) = −log

= bit

某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；

(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）

的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)

H X (

) = −

∑

p x ( i )log p x ( i ) = −⎛⎜ 14log 14 + 43log 34⎟⎞

⎠ =

bit symbol /

i

⎝

(2)

p x ( i ) = ⎛⎜ 14⎞⎟⎠m ×⎛⎜⎝ 34⎟⎠⎞100−m =

−m

⎝

3100−m

11

I x ( i ) = −log p x ( i ) = −log

100 = + bit

(3)

H X ( 100) =100H X ( ) =100×= bit symbol /

对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：

(1) 忙闲的无条件熵；

(2) 天气状态和气温状态已知时忙闲的条件熵； (3)

从天气状态和气温状态获得的关于忙闲的信息。

解： (1)

根据忙闲的频率，得到忙闲的概率分布如下：

⎡ X ⎤ ⎧⎪x 1忙 闲x 2 ⎫⎪ ⎢P X ( )⎥⎦ = ⎨⎪⎩10363

10340 ⎬⎪⎭

⎣

H X ( ) = −

∑

2

p x ( i )log p x ( i ) = −⎛

⎜10363 log10363 +10340 log10340

⎞⎟⎠ = bit symbol / i ⎝

(2)

设忙闲为随机变量 X ，天气状态为随机变量 Y ，气温状态为随机变量 Z

H XYZ () = −∑∑∑ p x y z ( i jk )log p x y z ( i

j k

)

i

j

k

= −⎛⎜ 12 log 12 + 8 log 8 + 27 log 27 + 16 log 16

⎝103 103 103 103 103 103 103 103

若把这些频度看作概率测度，求：

12

+ 8 log 8 + 15 log 15 +

log 5 + 12 log 12 ⎟⎞ 5

103 103 103 103 103

103 103

103⎠

= bit symbol /

H YZ (

) = −∑∑ p y z ( j

k

)log p y z ( j k ) j k

= −⎛⎜ 20 log 20 + 23 log 23 + 32 log 32 + 28 log 28 ⎟⎞ ⎝103 103 103 103 103 103 103 103⎠ = b it symbol /

H X YZ ( / ) = H XYZ ( ) − H YZ (

) = − = bit symbol /

(3)

I X YZ ( ; ) = H X ( ) − H X YZ ( / ) = − = bit symbol / 有两个二元随机变量X 和Y ，它们的联合概率为

并定义另一随机变量Z = XY （一般乘积），试计算：

(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；

(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和

H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)

p

x

p x y p x y p

Y

X x =0 x =1 y =0 1 /8 3 /8 y =1

3 /8

1 /8

x

p x y p x y

H X() =−∑ p x( i )log p x( i ) =1 bit symbol/

i

p

y

p x y p x y p

y

p x y p x y

H Y( ) =−∑ p y( j )log p y( j ) =1 bit symbol/

j

Z = XY 的概率分布如下：

⎡Z ⎤⎧⎪z1 = 0 z2 =1⎫⎪

⎢⎣P Z( )⎥⎦=⎨⎪⎩ 78 18 ⎬⎪⎭

13

14

H Z ( ) =−∑k 2 p z ( k ) =−⎛⎜⎝ 78 log 87 + 81log 18⎞

⎟⎠= bit symbol / p x ( 1) = p x z ( 1 1)+ p x z ( 1 2) p x z ( 1 2) = 0 p x z ( 1

1

) = p x ( 1) = p z ( 1) = p x

z ( 1 1)+ p x z ( 2 1)

p z ( 2) = p x z ( 1 2)+

p x z ( 2 2)

H XZ ( ) =−

∑∑

p x z ( ik )log p x z ( ik ) =−⎛⎜ 12log 12 + 83log83 + 81log81⎠⎟⎞

= bit symbol /

i

k

⎝

15

p y ( 1) = p y z ( 1 1)+ p y z ( 1 2) p y z ( 1 2) = 0 p y z ( 1 1) = p y ( 1) = p z ( 1) = p y z ( 1 1)+ p y z ( 2 1)

p z ( 2) = p y z ( 1 2)+ p y z ( 2 2)

H YZ ( ) =−

∑∑

k

p y z ( j

k

)log p y z ( j k ) =−⎛⎜ 12log 12 + 83log83 + 81

log18⎠⎟⎞=

bit symbol / j ⎝

p x y z ( 1 1 2) = 0 p x y z ( 1 2 2) =

0 p x y z ( 2 1 2) = 0 p x y z ( 1 1 1)+ p x y z ( 1 1 2) = p x y ( 1 1) p x y z ( 1 1 1) = p x y ( 1 1) =1/8 p x y z ( 1 2 1)+ p x y z ( 1 1 1) = p x z ( 1 1)

p x y z ( 2 1 1)+ p x y z ( 2 1 2) = p x y ( 2 1)

16

p x y z ( 2 2 1) = 0

p x y z ( 2 2 1)+ p x y z ( 2 2 2) = p x y ( 2 2)

H XYZ ( ) =−∑∑∑ p x y z ( i

jk

)log 2 p x y z ( i j

k

)

i

j

k

=−⎛⎜1log 1 + 3log 3 + 3log 3 + 1log 1⎞

⎟= bit symbol /

⎝8 8 8 8 8 8 8 8⎠

(2)

H XY ( ) =−

∑∑

p x y ( ij )log 2 p x y ( ij ) ==−⎛⎜18log 18 + 83log83 + 83log83 + 81log81⎠⎟⎞

= bit symbol /

i

j

⎝

H X Y ( / ) = H XY ( )− H Y ( ) = 1− = bit symbol /

H Y X ( / ) = H XY (

)− H X ( ) = 1− = bit symbol / H X Z (

/

) = H XZ ( )− H Z ( ) =− = bit symbol /

17

H Z X ( / ) = H XZ ( )− H X ( ) =− =1 bit symbol /

H Y Z ( / ) = H YZ ( )− H Z ( ) =− = bit symbol /

H Z Y ( / ) = H YZ ( )− H Y ( ) =− =1 bit symbol / H X YZ (

/

) = H XYZ ( )− H YZ (

) = − = bit symbol /

H Y XZ ( / ) = H XYZ ( )− H XZ ( ) = − = bit symbol / H Z XY ( / ) = H

XYZ ( )− H XY ( ) = − = 0 bit symbol /

(3)

I X Y ( ; ) = H X (

)− H X Y ( / ) = −1 = bit symbol /

I X Z ( ; ) = H X ()− H X Z (

/

) = −1 = bit symbol /

I Y Z ( ;) = H Y ( )− H Y Z ( / ) = −1 = bit symbol /

I X Y Z (

; / ) = H X Z (

/ )− H X YZ ( /

) = − = bit symbol /

I Y Z X ( ; / ) = H Y X ( / )− H Y XZ ( / ) = − = bit symbol / I X Z Y ( ; / ) = H X Y ( / )− H X YZ ( / ) = − = bit symbol /

有两个随机变量X 和Y ，其和为Z = X + Y （一般加法），若X 和Y 相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)。

证明：

Z = X +Y

∴ p z ( k / x i ) = p z ( k − x i ) = ⎧⎨p y ( j ) (z k − x i )∈Y

⎩0 (z k − x i )∉Y

H Z X (

/ ) = −∑∑i

k

p x z ( i

k

)log p z ( k / x i ) = −∑i p x ( i )⎢⎡

⎣∑k

p z ( k / x i )log p z ( k / x i )⎤

⎥⎦

⎡ ⎤

= −∑ p x ( i )⎢∑ p y ( j )log 2 p y ( j )⎥ = H

Y ( ) i

⎣ j ⎦

H Z ( ) ≥ H Z X ( / ) ∴H Z ( ) ≥ H Y ( ) 同理可

得H Z ( ) ≥ H X ( )。

1

−λx

给定声音样值X的概率密度为拉普拉斯分布p x( ) = λ e ,−∞ < x < +∞ ，求H c(X)，并证

2

明它小于同样方差的正态变量的连续熵。解：

H c Xp x p x dx p x e−λ| |x dx

p x dx p x e | |x dx

log = −e

e | |x dx log=

− e e x dx

其中：

e e x dx

= e−λx log2 e−λx 0+∞ −∫0+∞e−λx d(log e−λx )= −⎜⎝⎛e−λx0+∞ ⎞⎟⎠log2 e = log2 e

2 2e

∴H c (X) = log +log2 e = log bit symbol/

λλ

m E X p x xdx e x xdx e y d y e y ydy

e y ydy

e x xdx = 0

E x m E x p x x dx e x dx

e x dx

= −∫0+∞x de2−λx = −⎜⎛⎝e−λx x2 0+∞ −∫0+∞e−λx dx2 ⎞⎟⎠ = ∫0+∞e−λx dx2 = 2∫0+∞e−λx xdx

= − 2 ∫0+∞xde−λx = −λ 2 ⎛⎜⎝e−λx x 0+∞ −

∫0+∞e−λx dx⎞⎟⎠

18

19

λ λ

∴H c (X 正态) = 1 log2πσe 2 = log 2

πe > H c (X ) = log

2e

2 λ

λ

⎧

⎪ 12

x 2 + y 2 ≤r 2 ，求H(X), H(Y), 连续随机变量X 和Y 的联合概率密度为：p x y ( , ) =⎨πr

⎪⎩0

其他

H(XYZ)和I(X;Y)。 （提示：

xdx ） 解：

r −xr −x

1

2 r 2 − x 2

p x ( ) = ∫− r −x p xy dy ( )

= ∫− r −x πr 2 dy = πr 2 (−r ≤ x ≤ r )

H c

X p x p x dx

( )log

dx

= −

( )log

dx

p x

r 2 x dx 2

πr

log p x r 2 x dx 2

∫ − =− − 2 2 2

2 π r r x px

r

r

20

log e

log r log e bit symbol /

其中：

p x r 2 x dx 2

r 2 x dx 2

∫

∫

∫

∫ ∫

∫

∫ − + − = + = = =− = 2 0 2 0 2 0 2 2 0 2 2 0 2 0 2

2

2 2 0 2

2 2 2 logsin 2 4 cos2 1 2 cos2 1 log 4 logsin sin 4 log sin 4 sin logsin 4 sin logsin 4 cos logsin sin ) (4

cos π π π π π

π π θθ θ π θ θ π θ θθ π θθ π θ θθ π θ θθ

π θ θ θ π θ π

d d r d rd d r r d r r r r dr r x r r x

r xdx

r 令

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3

《信息论与编码》课后习题答案

《信息论与编码》课后习题答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =， ()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =， ()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231 W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=??? =?? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。 画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码(第二版)习题答案,陈运,主编

信息论与编码(第二版)习题答案,陈运,主编 篇一：信息论与编码复习资料重点陈运第二版 2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历 X P(X) x1（是大学生） 0.25 x2（不是大学生） 0.75 设随机变量Y代表女孩子身高 Y P(Y) y1（身高 160cm） 0.5 y2（身高 160cm） 0.5 已知：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)?0.75 bit 求：身高160厘米以上的某女孩是大学生的信息量即：I(x1/y1)??logp(x1/y1)??log p(x1)p(y1/x1) p(y1) ??log 0.25?0.75 0.5 ?1.415 bit 2.4 设离散无记忆信源? ??x1?0??? ?P(X)??3/8? X x2?1x3?21/4 1/4 x4?3? ?，其发出的信息1/8? 为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： ?3?p??? ?8? 14 ?1?????4? 25 ?1???? ?8? 6 此消息的信息量是：I??logp?87.811 bit (2) 此消息中平均每符号携带的信息量是：I/n?87.811/45?1.951 bit 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则中含有的平均自信息量是多少？解：男士：p(xY)?7% I(xY)??logp(xY)??log0.07?3.837 bitp(xN)?93% I(xN)??logp(xN)??log0.93?0.105 bit 2 H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366 bit/symbol i 女士： 2 H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045 bit/symbol i 2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。解：(1) p(xi)? 16?16?16?16?118 118 ?4.170 bit

信息论与编码课后习题答案

信息论与编码课后习题答案 第二章 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1) bit x p x I x p i i i 170.418 1 log )(log )(18 1 61616161)(=-=-== ?+?= (2) bit x p x I x p i i i 170.536 1 log )(log )(36 1 6161)(=-=-== ?= (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是36 16161=? 其他15个组合的概率是18 1 61612=? ? symbol bit x p x p X H i i i / 337.4181log 18115361log 3616)(log )()(=??? ?? ?+?-=-=∑

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： symbol bit x p x p X H X P X i i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36 12 ) (log )()(36112181111211091936586173656915121418133612)(=? ?? ?? +?+?+?+?+?-=-=??????????=? ?????∑(5) bit x p x I x p i i i 710.136 11 log )(log )(3611116161)(=-=-== ??= 2.4 2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为 1112132122233132 337/241/2401/241/41/2401/247/24r r r r r r r r r ???? ? ?= ? ? ? ????? （1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？ （3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？

信息论与编码理论课后答案

信息论与编码理论课后答案 【篇一：《信息论与编码》课后习题答案】 式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长 篇论文，从而创立了信息论。 3、按照信息的性质，可以把信息分成语法信息、语义信息和语用 信息。 4、按照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用 各种各样的信息。 6、信息的是建立信息论的基础。 7、 8、是香农信息论最基本最重要的概念。 9、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般 用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量， 定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是。 14、不可能事件的自信息量是 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的 熵的。 limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。 20、一维连续随即变量x在[a，b] 。 1log22?ep 21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。

22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p 25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。 27 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?1 1?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学 2期望，则x的信源熵c。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信 2源熵为。 31信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 33、具有一一对应关系的无噪信道的信道容量。 34、强对称信道的信道容量。 35、对称信道的信道容量。 36、对于离散无记忆信道和信源的n次扩展，其信道容量cn= 。xh(x)?logmelog52 37、对于n个对立并联信道，其信道容量 cn = 。 38、多用户信道的信道容量用多维空间的一个区域的界限来表示。 39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。 40、广播信道是只有一个输入端和多个输出端的信道。 41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。 ?ck?1nk p1log2(1?x)2pn。 42、高斯加性信道的信道容量c= 43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。 ?1/21/20??0?01??代表的信道的信道容量。 44、信道矩阵 ?10??10????01??代表的信道的信道容量。 45、信道矩阵?

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年

信息论与编码_杭州电子科技大学中国大学mooc课后章节答案期末考试题库2023年 1.【图片】该信道的信道容量是（）bit/符号。 参考答案: log4-H(1/3,1/3,1/6,1/6); 2.对于离散无记忆平稳信源的N次扩展信源，其熵为扩展前信源熵的N倍。 参考答案: 正确 3.对应对称的DMC信道，当输入呈什么分布时，信道到达信道容量。 参考答案: 等概率分布 4.在X-Y-Z的信息传递中，信息不增性原理表示为I(X;Z)>=I(Y;Z)。 参考答案: 错误 5.信道容量随信源输出的概率分布的变化而变化。 参考答案: 错误 6.已知8个码组为（000000）、（001110）、（010101）、（011011）、 （100011）、（101101）、（110110）、（111000），若只用于检错，可检测出（）位错码。

参考答案: 2 7.突发差错始终以相等的概率独立发生于各码字、各码元、各比特。 参考答案: 错误 8.(7,3)码的监督矩阵有3行，生成矩阵有4行。 参考答案: 错误 9.根据香农容量公式可知，通过增大带宽可以无限的提高信道容量，只是提高 的速度会变慢 参考答案: 错误 10.二进制对称信道中，当信道转移概率中正确、错误的概率相等时，此信道不 能传递信息。 参考答案: 正确 11.某信道输入熵为H(X)，输出熵为H(Y)，若信道为无噪有损信道，其容量为 H(X)。 参考答案: 正确

12.连续信源限峰值条件下正态分布具有最大熵。 参考答案: 错误 13.关于信息熵在通信系统中的描述，以下错误的是（）。 参考答案: 条件熵H(X|Y)可以看作是信道上的干扰和噪声使接收端获得Y之后对X还有的平均不确定度，又称为噪声熵。 14.必然事件和不可能事件的自信息量都是0 。 参考答案: 错误 15.通常所说的符号差错概率（误码元率）是指信号差错概率，而误比特率是指 信息差错概率。 参考答案: 正确 16.当离散信源输出服从（）分布时，其熵为最大 参考答案: 等概率分布 17.信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造 的是最佳码。

《信息论与编码》习题解答-第三章

第三章 信道容量 答案 3.1 设二元对称信道的传递矩阵为?? ? ???3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?= +=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2) 2 1 )(/ 082.010log )3 2 lg 3231lg 31(2log log );(max 222= =?++=-==i mi x p symbol bit H m Y X I C 3.2 解： (1)αα-==1)(,)(21x p x p ??????=4/14/12/102/12/1P ，?? ? ???---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p 接收端的不确定度： ))1(41 log()1(41)4141log()4141()2log(21)(αααα---++-=Y H )1log(4 1)1log(4123αααα---++-=

信息论与编码第五章习题参考答案

5.1某离散无记忆信源的概率空间为 采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。 解：计算相应的自信息量 1)()(11=-=a lbp a I 比特 2)()(22=-=a lbp a I 比特 3)()(313=-=a lbp a I 比特 4)()(44=-=a lbp a I 比特 5)()(55=-=a lbp a I 比特 6)()(66=-=a lbp a I 比特 7)()(77=-= a lbp a I 比特 7)()(77=-=a lbp a I 比特 根据香农码编码方法确定码长 1)()(+<≤i i i a I l a I 平均码长 984375 .164/6317128/17128/1664/1532/1416/138/124/112/1L 1=+=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=由于每个符号的码长等于自信息量，所以编码效率为1。 费罗马编码过程

5.2某离散无记忆信源的概率空间为 使用费罗码对该信源的扩展信源进行二进制变长编码， (1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。 (2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。 (3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果 进行比较。 解：信息熵811.025.025.075.075.0)(=--=lb lb X H 比特/符号 （1） 平均码长11=L 比特/符号 编码效率为 %1.81X) （H 1 1== L η （2） 平均码长为 84375.0）316 1316321631169（ 212=⨯+⨯+⨯+⨯=L 比特/符号 编码效率% 9684375 .0811 .0X) （H 2 2== = L η

信息论与编码第一章答案

第一章信息论与基础 1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学 模型。 解：设该信源符号集合为X

信息论与编码习题答案

信息论与编码习题答案 信息论与编码习题答案 信息论与编码是一门研究信息传输、存储和处理的学科，它的基本原理和方法 被广泛应用于通信、数据压缩、密码学等领域。在学习信息论与编码的过程中，习题是不可或缺的一部分。下面将为大家提供一些信息论与编码习题的答案， 希望能对大家的学习有所帮助。 习题一：请解释信息熵的概念。 答案：信息熵是信息论中的一个重要概念，用来衡量一个随机变量的不确定性。对于一个离散型随机变量X，其信息熵H(X)定义为： H(X) = -Σ P(x)log2P(x) 其中，P(x)表示随机变量X取值为x的概率。信息熵的单位是比特（bit），表示 信息的平均不确定性。信息熵越大，表示随机变量的不确定性越高，反之亦然。习题二：请计算以下离散型随机变量的信息熵。 1. 对于一个均匀分布的随机变量，其取值范围为{1, 2, 3, 4}，请计算其信息熵。 答案：由于均匀分布，每个取值的概率相等，即P(1) = P(2) = P(3) = P(4) = 1/4。代入信息熵的计算公式可得： H(X) = - (1/4)log2(1/4) - (1/4)log2(1/4) - (1/4)log2(1/4) - (1/4)log2(1/4) = - (1/4)(-2) - (1/4)(-2) - (1/4)(-2) - (1/4)(-2) = 2 2. 对于一个二值随机变量，其取值为{0, 1}，且P(0) = 0.8，P(1) = 0.2，请计算 其信息熵。 答案：代入信息熵的计算公式可得：

H(X) = - 0.8log2(0.8) - 0.2log2(0.2) ≈ 0.7219 习题三：请解释信道容量的概念。 答案：信道容量是指在给定的信道条件下，能够传输的最大信息速率。在信息论中，信道容量是衡量信道传输效率的重要指标。对于一个离散无记忆信道，其信道容量C定义为： C = max{I(X;Y)} 其中，X表示输入信号集合，Y表示输出信号集合，I(X;Y)表示输入信号X和输出信号Y之间的互信息。信道容量的单位是比特/秒（bps）。 习题四：请计算以下信道的容量。 1. 对于一个二进制对称信道（Binary Symmetric Channel，BSC），发送方发送0的概率为0.7，发送方发送1的概率为0.3，且接收方接收到正确的概率为0.9，请计算该信道的容量。 答案：由于二进制对称信道的输入和输出是二值的，可以使用二进制对称信道容量公式进行计算： C = 1 - H(p) 其中，p为接收方接收到错误的概率，即p = 1 - 0.9 = 0.1。代入公式可得： C = 1 - H(0.1) ≈ 0.469 2. 对于一个高斯信道，信号传输的功率为P，噪声功率为N，请计算该信道的容量。 答案：高斯信道的容量由香农公式给出：

信息论与编码理论习题答案全解

信息论与编码理论习题答案全解

第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13.208 bit

即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I )0(p =4)1(81⨯-p +481⨯p =2 1 )0;(1u I =) 0()|0(log 1p u p =2 11log p -=1+)1log(p - bit )00(p =]2)1(4)1(2[8122p p p p +-+-=4 1 )00;(1u I =)00()|00(log 1p u p =4/1)1(log 2 p -=)]1log(1[2p -+ bit )000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=8 1 )000;(1u I =3[1+)1log(p -] bit )0000(p =])1(6)1[(8 1 4224p p p p +-+- )0000;(1u I =4 2244 )1(6)1()1(8log p p p p p +-+-- bit 2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。 解：根据题2.9分析 )(Z H =2(216log 2161+3216log 2163+6216log 2166+10 216log 21610+ 15216log 21615+21216log 21621+25216log 21625+27 216 log 21627) =3.5993 bit );(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit

信息论与编码第五章答案

5.1 设信源1 234567()0.20.190.180.170.150.10.01X a a a a a a a p X ⎡⎤⎧⎫=⎨⎬⎢⎥ ⎣⎦⎩⎭ (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率. 解： (1) 7 21222222()()log () 0.2log 0.20.19log 0.19 0.18log 0.180.17log 0.170.15log 0.150.1log 0.10.01log 0.012.609/i i i H X p a p a bit symbol ==-=-⨯-⨯-⨯-⨯-⨯-⨯-⨯=∑ (2) (3) 7 1 ()0.230.1930.1830.1730.153 0.140.0173.141 ()()/ 2.609 3.14183.1% i i i K k p x H X H X K R η===⨯+⨯+⨯+⨯+⨯+⨯+⨯====÷=∑ 5.2 对习题5.1的信源编二进制费诺码，计算编码效率. 解：

5.3 对信源编二进制和三进制 哈夫曼码，计算各自的平均码长和编码效率. 解： 二进制哈夫曼码： x i p(x i)编码码字k i s61 s50.610 s40.391 s30.350 s20.261 x10.20102 x20.191112 x30.1800003 x40.1710013 x50.1500103 s10.111 x60.1001104 x70.01101114 三进制哈夫曼码： x i p(x i)编码码字k i s31 s20.540 s10.261 x10.2221 x20.190002 x30.181012 x40.172022

信息论与编码试卷及答案

一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高米以上的，而女孩中身高米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高以上”这一事件，则 P(A)= p(B)= p(B|A)= （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= （2分） I(A|B)== （1分） 四、（5）证明：平均互信息量同信息熵之间满足

I(X;Y)=H(X)+H(Y)-H(XY) 证明： ()()() () ()()()() ()() Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X Y i j i j i -=⎥⎦⎤ ⎢⎣⎡---==∑∑∑∑∑∑log log log ; （2分） 同理 ()()() X Y H Y H Y X I -=; （1分） 则 () ()()Y X I Y H X Y H ;-= 因为 ()()() X Y H X H XY H += （1分） 故 ()()()()Y X I Y H X H XY H ;-+= 即 ()()()()XY H Y H X H Y X I -+=; （1分） 五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求： 1） 黑色出现的概率为，白色出现的概率为。给出这个只有两个符号的信源X 的数学模型。假设图上黑白消息出现前后没有关联，求熵()X H ； 2） 假设黑白消息出现前后有关联，其依赖关系为 ，，，，求其熵()X H ∞。 3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。

信息论与编码第二章答案

2-1、一阶马尔可夫链信源有3个符号(f úh ào)，转移(zhu ǎny í)概率 为： ， ， ， ，， ， ， ， 。 画出状态图并求出各符号(f úh ào)稳态概率。 解：由题可得状态概率(g àil ǜ)矩阵为： 状态(zhu àngt ài)转换图为： 令各状态的稳态分布概率为，，，则： 1W = 1W + 2W +133W ， 2W =1 21W + 3W , 3W = 2 3 2W 且：1W +2W +3W =1 稳态分布概率为： 1W =，2W = ，3W = 2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为： P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为： 令各状态的稳态分布概率为 、 、 、 ，利用（2-1-17）可得方程组。

且； 解方程组得：即： 2-3、同时掷两个正常(zhèngcháng)的骰子，也就是各面呈现的概率都是，求： （1）、“3和5同时(tóngshí)出现”事件(shìjiàn)的自信息量； （2）、“两个1同时(tóngshí)出现”事件(shìjiàn)的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。 解：（1）3和5同时出现的概率为： （2）两个1同时出现的概率为： （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6) (5,5),(5,6) (6,6)

信息论与编码试题集与答案

一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 212。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =⨯==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=⨯⨯+⨯⨯ =∴ bit x H 71.3636 log 366536log 3610 436 log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θbit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =⨯⨯=⨯-⨯-=-=-=-=-==⨯⨯=⨯-⨯-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士

信息论与编码第六章习题及参考答案

6.1某卷积码的框图如图6.7所示，假设初始状态为全零，输入序列为{1001101}，试写出输出序列，并计算出码率。 图6.7 (2,1,2)卷积码 解：)2()(1-⊕=n X n X C )2()1()(2-⊕-⊕=n X n X n X C 输出序列为（11111111001010），码率R=1/2 6.2 某分组码输出码字集合为{0000, 1001,0110,1010,0101}, 试写出各个码字的重量，并且计算最小汉明距离。 解：码字重量分布为（0,2,2,2,2），通过逐个比较码字得到码字之间的汉明距离并取最小汉明距离d0=2. 6.3某离散无记忆信道的概率转移矩阵为 1/21/31/61/31/61/21/61/21/3⎡⎤ ⎢⎥=⎢⎥ ⎢⎥⎣⎦ P 假设信道输入的概率空间为 12()1/21/41/4X x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 分别使用最小错误概率规则和最大似然译码规则来确定译码规则，并且计算对应的平均错误 概率。 解：后验概率∑== 3 1 )|()()(i i j i j a b p a p b p

249 614131412121)(1= ⨯+⨯+⨯= b p 248 214161413121)(2= ⨯+⨯+⨯= b p 24 7 314121416121)(3= ⨯+⨯+⨯= b p 后验概率) () |()()|(j i j i j i b p a b p a p b a p = ，具体结果如表如下 ⎥⎥⎥⎥⎥⎥⎦ ⎤⎢⎢⎢⎢⎢⎢⎣⎡=727 37 2838121919232P Y |X 根据最小概率译码规则，在上述后验概率中寻找到最大概率对应的输入ai 作为译码估计值，具体如下： b1→a1 b2→a1 b3→a2 如果发送符号为a1,接受符号为b2,b3,就会出现译码错误；如果发送为b2，接受符号为b2,b3,就会出现译码错误；如果发送符号为a3，接受符号为,b1,b3,就会出现译码错误；因此，译码错误计算如下： 24 11）3161（41）2161（41）6131（21P E1=+++++= 最大似然译码则是根据前向概率的列元素大小直接译码，具体译码规则为 b1→a1 b2→a3 b3→a2 同理可以计算出译码错误概率 2 1）3161（41）6131（41）6131（21P E2=+++++= 可以看出E1E2P P >。 6.4某信道的输入、输出的符号集合分别为12{,}a a 和1234{,,,}b b b b ，而且信道转移矩阵为 0.70.10.10.10.10.10.10.7⎡⎤ =⎢⎥ ⎣⎦ P 信道的输入概率分别为1()0.4p a =，2()0.6p a =，分别采用最大后验译码规则和最大似然译码规则概率进行译码，选择译码方案进行译码，并计算相应的译码平均错误概率。