信息论基础答案2.doc
《信息论基础》答案
一、填空题（共15分，每空1分）
1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输fli，则该信源的绝对熵是无労大；其能在每个自巾度熵的最大摘是log（b-a）。
2、高斯白噪声信道是指位道噪声服从正态分布，且功率谱力常数o
3、若连续信源的平均功率为5 W,则最大熵为1/2-log 10^ ，达到最大值的条件是高斯信道。
4、离散信源存在剩余度的原因是信源有记忆（或输出符号之间存在相关性）和不等概。
5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到1 。
6、离散无记忆信源在进行无失真变长信源编码时，码字度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高编码效率。
7、八进制信源的最小熵为_0_，最大熵为览/z。
8、一个事件发生概率为0.125,则自信息量为3bit。
9、在下面空格中选择填入数字符号或“〈”
H（XY]=
二、判断题（正确打V,错误打X）（共5分，每小题1分）
1）离散无记忆等概信源的剩余度为0。（V）2）离散无记忆信源N次扩展源的熵是原信息熵的N倍（V ）3）互信息可正、可负、可为零。（V ）4）信源的真正功率P永远不会大于熵功率戶，即P ＜户（X ）5）信道容量与信源输fli符号的概率分布有关。（X ）
三、（5分）已知信源的概率密度函数ph；）如下图所示，求信源的相对熵
0.5 -
广＜4
^(-^) = -J2 p(-r)log/?(x)^r =Ito/自由度
四、(15分)设一个离散无记忆信源的概率空间为
x iTtz, a2 P(x)」_[_0.5 0.5
它们通过干扰信道，信道输出端的接收信号集为己知信道岀书概率如下图所示。
0.98
试计算：
(1)信源X屮事件x,的自信息量；(3分)
(2)信源X的信息熵；(3分)
(3)共熵"(AT); (3 分)
(4)噪声熵//(叫”；(3分)
(5)收到信息r后获得的关于信源X的平均信息量。(3分)
(1)/ (x,) = [bit
(2)H\-,丄) = 1/?"/符号
U 2)
(3)//(xr) = 7/(0.49,0.01, 0. 1,0.4) = 1.432
(4)//(x|r) = //(xr)-//(x) = 0.432
/(x,r) = //(x)+H(r)-//(x,r)
⑸
=1 +" (0.59, 0.41)-H( AT) =1 + 0.977-1.432 =0.545
五、(10分)一个平均功率受限的连续信道，信道带宽为10MHz,信道噪声为高斯白噪 声。
(1) 己知信道上的信号与噪声的平均功率比值为63,计算该信道的信道蓉量。
(2) 如果信道带宽降为2Mllz,要达到相同的信道容量，信道上的信号与噪声的平均功 率
比值应为多少？
S_ ~N
(1) C = 10xl06xlog 2(l + 63) = 6xl07/?/z/5
(2) — = 2?-l = 21 2 3°-l = 109 N
六、GO 分)己知信源共7个符号信息，其概率空间为
S 5 S 6 S 1
0.2 0.2 0.1 0.1 0.1 0.1
1 试用霍夫曼编码法编成二进制变长码。(7分)
2 计算信源熵，平均码长和编码效率。(9分)
(1)
S
P(S)
」
［0.2
0.：
0.2
& 0.2
0.2
0.1 ^5 0.1 0.4
0.2
Q6
0.1
^6 0.1
57 0.1
(2)
0.4
s ,= 00 52
=01()
=011
54= 10()
55=101
人=110 57
= 1 1 1
0.2
(7分) H(S) = H (0.2,0.2,0.2,0.1，0.1，0.1，0.1，)
= 2.72
分）
Z = 0.2x2 + 0.8x3 = 2.8码元/信源符号
H（S）
fj=—^ = 0.91
分）L
七、（10分）设给定两随机变量它们的联合概率密度为
求随机变量y = x, + x2的概率密度函数，并计算变量y的熵/；（/）已知phA）得
咖）=丄，1/2
\I2TT
p(X2)=?b （2
分）
则p（^x2） = p（x,）p（x2）（2
分）
因为y = x, + x2
所以E⑺=0，=2（2分）
所以心）：去?V2/4(2分)
所以A (F)=丄log 47re
2
bit电由度(2)
八、＜:10分）设某信道的传递矩阵为
所以.r,和;v2独立，所以y为高斯分布1111
p 3 3 6 6
r =
.6 6 3 3 .
计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。ffl?： s=4
C = log s - H (p列矢量)=log; - H
分）-3 1 1 3
2 H—log—I—log—I—log—I—log 一= 0.0817/?,7/ 符兮3
3 3 3 6 66 6 （2分）
最佳概率分布当输入概率p(fl,) = /?(rt2) = -
分)
九、(14分)设有一个马尔可夫信源，如果4为67时，乂2为a、b、c的概率为1/3; 如果X,*/?时，X2%a、b、c的概率为1/3;如果时，X，为a、的概率为1/2。而且后面发的概率只与；有关，又=/23。
(1)写出转移概率矩阵
(2)计算达到稳定后状态的极限概率。
(3)该马尔可夫信源的极限熵
（1）
7 _I
_
T
j_
T
o
(4分)
P（￡I）=|P（E I）+|P（￡2）+
1P（￡3）
啦）=!m）+!啦）4户⑹ P（E3）=1F（E1）+
1P（E2）
F（￡,） + F（￡2）-l-P（￡3） = l (3分)
（3
）
3
I
=—log 3 + — log 2 = 1.439/?"/符号
信息论基础各章参考答案
各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略）
信息论基础与编码复习2
信息论基础与编码复习 一、已知信源??? ???=??????5.05.02 1x x P X 接到信道??? ? ? ?=8.02 .002.098.0)|(X Y P 上，求在该信道上传输的平均互信息量);(Y X I 、疑义度)|(Y X H ，噪声熵)|(X Y H 和联合熵)(XY H 。 参考答案：不要求计算结果，只要与出公式，每份5分，共20分 ()()(|)P Y P X P Y X = )|(X Y H =-2 2 211()log (|)i j j i i j p x y p y x ==∑∑ )|(Y X H =-2 2211()log (|)i j i j i j p x y p x y ==∑∑ )(XY H =-2 2 211 ()log ()i j i j i j p x y p x y ==∑∑ );(Y X I =()()()H X H Y H XY +- 二、一维随机变量X 在区间],[b a 内均匀分布，试求此连续信源的熵)(x H c 。 参考答案： 1 222()()log ()log ()log ()b c b a a H X p x p x dx b a dx b a +∞ --∞ =-=-=-? ? （bit ） （10分） 三、一维随机变量X 的取值是),(+∞-∞，其概率密度函数为2 22)(2 21)(σμπσ -- =x e x p (高斯 信道)，试求此连续信源的熵)(x H c 。 参考答案：()EX xp x dx μ+∞ -∞ = =? 22()()DX x p x dx μσ+∞ -∞ =-=? (5分) 2 122()()log ()log (2)c H X p x p x dx e πσ+∞ -∞ =-=? （bit ） （10分） 五、一个三状态马尔可夫信源的转移概率矩阵为??? ? ? ??=412 14 1212 1 2 12 100 P ，请绘制状态转移图，并求该马尔可夫信源的稳态分布。（ 10 分） 参考答案：1、绘制状态转移图 (5分) 2、稳态分布7 31)(= s P ，722)(=s P ，72 3)(=s P （5分）
信息论基础》试卷(期末A卷
《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。 （2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 第三章习题答案 3.1 解： 3.2 解： (1) ?? ???≠==? ?????=?? ?????≤??? ??-??? ??-???? ???????????≤---+-=? ?????≤+∞04m o d 004m o d )43()41(4104141l o g 43l o g 043l o g 4341l o g 4143l o g )(41l o g ),(100)()(log 4344000000N N C N n P N n P N n N n P n N n U H N U P P N N N 则上式变为的个数为，则出现的个数为设该序列中出现时 δδ (2) ?? ???≤-=∑-k N k k C k k N k k N 没有满足上述条件的 满足概率为同样可推得典型序列的 时 03log 20141)43()41(05.0δ 3.3 0.469 bit/sample 3.4 1) 不妨设)20,0(2j j k j k M <≤≥+=，可进行如下编码：首先作一深度为j i K i i i N N N N N P P U H U H X X X P U H X X X P N log )())(exp(),(lim )(),(log 1lim 12121∑=∞→∞→-=-=∴-=其中 的二叉满树，并在j 2个叶子节点中取k 个节点，以这k 个节点为根节点，生成k 个深度为1的子树，于是得到了一个有 M k k j =-+22个叶子的二叉树，对此二叉树的叶子按Halfman 方法进行编码，即得到最优的二元即时码。 2）M M k j k j M k j M I 2log 212)1(1=+=??+?+?= 当且仅当k=0，即j M 2=时，M I 2log = 3.5 解： 不妨设i u ( i =…-2,-1,0,1,2, …) 取自字母表{1a ，2a …n a }，设一阶转移概率为 ????????????nn n n n n P P P P P P P P P 2 12222111211，所以在当前码字j u 进行编码时，由k j a u =-1，对j u 可能的取值，依概率分布(kn k P P 1) 进行Halfman 编码，即是最佳压缩方案。 3.6 0.801 bit/sample 3.7 1) 7 6 bit/sample 2) P(1)= 72 P(2)=73 P(3)=72 如按无记忆信源进行编码，则根据信源所处的的1，2，3三个状态对应编码成00，1，01。 平均码长为：72×2+73×1+72×2=7 11 bit/sample 如果按马尔可夫信源进行编码： 状态1时：a →0, b →10, c →11 状态2时：a →0, b →1 状态3时：无需发任何码字 ∴平均码长： 76072)121121(73)241241121(72=?+?+??+?+?+?? bit/sample 3.8 x 22j I -+= 3.9 1) H(X) = －（plog p+qlog q ） bit/sample H(Y)= －（plog p+qlog q ） bit/sample 《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X) 3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求： （1）信源X 中事件1x 和2x 分别含有的自信息量； （2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3）信源X 和信宿Y 的信息熵； （4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5）接收到消息Y 后获得的平均互信息量(;)I X Y 。 解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正 确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。 证明：信道传输矩阵为： 第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1 意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤ 若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n 信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。 重庆邮电大学2007/2008学年2学期 《信息论基础》试卷（期末）（A卷）（半开卷） 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则 每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其 熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 《信息论基础》参考答案 一、填空题（共15分，每空1分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或( )22 2x f x σ-时，信源具有最大熵，其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。 （2）()() 1222 H X X H X =≥() ()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 《信息论基础》答案 一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。 若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最 大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高 斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不 等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号 的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长 就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵 * p x 0.5 4 h x 2 p x log p x dx 1bit自由度 四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。 试计算： （1）信源X中事件x的自信息量；（3分） （2）信源X的信息熵；（3分） （3）共熵H XY ; （ 3 分） （4）噪声熵H Y X ；（3分） （5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所 （3 分） 信息论基础1答案 《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为 123x x x X 111P 2 44?? ?? ?=?? ??? ?? ， 其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ∞ ；其能在每个自由度熵的最大熵是log （b-a ） bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为 16w，其概率密度函数是高斯分布时，差熵的 最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。 制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ???? 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ） 三、计算题 某系统（7，4）码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验 位与信息位的关系为： 信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ 信息论基础理论与应用考试题及答案 信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。 5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。 （1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）； （3） 对所有唯一可译码求出其平均码长。 解：（1(2)1,3,6是即时码。 5-2证明若存在一个码长为12,,,q l l l ???的唯一可译码，则一定存在具有相同码长的即时码。 证明：由定理可知若存在一个码长为Lq L L ,,2,1 的唯一可译码，则必定满足kraft 不等式 ∑=-q i l i r 1 ≤1。 由定理44?可知若码长满足kraft 不等式，则一定存在这样码长的即时码。所以若存在码长Lq L L ,,2,1 的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。 5-3设信源1 2 61 26()s s s S p p p P s ??? ?? ??=???? ??? ????，61 1i i p ==∑。将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =???），其对应的码长为（126,,,l l l ???）=（1，1，2，3，2，3），求r 值的最小下限。 解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长 （l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即 1 3232116 1 ≤+++++=------=-∑r r r r r r r i li 所以要满足 12 223 2≤++r r r ，其中 r 是大于或等于1的正整数。 可见，当r=1时，不能满足Kraft 不等式。 当r=2, 18 2 4222>++，不能满足 Kraft 。 当r=3, 127 262729232<=++，满足Kraft 。 所以，求得r 的最大值下限值等于3。 5-4设某城市有805门公务电话和60000门居民电话。作为系统工程师，你需要为这些用户分配电话号码。所有号码均是十进制数，且不考虑电话系统中0、1不可用在号码首位的限制。（提示：用异前缀码概念） （1）如果要求所有公务电话号码为3位长，所有居民电话号码等长，求居民号码长度1L 的最小值； （2）设城市分为A 、B 两个区，其中A 区有9000门电话，B 区有51000门电话。现进一步要求A 区的电话号码比B 区的短1位，试求A 区号码长度2L 的最小值。 解：(a) 805门电话要占用1000个3位数中的805个，即要占用首位为0～ 7的所有数字及以8为首的5个数字。因为要求居民电话号码等长， 以9为首的数字5位长可定义10 000个号码，6位长可定义100 000 个号码。所以min L 16=。 或由Craft 不等 式，有 8051060000101 31?+?≤--L 解得 L 1103 180******** 5488≥--?=-log .， 即 min L 16= (b) 在(a)的基础上，将80为首的数字用于最后5个公务电话，81～86 为首的6位数用于B 区51 000个号码，以9为首的5位数用于A 区9 000 个号码。所以，min L 25=。或 由Draft 不等式，有 80510 900010510001013 122?+?+?≤---+L L () 或 80510 900051000101013 12?++??≤---()L 解得L 210 3 18051090005100 4859≥--?+=-log . 即min L 25= 5-5求概率分布为)152,152,51,51,31(的信源的二元霍夫曼码。讨论此码对于概率分布为 )5 1 ,51,51,51,51(的信源也是最佳二元码。 赣南师范学院物理与电子信息工程学院 教案 授课教师：朱赟 授课对象：电子信息工程 授课学期：第六学期 总学时：32学时 使用教材：电子工业出版社《信息论与纠错编码》张丽华 第 1 次课教案 教学组织 一、自我介绍:略 二、课程介绍： 1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。编码技术是信息论的重要分支的基础。它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。 2、知识要求：通过一个学期的学习要达到如下要求: 1)掌握平均信息量—熵的概念，了解信息论的基本知识和信道容量的计算。 2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码 长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。 3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编 码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。 4)掌握伪随机码的基本概念，m序列码的产生及应用。 先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。 3、能力要求：本课程重点是通过讲解信息论与编码技术使学生掌握提高 信道传输的“有效性”和“可靠性”的基本理论。 4、考试成绩计算方法： 平时成绩 30%（主要包括作业和出勤）期终考试 70% 5 课程性质: 学科基础课： ①电子信息类专业基础课 ②研究生考试课程 6 进度安排 4学分 32理论学时16周2学时/周 7 学习方法与注意事项 1、学习、目的、方法 2、课程框架（理清） 3、听课与笔记 4、实用方法与公式 1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解： bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。 证: . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i Θ 1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H 1.9 给 定 一 个 概 率 分 布 ) ,...,,(21n p p p 和一个整数m ， n m ≤≤0。定义 ∑=-=m i i m p q 1 1，证明： )log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？ 证： ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )(ΘΘ又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 ΘΘ 2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0朱雪龙《应用信息论基础》习题第三章答案
信息论基础及答案
信息论基础与编码课后题答案第三章
(完整版)信息论与编码概念总结
信息论基础理论与应用考试题及答案
信息论基础》试卷(期末A卷
信息论基础7答案
信息论基础答案2
信息论基础1答案
信息论与编码试题集概要
信息论与编码习题参考答案(全)
信息论基础理论与应用考试题及答案
信息论基础与编码(第五章)
信息论与编码教案汇总
(完整版)信息论与编码习题参考答案