当前位置：搜档网 › 第三章信息论基础知识(Part2)

第三章信息论基础知识(Part2)

信息论基础知识
主要内容：
信源的数学模型信源编码定理信源编码算法信道容量通信的容限
第 1 页 2011-2-21

引言
一、信息论的研究范畴信息论是研究信息的基本性质及度量方法，研究信息的
获取、传输、存储和处理的一般规律的科学。狭义信息论：通信的数学理论，主要研究信息的度量方法，各种信源、信道的描述和信源、信道的编码定理。实用信息论：信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。
第 2 页 2011-2-21

二、信息论回答的问题
通信信道中，信息能够可靠传输的最高速率是多少？
噪声信道编码定理噪声信道编码定理
信息进行压缩后，依然可以从已压缩信息中以无差错或低差错恢复的最低速率是多少？
香农信源编码理论香农信源编码理论
最佳系统的复杂度是多少？
第 3 页
2011-2-21

三、香农的贡献
香农(Claude Elwood Shannon,1916～2001年)，美国数学家，信息论的创始人。
创造性的采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。 1948年，《通信的数学理论》(A mathematical theory of communication ) 以及1949年，《噪声下的通信》标志了信息论的创立。 1949年，《保密通信的信息理论》，用信息论的观点对信息保密问题做了全面的论述，奠定了密码学的基础。 1959年，《保真度准则下的离散信源编码定理》，它是数据压缩的数学基础，为信源编码的研究奠定了基础。 1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究；
第 4 页 2011-2-21

四、信息论发展历史
1924年奈奎斯特(Nyquist,H.)总结了信号带宽和信息速率之间的关系。 1928年哈特莱(Hartley,L.V.R)研究了通信系统传输信息的能力，给出了信息度量的方法。 1936年阿姆斯特朗(Armstrong)提出增大带宽可以使抗干扰能力加强。 1948年香农，《通信的数学理论》(A mathematical theory of communication )标志了信息论的创立； 1949年香农，《保密通信的信息理论》，用信息论的观点对信息保密问题做了全面的论述，奠定了密码学的基础。 1959年香农，《无失真信源编码》，它是数据压缩的数学基础，为信源编码的研究奠定了基础。 1972年盖弗的广播信道研究论文，研究热点转向多用户。
第 5 页 2011-2-21

A1、信息论的应用（通信领域）
无失真信源编码的应用：文件和图像的压缩
1989年的电视电话/会议压缩标准H.261； 1991年的“多灰度静止图像压缩编码标准”JPEG；随后的MPEG-1、MPEG-2以及目前的MPEG-4。
限失真信源编码的应用：语音信号压缩，根据香农定理语音信号所需的编码速率可以远低于奈奎斯特采样定理所决定的速率：
1972年长途电话网标准的编码速率为64kbit/s，到1995年则为6.3kbit/s； 1989年GSM标准的编码速率为13.2kbit/s，1994年降至5.6kbit/s；在实验室目前已经实现600bit/s的低速率语音编码，特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s，这已经接近香农极限。
第 6 页
2011-2-21

有噪信道编码的应用：模拟话路中数据传输速率的提高早期的调制解调器300bit/s；随后速率逐步提高4800bit/s，9600bit/s，14.4kbits/s， 19.2kbits/s，28.8kbits/s，56kbits/s；目前2Mkbits/s
第 7 页
2011-2-21

信源的数学模型
信源是产生消息的源，根据信源的不同情况可分为：离散信源消息集X 为离散集合。连续信源时间离散而空间连续的信源。
波形信源时间连续的信源。
根据信源的统计特性，离散信源又分为两种：无记忆信源 X的各时刻取值相互独立。有记忆信源 X的各时刻取值互相有关联。
第 8 页 2011-2-21

一、离散无记忆信源
离散无记忆信源(Discrete Memoryless Source，简记为 DMS)是时间离散、幅度离散的随机过程。不同时刻的随机变量是独立同分布的，且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：
x2 " xN ? ?X ? ? x1 ? P( X ) ? = ? P( x ) P( x ) " P( x ) ? ? ? ? 1 N ? 2
P(xi )：信源输出符号xi的先验概率; 满足：0 ≤ P(xi) ≤ 1，1 ≤ i ≤ N，
∑ P( x ) = 1
i =1 i
2011-2-21
N
第 9 页

二、离散信源的信息量一个符号它所携带的信息量是和该符号出现的概率有关，即概率可以表征其自信息量的大小。
1 I ( xi ) = log = ? log P ( xi ) P( xi )
第 10 页
2011-2-21

三、信源的熵
自信息量的加权平均值为信源的平均信息量，即信源的熵
N
H ( X ) = ?∑ P( xi ) log P( xi )
i =1
信源的熵具有以下两种物理含义： 1）表示信源输出前信源的平均不确定性。 2）表示信源输出后，每个符号所携带的平均信息量。
四、信息速率
信息速率：信源每秒钟发出的熵（bit/s）
N
R = rH ( X ) = ? r ∑ P( xi ) log P( xi )
i =1
r 为信源发出的消息速率，这里的消息可以为符号、码源、采样值等。
第 11 页 2011-2-21

例1: 一个带宽为4000Hz的信源以奈奎斯特速率抽样，设其
抽样序列可表示为符号集为{-2，-1，0，1，2}的DMS，相应的概率为{1/2，1/4，1/8，1/16，1/16}。求信息速率。解：信源的熵为
H (X ) = 1 1 1 1 15 log 2 + log 4 + log 8 + 2 × log16 = bit / Sample 2 4 8 16 8
根据奈奎斯特抽样定理，抽样速率为每秒8000次，则信息速率为：
15 R = rH ( X ) = 8000 × = 15000 bps 8
第 12 页
2011-2-21

五、联合熵和条件熵
1、两个随机变量(X,Y)的联合熵定义为：
H ( X , Y ) = ?∑∑ P ( xi , y j ) log P ( xi , y j )
i j
2、随机变量X对应于给定随机变量Y的条件熵定义为：
H ( X | Y ) = ?∑∑ P( xi , y j ) log P( xi | y j )
i j
3、二者的联系：
H ( X , Y ) = H ( X ) + H (Y | X ) H ( X , Y ) = H (Y ) + H ( X | Y )
第 13 页
2011-2-21

六、互信息
两个离散随机变量X和Y的互信息量定义为：
I ( X ; Y ) = H ( X ) ? H ( X | Y ) = H (Y ) ? H (Y | X )
七、微分熵（连续信源熵）
连续信源定义一个类似熵的量，称微分熵：
h( X ) = ? ∫
+∞
?∞
f X ( x) log f X ( x)dx
微分熵不具有离散熵的直观意义。
第 14 页
2011-2-21

信源编码定理
信源编码定理（香农第一定理）：对于熵为H的信源，当信源速率为R时，只要R>H，就能以任意小的错误概率进行编码。反之，如果 R信源的熵为H时进行无失真编码的理论极限。低于此极限的无失真编码方法是不存在的，这是熵编码的理论基础。该定理给出了信源编码的存在性，但是并没有给出编码的算法和如何达到预期的性能。
第 15 页
2011-2-21

信道编码定理和信道容量
一、有噪信道编码定理
I ( X ;Y ) 无记忆离散信道的容量定义为 C = max P( x )
i
其中 I ( X ; Y ) 信道输入X和输出Y的互信息量。 P( xi ) 为信源的概率分布。如果传输速率RC，则以R速率进行可靠通信是不可能的。速率R和容量C的单位都是比特/传输一次。容量C还可以用单位时间内传输的比特数来表示。
第 16 页 2011-2-21

二、香农公式
1、香农公式：假设信道的带宽为B(Hz)，信道输出的信号功率为 S(W)及输出加性带限高斯白噪声功率为N(W)，则信道的信道容量为 S ? ?
C = B log 2 ? 1 + ? (bit/s) N? ?
信息论中著名的香农（Shannon）公式。当信号与作用在信道上的起伏噪声的平均功率给定时，在具有一定频带宽度B的信道上，理论上单位时间内可能传输的信息量的极限数值。 2、香农公式的另一形式：若噪声单边功率谱密度为n0，噪声功率N=n0B ，则
? S ? C = B log 2 ? ?1 + n B ? ? (bit/s) 0 ? ?
第 17 页
2011-2-21

3、关于香农公式的几点讨论（1）在给定B、S/N的情况下，信道的极限传输能力为C，而且此时能够做到无差错传输（即差错率为零）。（2）提高信道容量的方法: a) 增大信号功率S可以增加信道容量C。若信号功率S趋于无穷大时，则信道容量C也趋于无穷大
? S ? lim C = lim B log 2 ? 1 + →∞ ? S →∞ S →∞ n0 B ? ?
b) 减小噪声功率谱密度n0 也可以增加信道容量C。若n0趋于零，则C趋于无穷大 ? S ? lim C = lim B log 2 ? 1 + →∞ ? n0 → 0 n0 → 0 n0 B ? ?
第 18 页 2011-2-21

c) 增大信道带宽B可以增加信道容量C，但不能使信道容量C 无限制地增大。当信道带宽B趋于无穷大时，信道容量C的极限值为
? S ? lim C = lim B log 2 ? 1 + ? B→∞ B→∞ n0 B ? ?
? n0 B S S ? log 2 ?1 + = lim ? n0 B →∞ S n B 0 ? ?
S S = log2 e = 1.44 n0 n0
第 19 页
2011-2-21

（3）信道容量可以通过系统带宽与信噪比的互换而保持不变。若增加信道带宽，可以适当降低信噪比，反之亦然。当信道容量C给定时，B1，S1/N1和B2，S2/N2分别表示互换前后的带宽和信噪比，则有
? ? S2 ? S1 ? B1 log 2 ? ?1 + N ? ? = B2 log 2 ? ?1 + N ? ? 1? 2 ? ? ?
（4）当信道传输的信息量不变时，信道带宽 B、信噪比S/N及传输时间三者是可以互换的。若信噪比不变，那么增加信道带宽可以换取传输时间的减少，反之亦然。
第 20 页 2011-2-21

信息论基础各章参考答案

各章参考答案 2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特 2．2． 1.42比特 2．3．（1）225.6比特；（2）13.2比特 2．4．（1）24.07比特；（2）31.02比特 2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6．（1）215 log ＝15比特；（2） 1比特；（3）15个问题 2． 7. 证明：（略） 2．8．证明：（略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10．证明：（略） 2．11. 证明：（略）

信息论基础论文

信息论基础发展史信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波

信息论基础》试卷(期末A卷

《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

朱雪龙《应用信息论基础》习题第三章答案

第三章习题答案 3.1 解： 3.2 解： (1) ?? ???≠==? ?????=?? ?????≤??? ??-??? ??-???? ???????????≤---+-=? ?????≤+∞04m o d 004m o d )43()41(4104141l o g 43l o g 043l o g 4341l o g 4143l o g )(41l o g ),(100)()(log 4344000000N N C N n P N n P N n N n P n N n U H N U P P N N N 则上式变为的个数为，则出现的个数为设该序列中出现时 δδ (2) ?? ???≤-=∑-k N k k C k k N k k N 没有满足上述条件的满足概率为同样可推得典型序列的时 03log 20141)43()41(05.0δ 3.3 0.469 bit/sample 3.4 1) 不妨设)20,0(2j j k j k M <≤≥+=，可进行如下编码：首先作一深度为j i K i i i N N N N N P P U H U H X X X P U H X X X P N log )())(exp(),(lim )(),(log 1lim 12121∑=∞→∞→-=-=∴-=其中

的二叉满树，并在j 2个叶子节点中取k 个节点，以这k 个节点为根节点，生成k 个深度为1的子树，于是得到了一个有 M k k j =-+22个叶子的二叉树，对此二叉树的叶子按Halfman 方法进行编码，即得到最优的二元即时码。 2）M M k j k j M k j M I 2log 212)1(1=+=??+?+?= 当且仅当k=0，即j M 2=时，M I 2log = 3.5 解：不妨设i u ( i =…-2,-1,0,1,2, …) 取自字母表{1a ，2a …n a }，设一阶转移概率为 ????????????nn n n n n P P P P P P P P P 2 12222111211，所以在当前码字j u 进行编码时，由k j a u =-1，对j u 可能的取值，依概率分布(kn k P P 1) 进行Halfman 编码，即是最佳压缩方案。 3.6 0.801 bit/sample 3.7 1) 7 6 bit/sample 2) P(1)= 72 P(2)=73 P(3)=72 如按无记忆信源进行编码，则根据信源所处的的1，2，3三个状态对应编码成00，1，01。平均码长为：72×2+73×1+72×2=7 11 bit/sample 如果按马尔可夫信源进行编码：状态1时：a →0, b →10, c →11 状态2时：a →0, b →1 状态3时：无需发任何码字 ∴平均码长： 76072)121121(73)241241121(72=?+?+??+?+?+?? bit/sample 3.8 x 22j I -+= 3.9 1) H(X) = －（plog p+qlog q ） bit/sample H(Y)= －（plog p+qlog q ） bit/sample

信息论基础及答案

《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

第三章信息论基础知识(Part2)

信息论基础知识
主要内容：
信源的数学模型信源编码定理信源编码算法信道容量通信的容限
第 1 页 2011-2-21

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

《信息论基础》教学大纲

《信息论基础》教学大纲课程编号：CE6006 课程名称：信息论基础英文名称：Foundation of Information Theory 学分/学时：2/32 课程性质：选修课适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院一、课程的教学目标与任务本课程是信息安全，网络工程专业选修的一门专业基础课。通过课程学习，使学生能够较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。本课程的教学目标：本课程对学生达到如下毕业要求有贡献： 1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。 2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分析复杂工程问题，以获得有效结论。完成课程后，学生将具备以下能力： 1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。 2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信息安全、网络工程专业的复杂问题。本课程的性质：本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。二、课程具体内容及基本要求（一）绪论（2学时） 1.基本要求（1）掌握消息、信息和信号；噪声和干扰的基本概念（2）掌握通信系统模型（3）明确Shannon信息论要解决的中心问题 2.重点与难点（1）重点：掌握通信系统模型的构成及其相应功能（2）难点：理解Shannon信息论要解决的中心问题

信息论基础7答案

《信息论基础》参考答案一、填空题（共15分，每空1分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或( )22 2x f x σ-时，信源具有最大熵，其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。（2）()() 1222 H X X H X =≥() ()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础答案2

《信息论基础》答案一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵

* p x 0.5 4 h x 2 p x log p x dx 1bit自由度四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。试计算：（1）信源X中事件x的自信息量；（3分）（2）信源X的信息熵；（3分）（3）共熵H XY ; （ 3 分）（4）噪声熵H Y X ；（3分）（5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所（3 分）

信息论基础与编码课后题答案第三章

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求：（1）信源X 中事件1x 和2x 分别含有的自信息量；（2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量；（3）信源X 和信宿Y 的信息熵；（4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ；（5）接收到消息Y 后获得的平均互信息量(;)I X Y 。解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：

信息论基础1答案

16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础理论与应用考试题及答案

朱雪龙《应用信息论基础》习题答案

信息论的基本思路

?信息论的基本思路通信是人类活动中最为普遍的现象之一，信息的传递与交换是时时处处都发生着的事情。在信息的传递与交换中，人们当然希望能够又多、又快、又好、又经济地传递信息。那么很自然地会出现这样一个问题：什么是信息传递的多快好省呢？怎样来衡量这种多快好省呢？怎样来判断某种通信方法的优劣呢？这就需要建立一种合理的定量描述信息传输过程的方法，首先是定量描述和度量信息的方法。 1948年，美国一位数学家克劳特·香农(C.E．Shannon)发表了一篇著名的论文《通信的数学理论》。差不多与此同时，美国另一位数学家诺伯特·维纳也发表了题为《时间序列的内插、外推和平滑化》的论文以及题为《控制论》的专著。在这些著作中，他们分别解决了按“通信的消息”来理解的信息(狭义信息)的度量问题，并得到了相同的结果。香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。香农信息理论具有崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。因此，它一出现就在科学界引起了巨大的轰动，许多不同领域的科学工作者对它怀有浓厚的兴趣，并试图争相应用这一理论来解决各自领域的问题．从此，信息问题的研究，进入了一个新的纪元。香农信息理论的基本思路，大致可归结为以下三个基本观点： ?一、非决定论观点我们知道，在科学史上，直到20世纪初，拉普拉斯的决定论的观点始终处于统治的地位。这种观点认为，世界上一切事物的运动都严格地遵从一定的机械规律。因此，只要知道了它的原因，就可以唯一地决定它的结果；反过来，只要知道了它的结果，也就可以唯一地决定它的原因。或者，只要知道了某个事物的初始条件和运动规律，就可以唯一地确定它在各个时刻的运动状态。这种观点只承认必然性，排斥、否认偶然性。根据通信问题研究对象的特点，信息理论按照非决定论的观点，采用了概率统计的方法，作为分析通信问题的数学工具，因而比以往的研究更切合实际、更科学、更有吸引力。 ?二、形式化假说可提出如下的假设：虽然信息的语义因素和语用因素对于广义信息来说并不是次要因素，但对于作为“通信的消息”来理解的狭义信息来说是次要因素。因此，在描述和度量作为“通信的消息”来理解的狭义信息时，可以先把语义、语用因素搁置起来，假定各种信息的语义信息量和语用信息量恒定不变，而只单纯考虑信息的形式因素。 ?三、不确定性对通信过程作进一步分析就可发现，人们要进行通信，不外有两种情形：一是自己有某种形式的信息要告诉对方，同时估计对方既会对这种信息感到兴趣，而又尚不知道这个信息。也就是说，对方在关于这个信息的知识上存在着不确定性；另一种情况是，自己有某种疑问要向对方询问，而且估计对方能够解答自己的疑问。在前一种情况下，如果估计对方已经了解了所欲告之的消息，自然就没有必要通信了；在后一种情况，如果自己没有疑问，当然就不必询问了。这里所谓“疑问”、“不知道”，就是一种知识上的“不确定性”，即对某个事情的若干种可能结果，或对某个问题的若干可能答案，不能做出明确的判断。所以，我们可以把作为“通信的消息”来理解的“狭义信息”，看作(或明确定义)为一种用来消除通信对方知识上的“不确定性”的东西。由此，我们可以引伸出一个十分重要而关键的结论：接收者收到某一消息后所获得的信息，可以用接收者在通信前后“不确定性”的消除量来度量。简而言之，接收者所得到的信息量，在数量上等于通信前后“不确定性”的消除量(或减少量)。这就是信息理论中度量信息的基本观点。

信息论基础理论与应用考试题及答案.doc

信息论基础理论与应用考试题一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。（考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q

（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。（考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。（考点：连续信道和波形信道的信道容量）二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力劣于分组码。（错）（考点：卷积码的纠错能力）三、名词解释（每题3分，共12分） 1 .信源编码

信息论的数学基础

鉴于最近各种调制方法如PCM 和PPM 这些改变信噪比的频带宽度的发展已经增强了对通信一般理论的兴趣。这个科目的理论基础包含在尼奎斯特定理1和哈特利2的重要文件上。在这个文章中，我们将要把这个理论延伸到包含一些新的因素中，特别是信道中的噪声的效果，并保存可能的原始信息的统计结构和信息的最终目的。通信的基本问题是把一个点的或精确或模糊的信息复制到挑选出来的另一个点。最近这个信息已经有了意义，那就是它们涉及根据一些具有一定的物理或者概念的实体的系统相关。这些通信的语言方面与工程问题无关。重要的方面是实际的信息是从一组可能的信息中选择的一个。系统必须被设计为每一个可能的选择运行，而不仅仅是实际上被选择的那个，因为这在设计的时候是不确定的如果组合中的信息的编号是有限的，那么这些编号或者这些编号的任何单调功能就可以被认为是测量产生信息的一种方法，当一个消息被从组合中选择出来时，所以的选择都是等可能的。正如哈特利所指出的最自然的选择是对数功能。虽然当我们考虑信息统计的影响并有一个连续的信息幅度的时候，这种定义必须被广泛地推广，我们将要在所有的情况中运用一个本质的对数方法。对数方法是更方便的有多方面的原因： 1 事实上它更加有用。工程信息的参数，如时间、带宽继电器的数目等等，在对数的可能性上趋向于呈线性改变。例如，给一个组增加一个继电器将会使继电器的可能状况增加一倍。它给以2为底的对数增加了1。增加一倍的时间大概使可能的信息得以平方，或者使对数增加一倍等等。 2 就本身的方法而言，这更接近我们的直觉。与普通的标准相比，当我们通过直线凭直觉测量实体时，它与（1）紧密相关。有一股感觉，比如，两个穿孔卡片应该是一个的信息容量的两倍，两个完全一样的信道是一个的信息传输能力的两倍。 3 他在数学上更加适用。许多的限制性操作按照对数更加简单，但是根据可能性的数量，这些操作需要笨拙的重复。一个对数底的测量相当于选择一个消息测量单元。如果2被用作底，则结果被称为二进制数，或者更多简要位——J. W. Tukey 建议的一个词语。一个有两个稳定位置的装置，如一个继电器或者一个触发器电路，可以储存一个字节的信息。N 个这样的装置可以储存N 个的字节，因为总共的可能的情况数量是2N 和2log 2N ，如果在这个单元中以10为底，则结果被称为小数位数。因为 2log M =10log M /10log 2 =33210log M

信息论基础及答案

《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

《信息论基础》课程教学大纲

《信息论基础》课程教学大纲一、《信息论基础》课程说明（一）课程代码：14131054 （二）课程英文名称：Information Theory （三）开课对象：信息管理与信息系统专业（四）课程性质：信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。本课程是信息管理与信息系统本科的专业课。它应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。因而它是一门新兴科学，亦称为通信的数学理论。建立在通信理论的数学知识基础之上的信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密码学等方面有着广泛的用途。要使学生领会信息论的基本思想，具备解决实际问题的能力。从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。先修课程为概率论与数理统计（五）教学目的：本课程是信息管理与信息系统本科生的专业课，采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解Shannon信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。（六）教学内容：掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定理与Huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码定理；理解R（d）函数与有失真的信源编码定理. （七）学时数、学分数及学时数具体分配学时数： 36 分数： 2 （八）教学方式：采用多媒体教学方式（九）考核方式和成绩记载说明考试方式将结合平时作业、平时考核(40%)、期末考试(60%)的各个环节。使学生能够注重平时学习的过程，改变学生从应试型到能力型。考试内容侧重于基本概念、

第三章信息论基础知识(Part2)

信息论基础各章参考答案

信息论基础论文

信息论基础》试卷(期末A卷

朱雪龙《应用信息论基础》习题第三章答案

信息论基础及答案

第三章信息论基础知识(Part2)

信息论基础理论与应用考试题及答案

信息论基础》试卷(期末A卷

《信息论基础》教学大纲

信息论基础7答案

信息论基础答案2

信息论基础与编码课后题答案第三章

信息论基础1答案

信息论基础理论与应用考试题及答案

朱雪龙《应用信息论基础》习题答案

信息论的基本思路

信息论基础理论与应用考试题及答案.doc

信息论的数学基础

信息论基础及答案

《信息论基础》课程教学大纲

相关文档

最新文档

第三章 信息论基础知识(Part2)

信息论基础各章参考答案

信息论基础论文

信息论基础》试卷(期末A卷

朱雪龙《应用信息论基础》习题第三章答案

信息论基础及答案

第三章 信息论基础知识(Part2)

信息论基础理论与应用考试题及答案

信息论基础》试卷(期末A卷

《信息论基础》教学大纲

信息论基础7答案

信息论基础答案2

信息论基础与编码课后题答案第三章

信息论基础1答案

信息论基础理论与应用考试题及答案

朱雪龙《应用信息论基础》习题答案

信息论的基本思路

信息论基础理论与应用考试题及答案.doc

信息论的数学基础

信息论基础及答案

《信息论基础》课程教学大纲

相关文档

最新文档

第三章信息论基础知识(Part2)

第三章信息论基础知识(Part2)