当前位置：搜档网 › 信息论基础论文

信息论基础论文

信息论基础发展史

信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。

通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。

当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波

进行放大的电子管。之后很快出现了远距离无线电通信系统。大功率超高频电子管发明以后，电视系统就建立起来了(1925—1927)。电子在电磁场运动过程中能量相互交换的规律被人们认识后，就出现了微波电子管(最初是磁控管，后来是速调管、行波管)，接着，在三十年代末和四十年代初的二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。五十年代后期发明了量子放大器，六十年代初发明的激光技术，使人类进入了光纤通信的时代。

现代信息论实际是从20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）的工作中开始的.在1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来了。1928年哈特莱(R．V．Hartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。他的工作对后来香农的思想是有影响的。

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。论文中系统地提出了关于信息的论述，创立了信息论。他为解决通讯技术中的信息编码问题，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。

信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。信息的产生和发送者称之为信源，信源要将输出的消息通过某种通讯渠道传输给成为信宿的接受者。我

们称信源发出的信息为消息，这里并不考虑其内涵的语义信息，而只考虑它的统计特性，通信的主要目标之一是是接收端能尽可能准确地复制信源发送的消息。

一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号。作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各种消息之和。信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。一切事物，包括自然界和人类社会，都在发出信息。我们每个人每时每刻都在接收信息。在人类社会中，信息往往以文字、图象、图形、语言、声音等形式出现。就本体论意义而言，信息是标志事物存在及其关系的属性。但这样的描述难以将信息定量化，就认识论意义。[

信息量是信息论中量度信息多少的一个物理量。它从量上反映具有确定概率的事件发生时所传递的信息。用H（x）表示为信息熵，是信源整体的平均不定度。而用I（p）表示为信息，是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量，所以它只不在信源发出的信息熵被信宿收到后才有意义。在排除干扰的理想情况下，信源发出的信号与信宿接收的信号一一对应，H （x）与I（p）二者相等。

信息的量度与它所代表的事件的随机性或各外事件发生的概率有关，当事件发生的概率大，事先容易判断，有关此事件的消息排队事件发生的不确定程度小，则包含的信息量就小；反之则大。从这一点出发，信息论利用统计热力学中熵的概念，建立了对信息的量度方法。在统计热力学中，熵是系统的无序状态的量度，即系统的不确定性的量度。

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理

论，包括评议、文字的处理、图像识别、学习理论及其各种应用。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。广义信息论，人们也称它为信息科学。

信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。

信息的不断革命，使得整个人类世界发生了巨大的变化。尤其是电子计算机和现代通讯技术在信息工作中的应用。电子计算机和现代通讯技术的有效结合，使信息的处理速度、传递速度得到了惊人的提高；人类处理信息利用信息的能力达到了空前的高度。人类社会步入了所谓的信息社会。

信息论基础各章参考答案

各章参考答案 2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特 2．2． 1.42比特 2．3．（1）225.6比特；（2）13.2比特 2．4．（1）24.07比特；（2）31.02比特 2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6．（1）215 log ＝15比特；（2） 1比特；（3）15个问题 2． 7. 证明：（略） 2．8．证明：（略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10．证明：（略） 2．11. 证明：（略）

信息论基础论文

信息论基础发展史信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波

基础信息论

参考文献 1．.C.E.Shannon. A Mathematical Theory of Communication. Bell System Technical Journal Vol 27 partⅠJuly 1948, pp 379-423;part Ⅱoct 1948,pp623-656 2．https://www.sodocs.net/doc/094535137.html,munication in the presence of noise.proc I.R.E.1949 37 P10 3．张宏基编著《信源编码》北京，人民邮电出版社，1979 4．林可祥、汪一飞编著《偽随机码的原理与应用》北京，人民邮电出版社，1978 5．钟义信编著《信息科学原理》北京，北京邮电大学出版社，1996 6．孟庆生编著《信息论》西安，西安交通大学出版社，1986 7．仇佩亮编著《信息论及其应用》杭州，浙江大学出版社，2000 8．朱雪龙编著〈应用信息论基础〉北京，清华大学出版社，2001 9．陈运编著《信息工程理论基础》成都，电子科技大学。1989 10．王新梅、肖国镇编著《纠错码—原理与方法》（修订版）西安，西安电子科技大学出版社，2001年修订版 11．E.Schruefer.Signal-verarbeitung.Muenchen Wien:Carl:Hanser Verlag,1992 12．张应中等编著《数字通信工程基础》北京，人民邮电出版社，1987 13．贾世楼编著《信息论理论基础》哈尔滨，哈尔滨工业大学出版社，2001 14．陈运等编著《信息论与编码》北京，电子工业出版社，2002 15．傅祖芸编著《信息论》北京，电子工业出版社，2001

信息论基础及答案

《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论基础》试卷(期末A卷

《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论的应用

学号：201122010835 姓名：李毅信息论在图像处理中的应用摘要：把信息论的基本原理应用到图像处理中具有十分重要的价值。本文主要从评估图像捕捉部分性能的评估、图像分割算法这两个个方面阐述信息论在图像处理中的应用。通过理论分析来说明使用信息论的基本理论对图像处理的价值。关键字：信息论；图像捕捉；图像分割第1章引言随着科学技术的不断发展，人们对图形图像认识越来越广泛，图形图像处理的应用领域也将随之不断扩大。为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。文章介绍了信息论基本理论在图像处理中的应用，并通过理论分析说明其价值。把通信系统的基本理论信息论应用于采样成像系统，对系统作端到端的系统性能评价，从而优化采样成像系统的设计，是当前采样成像系统研究的分支之一。有些图像很繁杂，而我们只需要其中有意义的一部分，图像分割就是将图像分为一些有意义的区域，然后对这些区域进行描述，就相当于提取出某些目标区域图像的特征，随后判断这些图像中是否有感兴趣的目标。第2章图像捕捉部分性能评估 2.1 图像捕捉的数学模型图像捕捉过程如图1所示。G 为系统的稳态增益，),(y x p 是图像捕捉设备的空间响应函数，),(y x n p 是光电探索的噪声。),(y x comb 代表采样网格函数，),(),,(y x s y x o 分别为输入、输出信号。在这种模型下的输出信号 ),(),()],(),([),(y x n y x comb y x p y x Go y x s p +*= 其中，∑--= n m n y m x y x comb ,),(),(δ，代表在直角坐标系下，具有单位采样间隔的采样设备的采样函数。

信息论基础总结

?? ? ???=??????)()()()(2 211 I I x q x x q x x q x X q X Λ Λ∑==I i i x q 1 1 )(?? ? ???=??????)()()()(2211 m q q q q x x x x x x X X m ΛΛ∏ =N i i x q 1 )(第1章信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。狭义信息论信息论研究的范畴：实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能： 1. 信源信源是产生消息的源。 2. 编码器编码器是将消息变换成适合于信道传送的信号的设备。编码器分为信源编码器和信道编码器两种。 3. 信道信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿信宿是消息的接收者，可以是人，也可以是机器。离散信源及其数学模型离散信源—消息集X 为离散集合，即时间和空间均离散的信源。连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。无记忆信源—X 的各时刻取值相互独立。有记忆信源—X 的各时刻取值互相有关联。离散无记忆信源的数学模型—离散型的概率空间： x i ∈{a 1,a 2,…,a k } 1≤i ≤I 0≤q(x i )≤1 离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤N q (x )＝q (x 1x 2 … x N )＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。无记忆信道—信道的输出y 只与当前时刻的输入x 有关。有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。

信息论基础理论与应用考试题及答案

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础与编码课后题答案第三章

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求：（1）信源X 中事件1x 和2x 分别含有的自信息量；（2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量；（3）信源X 和信宿Y 的信息熵；（4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ；（5）接收到消息Y 后获得的平均互信息量(;)I X Y 。解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：

信息论基础答案2

《信息论基础》答案一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最大熵是 ()log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为5 W ，则最大熵为12log10π ? e ，达到最大值的条件是高斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输出符号之间存在相关性）和不等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为 0 ，最大熵为 3 bit 。 8、一个事件发生概率为，则自信息量为 3 bit 。 9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X 二、判断题（正确打√，错误打×）（共5分，每小题1分） 1) 离散无记忆等概信源的剩余度为0。（ √ ） 2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍（ √ ） 3) 互信息可正、可负、可为零。（ √ ） 4) 信源的真正功率P 永远不会大于熵功率P ，即P P ≤ （ × ） 5) 信道容量与信源输出符号的概率分布有关。（ × ）三、（5分）已知信源的概率密度函数()p x 如下图所示，求信源的相对熵

信息论基础理论与应用考试题及答案.doc

信息论基础理论与应用考试题一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。（考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q

（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。（考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。（考点：连续信道和波形信道的信道容量）二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力劣于分组码。（错）（考点：卷积码的纠错能力）三、名词解释（每题3分，共12分） 1 .信源编码

信息论基础1答案

16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础及答案

《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础总结

? ? ????=??????)()()()(2211 I I x q x x q x x q x X q X ∑==I i i x q 1 1 )(?? ????=??????)()()()(2211 m q q q q x x x x x x X X m ∏ =N i i x q 1 )(第1章信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。狭义信息论信息论研究的范畴：实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能： 1. 信源信源是产生消息的源。 2. 编码器编码器是将消息变换成适合于信道传送的信号的设备。编码器分为信源编码器和信道编码器两种。 3. 信道信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。 4. 译码器译码器是编码器的逆变换，分为信道译码器和信源译码器。 5. 信宿信宿是消息的接收者，可以是人，也可以是机器。离散信源及其数学模型离散信源—消息集X 为离散集合，即时间和空间均离散的信源。连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。无记忆信源—X 的各时刻取值相互独立。有记忆信源—X 的各时刻取值互相有关联。离散无记忆信源的数学模型—离散型的概率空间： x i ∈{a 1,a 2,…,a k } 1≤i ≤I 0≤q(x i )≤1 离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤N q (x )＝q (x 1x 2 … x N )＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。无记忆信道—信道的输出y 只与当前时刻的输入x 有关。有记忆信道—信道的输出y 不仅与当前时刻的输入x 有关，还与以前的输入有统计关系。

信息论基础理论与应用测验题及答案

————————————————————————————————作者：————————————————————————————————日期：

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =?? ==-??? ?∑）。

朱雪龙《应用信息论基础》习题答案

信息论基础及答案

《信息论基础》试卷答案、填空题(共 25分，每空1分) 1、连续信源的绝对熵为无穷大。(或 p x lg p x dx lim Ig ) 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 _J ____ 。 3、无记忆信源是指信源先后发生的符号彼此统计独立 ___________________________ 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) ___________________ 。 5、为了提高系统的 —系统的可靠性可以采用信道编码 _______________ 。 6、八进制信源的最小熵为，最大熵为 3bit/ 符号 ____________________ 。 7、若连续信源输出信号的平均功率为 1瓦特，贝U 输出信号幅度的概率密度函数为 2|g2 e ）。 H s 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H(S)或 ),此 lg r 时编码效率为_J ____ ，编码后的信息传输率为 lg r bit/ 码元。 10、 _________________________________________________________ 一个事件发生的概率为，则自信息量为 3bit/ 符号 ________________________________________ 。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性 ______________ ，二是信源符号概率分布的不均匀性。 12、 m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m ___________ 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”所获得的信息量为Ig36= __________ 比特，当得知“面朝上点数之和为 8”所获得的信息量为 lg36/5= 比特。 14、在下面空格中选择填入的数学符号“ =,>,<, >”或 “ <” H(XY) = H(Y)+H(X I Y) W H(Y)+H(X) 高斯分布（或 x: N 0,1 或 ,r eT )时，信源具有最大熵，其值为 (或或 8、即时码是指任一码字都不是其它码字的前缀

信息论基础理论及应用

信息论形成的背景与基础人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。

信息论定义及概述信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系信息论作为一门科学理论，发端于通信工程。它的研究范围极为广阔，一般把信息论分成三种不同类型：狭义信息论。狭义信息论主要总结了Shannon的研究成果，因此又称为Shannon信息论。在信息可以度量的基础上，研究如何有效、可靠地传递信息。有效、可靠地传递信息必然贯穿于通信系统从信源到信宿的各个部分，狭义信息论研究的是收、发端联合优化的问题，而重点在各种编码。它是通信中客观存在的问题的理论提升。一般信息论。研究从广义的通信引出的基础理论问题：Shannon 信息论；Wiener的微弱信号检测理论。微弱信号检测又称最佳接收研究是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收信道传输的信号的理论。主要研究两个方面的问题：从噪声中去判决有用

《信息论理论基础》补修复习资料

《信息论理论基础》补修复习资料一、判断题(每小题2分, 共计20分) 1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H .（） 2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（） 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （） 6. 连续信源和离散信源的熵都具有非负性.（） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.（） 8. 汉明码是一种线性分组码.（） 9. 率失真函数的最小值是0.（） 10.必然事件和不可能事件的自信息量都是0.（）答案: 1、√； 2、√； 3、×； 4、×； 5、√； 6、×； 7、×； 8、√； 9、√；10、×. 二、填空题（每小题5分, 共计30分） 1、码的检、纠错能力取决于 . 答案: 码字的最小距离（min d ）. 2、信源编码的目的是；信道编码的目的是 . 答案:（减少）冗余，提高编码效率; 提高信息传递的可靠性. 3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 . 答案: 系统码. 4、香农信息论中的三大极限定理是、、 . 答案: 无失真信源编码定理，信道编码定理，限失真信源编码定理. 5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 . 答案: 信道和信源都是无记忆. 6、某二元信源01()1/21/2X P X ???? =?? ?????? ，其失真矩阵00a D a ??=????，则该信源的max D = . 答案: 2 a . 三、解答题（四小题共计50分） 1、（12分）某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号 i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ?? =?? ?? . （1）计算接收端的平均不确定度()H Y ；

信息论基础论文

信息论基础各章参考答案

信息论基础论文

基础信息论

信息论基础及答案

信息论基础理论与应用考试题及答案

信息论基础》试卷(期末A卷

信息论的应用

信息论基础总结

信息论基础理论与应用考试题及答案

信息论基础》试卷(期末A卷

信息论基础与编码课后题答案第三章

信息论基础答案2

信息论基础理论与应用考试题及答案.doc

信息论基础1答案

信息论基础及答案

信息论基础总结

信息论基础理论与应用测验题及答案

朱雪龙《应用信息论基础》习题答案

信息论基础及答案

信息论基础理论及应用

《信息论理论基础》补修复习资料

相关文档

最新文档