信息论与编码技术复习题1

信息论与编码技术复习题（1）

一、（32分）综合概念题

1. 什么是对偶码和缩短码？

2. 信息的量是可以测量的，与信息的大小有关的是：

a. 事物的重量，

b. 事件的不确定性，

c. 讲话的声音音量，

d. 描述事物的文字多少。

3. 即时码在收到 的码符号序列时，就能直接把它译成对应的信源符号。

a. 两个完整码字，

b. 一个完整码字，

c. 三个完整码字，

d. 完整码字及后一个码字的第一个码元。

4. 离散信源的熵的含义是：在信源输出之前，它表示 ；在信源输出之后，它表示 ；它的单位是： 。

5. 离散平稳信源（有记忆）的各维联合概率分布与 时间无关。

6. 叙述信源符号的相关程度与信源的符号熵及信源的剩余度之间的关系。

7. 简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是多少？

8. 当信道带宽为5000Hz 、信噪比为30dB 时，求其信道容量。

二、（15分）设信源??

????=??????4.06.0)(21x x x p X 通过一个干扰信道，输出信号为Y=[y 1,y 2]，其信道矩阵为??

????=4/14/36/16/5P 。求： （1）X 、Y 的联合概率矩阵p(xy)和后向概率矩阵p(x|y)；

（2）噪声熵H(X|Y)和信道疑义度（或损失熵）H(X|Y)；

（3）平均互信息I(X;Y)。

三、（16分）设有一个离散无记忆信源??

????=??????2.03.05.0)(321a a a x p X ， （1）求该信源的熵H(X)；

（2）对信源进行二元霍夫曼编码，计算其平均码长和编码效率；

（3）对信源进行四元霍夫曼编码，计算其平均码长和编码效率。

四、（15分）设线性分组码的生成矩阵????

??????=110100011010101001G ，求： （1）此(n,k)码的n=？k=？写出此(n,k)码的所有码字。

（2）对应的一致校验矩阵H ，确定最小码距，问此码能纠几位错？

（3）若接收码字为(000110)，假定接收码字只有一位错误，用伴随式法求译码的结果。

五、（10分）设对称离散信道矩阵??

????=3/13/16/16/16/16/13/13/1P ，求其信道容量C 。 六、（12分，电子信息专业）请根据给出的系统汉明码的监督矩阵

????

??????=100101101011010011110H 写出该编码器在输入信息序列为11111010时输出的汉明码序列。

七、（12分，通信工程专业）已知(2,1,2)卷积码的单位脉冲响应是G 1=(111)和G 2=(101)，请根据G 1和G 2画出该卷积码的编码电路图和网格图。

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

信息论与编码复习题目

信息论复习提纲 第一章绪论 1．通信系统模型； 2．香浓信息的概念； 3．信源、信道、信源编码和信道编码研究的核心问题。 第二章离散信源及信源熵 1．离散信息量、联合信息量、条件信息量、互信息量定义； 2．信源熵、条件熵、联合熵定义； 3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）； 4．最大信源熵定理及证明； 5．本章所有讲过的例题； 第三章离散信源的信源编码 1．信息传输速率、编码效率定义； 2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明； 3．码组为即时码的充要条件； 4．单义可译定理（Kraft不等式）及应用； 5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题； 第四章离散信道容量 1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离

散信道、准对称离散信道）； 2．本章讲过的例题； 第五章连续消息和连续信道 1．相对熵的定义； 2．均匀分布、高斯分布、指数分布的相对熵及证明； 3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明； 4．香农公式及意义； 5．本章所有讲过的例题； 第六章差错控制 1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）； 3．本章所有讲过的例题； 第七章线性分组码 1．线性分组码定义； 2．线性分组码的最小距离与最小重量的关系及证明； 3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系； 4．制作标准阵列并利用标准阵列译码； 5．本章所有讲过的例题； 第八章循环码 1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；

信息论与编码试卷与答案

一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

信息技术模拟试题

信息技术模拟试题 篇一：2015信息技术模拟试题-2 2015年沈阳市省普通高中学生学业水平模拟考试（二） 信息技术 （本试卷分为第I卷和第II卷，满分100分，考试时间为50分钟） 注意事项： 1. 答卷前，考生务必将自己的姓名、准考证号填写在答题卡上。 2. 答案一律写在答题卡上，写在本试卷上无效。考试结束后，将本试卷和答题卡一并交回。 3. 做第I卷答选择题时，选出每小题答案后，用2B铅笔把答题卡上对应题目的答案标号涂黑。如需改动，用橡皮擦干净后，再选涂其他答案标号。 第I卷选择题 一、单项选择题（本大题包括15小题，每小题3分，共45分） 1. 从信息的一般特征来说，以下说法不正确的是（） A．信息不能独立存在，需要依附于一定的载体。 B．信息可以转换成不同的载体形式而被存储和传播 C．信息可以被多个信息接受者接受并且多次使用 D．同一个信息不可以依附于不同的载体。 2.下列用于管理、监控、维护计算机正常工作，实现用户操作的计算机软件是（）。 字处理软件操作系统安全卫士 D. 瑞星杀毒软件

3. 城市大部分的十字路口都采用电子警察拍照的方式来约束闯红灯的现象，这个拍照的过程属于（） A．信息处理B．信息采集C．信息加工D．信息储存 4.在ASCII字符编码表中，字符“A”的ASCII码是65，字符“d”的ASCII码是（）。 5. 在“资源管理器”窗口中，若要选定多个不连续排列的文件，下列操作中正确的是（）。A.按住Ctrl键，单击文件逐个选定 B.按住Shift键，单击文件逐个选定C.按住Alt键，单击文件逐个选定D.按住Shift键，右击文件逐个选定 6.在研究性学习过程中，同学间可以通过互联网进行讨论与交流，下列可以进行实时交流的工具是（）。 A. E_ 7.下面是收集到的素材文件①紫荆花.JPG、②月光曲.WAV、③按钮.PSD、④荟萃园.BMP、⑤健康讲座.MPG⑥生物实验.SWF，可以用Photoshop CS 进行加工处理的文件是（）。 A. ①②⑤ B. ①③④ C. ②⑤⑥ D.③④⑥ 8． Word文档编辑时，对于插入文档中的图片不能进行的操作是( )。 A.放大或缩小 B. 剪裁 C.移动 D.修改图片中的图形 9．在Excel中，数据筛选的功能是（）。 A．只显示符合条件的数据，隐藏其它 B．删除掉不符合条件的数据 C．对工作表数据进行分类D．对工作表数据进行排序 10．要

信息论与编码试题集与答案(2014)

一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。

信息论与编码技术复习题2

《信息论与编码技术》复习题（2） 一、（32分）综合概念题 1. 什么是系统码和典型矩阵？写出常用的典型生成矩阵的两种形式。 2. 根据平均互信息定义的信道容量是指： a. 信道固定时的最大平均互信息； b. 信道固定时的最小平均互信息； c. 信源固定时的信道的最小平均互信息； d. 信源固定时的信道的最大平均互信息。 3. 什么是离散平稳信源？ a. 任意两个不同时刻随机矢量的各维概率分布都相同； b. 任意两个不同时刻随机矢量的各维概率分布都不相同； c. 任意两个不同时刻随机矢量的各维概率密度函数都相同； d. 任意两个不同时刻随机矢量的各维概率密度函数都不相同。 4. 设计一个信道容量为22 kbit/s 的电话信道，若信道上的信号与噪声的平均功率比值为20 dB ，请问该信道的通频带应该为多少？ 5. 设信源有q 个符号，则当信源 分布时熵最大，其最大值为 。 6. 当信道固定时，平均互信息是输入分布的 函数；当信源固定时，平均互信息是信道转移概率的 函数。 7. 信源编码是通过压缩信源冗余度来提高 ，而信道编码是增加冗余度来提高 。 8. 请判断具有下列码长{1, 2, 3, 3, 3, 4}的二进制码是否可构成唯一可译码。 二、（10分）设有对称信源(s = r = 4)，信源X = {a 1, a 2, ..., a r } = {0, 1, 2, 3}，信宿Y = { b 1, b 2, ..., b s } = {0, 1, 2, 3}。若失真度定义为：d (a i , b j ) = (b j -a i )2，求其失真矩阵D 。 三、（15分）某离散无记忆信源?? ????=??????4.06.0)(21a a x p X ，通过图1的信道传输，求： 图1 离散信道 （1）该信源中a 1和 a 2分别含有的自信息； （2）X 和Y 的信息熵； （3）信道的疑义度H (X|Y )； （4）接收到信息Y 后获得的平均互信息量。 四、（16分）设有一个离散无记忆信源?? ????=??????5.03.02.0)(321a a a x p X ， （1）对该信源进行二元费诺编码，计算其平均码长和编码效率；

信息论与编码试题-精选.

模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求

和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。

8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量：

，，

10.已知一（3，1，3）卷积码编码器，输入输出关系为：

试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？

信息技术考试试题库

信息技术考试试题库(完整版含答案) 1、计算机预防病毒感染有效的措施是( D )。 A.定期对计算机重新安装系统 B.不要把U盘和有病毒的U盘放在一起 C.不准往计算机中拷贝软件 D.给计算机安装防病毒的软件，并常更新 2、一个512MB的U盘能存储字节(Byte)的数据量。 A.512×8 B.512×1024×1024 C.512×1024 D.512×1024×8 3、计算机病毒是 A.计算机系统自生的 B.一种人为特制的计算机程序 C.主机发生故障时产生的 D.可传染疾病给人体的 4、在计算机内部，数据是以 A.二进制码 B.八进制码 C.十进制码

D.十六进制码 5、下面列出的四种存储器中，断电后正在处理的信息会丢失的存储器是 A.RAM B.ROM C.PROM D.EPROM 6、信息技术的四大基本技术是计算机技术、传感技术、控制技术和。 A.生物技术 B.媒体技术 C.通信技术 D.传播技术 7、内存和外存相比，其主要特点是。 A.能存储大量信息 B.能长期保存信息 C.存取速度快 D.能同时存储程序和数据 8、二十世纪末，人类开始进入 ( C )。 A. 电子时代 B. 农业时代 C. 信息时代

D. 工业时代 9、关于信息的说法，以下叙述中正确的是( D )。 A. 收音机就是一种信息 B. 一本书就是信息 C. 一张报纸就是信息 D. 报上登载的足球赛的消息是信息 10、下列不属于信息的是(C )。 A.报上登载的举办商品展销会的消息 B.电视中的计算机产品广告 C.计算机 D.各班各科成绩 11、多媒体信息不包括( D )。 A.影像、动画 B.文字、图形 C.音频、视频 D.硬盘、网卡 12、信息技术包括计算机技术、传感技术和( A.编码技术 B.电子技术 C )。 C.通信技术

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码复习题,德州学院

一、填空 1. 信息论基础主要研究信息的测度、 信道容量 、 信源和信道编码理论 等问题。 2. 必然事件的自信息量是0，不可能事件的自信息量是无穷大。 3. 若把掷骰子的结果作为一离散信源，则信源熵为 2log 。 4. 当事件i x 和j y 彼此之间相互独立时，平均互信息量为 0 。 5. 若二维平稳信源的信源熵为3bit/sign ，则其平均符号熵为1.5bit/sign 。 6. 信源熵H(X)表示信源输出后每个消息所提供的 平均信息量 。 7. 布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为 1bit 。 8. 单符号离散信源是用随机变量来描述的，则多符号离散信源用随机矢量来描述。 9. 平均互信息量与信息熵、联合熵的关系是I(X;Y)=H(X)+H(Y)-H(XY) 。 10. 条件熵H （x|y ）和无条件熵H （X ）的关系是小于等于。 11. 对于理想信道，H （x|y ）等于0 ；I （x ；y ）= H （X ）。 12. 若YZ 统计独立，则H （YZ ）和H （Y ）、H （Z ）之间的关系是H （YZ ）=H （Y ）+H （Z ） 。 13. 对某含有7个消息的信源，其熵的最大值为2log 7，对应为等概分布分布。 14. 对某含有8个消息的信源，其熵的最大值为2log 8，对应为等概分布。 15. 对某含有6个消息的信源，其熵的最大值为2log 6，对应为等概分布。 16. 对某含有9个消息的信源，其熵的最大值为2log 9，对应为等概分布。 17. 十六进制脉冲所含的信息量是四进制脉冲的2 倍。 18. 八进制脉冲所含的信息量是二进制脉冲的3倍。 19. 十六进制脉冲所含的信息量是二进制脉冲的 4倍。 20. 离散平稳无记忆信源的N 次扩展信源的熵等于离散信源熵的N 倍。 21. 离散信源的熵越小，则该信源消息之间的平均不确定性越弱。 22. 对于r 进制树图，n 级节点的个数一般为n r 。 23. 信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任何 时刻的输出符号无关，这种信道称之为 有干扰无记忆信道 。 24. 对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其它唯一可译码的平均 码长，则称该码为紧致码或最佳码 。 25. 分组码是前向纠错码 ，它可以在无需重新发射的情况下检测出有限个错码，并加以纠正。 26. 信源编码的目的是提高通信的有效性。 27. 对于香农编码和哈夫曼编码，编码方法唯一的是香农编码 。 28. 若纠错码的最小距离为dmin,则可以纠错任意小于等于（dmin-1）/2个差错。 29. 线性分组码是同时具有线性特性和分组特性的纠错码。 30. 道的输出仅与当前输入有关，而与过去无关的信道称无记忆信道。 31. 唯一可译码存在的充要条件是 1 1i n k i m -=≤∑ 。 32. 编码分为信源编码和信道编码两种。 33. 信道无失真传输信息的条件是信息传输速率小于信道容量。 34. 对称信道中，信源的最佳分布为等概分布。 35. 信源编码和信道编码的最大区别在于信源编码需减少信源的冗余度，而信道编码需增加信源的冗余。 36. 信道编码的目的是提高通信的可靠性。 37. 离散信源分为离散无记忆信源 和 离散有记忆信源。

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

信息技术模拟试卷

2019年云南省中考信息技术模拟试卷(二) 一、单项选择题(15小题,每小题2分,共30分) 1.在火箭、人造卫星、宇宙飞船等尖端技术领域中,大量的数据可以快速并且准确无误地计算,这主要体现了()的实际应用。 A.通信技术 B.计算机技术 C.感测技术 D.微电子技术 2.小李下载了一个游戏,要求win7及以上系统,内存4G以上,他想查看自己电脑的配置信息是否满足游戏安装需要,要打开如下图所示的窗口,他在“计算机”右键快捷菜单中执行()命令即可。 A.管理 B.重命名 C.打开 D.属性 3.计算机中用来存放当前工作所执行的程序和数据的部件是()。 A.内存 B.CD-ROM C. CPU D.主板 4.在使用Word2010进行文档编辑时,发现录入的字符有误,此时我们按下()键来删除光标插入点右侧的字符。 A.Enter B.Space C.BackSpace D.Delete 5.在下图中显示的分栏效果是()。 A.分为两栏,有分割线 B.分为三栏,有分割线 C.分为两栏,没有分割线 D.分为三栏,没有分割线 6.在Excel中,为了让数据更直观,更好地体现数据之间的关系或者变化规律,增加数据的形象性和生动性,我们可以采用()来进行图示化呈现。

A.函数 B.图表 C.排序 D.筛选 7.如下图所示,要计算营业额,已知米线单价为5元,面条单价为6元,则D3单元格中的公式应该为()。 A.B3*5+C3*6 B.=B3*5+C3*6 C.=B3*6+C3*5 D.66*5+53*6 8.小明给小李发送了一封电子邮件,当时小李出差没有接收邮件,那么这封邮件将()。 A.退回给小明 B.自动重发 C.保存在邮件服务器上 D.丢失 9.计算机通过双绞线连接交换机就能组建最简单的计算机网络。其中,双绞线属于()。 A.网络供电设备 B.网络终端 C.网络传输介质 D.网络信息交换设备 10.在GoldWave中新建声音时,不能在新建对话框设置()。 A.声道数 B.初始化长度 C.音量 D.采样速率 11.PowerPoint2010演示文稿的扩展名是()。 A.potx B.pptx C.docx D.xlsx 12.Photoshop中,如果要将左图变成右图,应该使用()工具。 13.下列关于仿制图章工具叙述错误的是()。

信息论和编码理论习题集答案解析

第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它 的信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多 少信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：(a) )(a p = ! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点 数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit

信息论与编码试题集与答案

一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。

2019年信息技术模拟试题一

2019年信息技术模拟试题一 1.王新在https://www.sodocs.net/doc/8c7134714.html, 网站申请了用户名为wangxin2012的电子邮箱，这个E-mail地址是( ) A、wangxin2012@https://www.sodocs.net/doc/8c7134714.html, B、https://www.sodocs.net/doc/8c7134714.html, C、https://www.sodocs.net/doc/8c7134714.html, D、wangxin2012@https://www.sodocs.net/doc/8c7134714.html, 2.下列因特网的接入方式中，下行速率理论上最高的是( ) A、ADSL B、ISDN C、有线电视接入 D、光纤接入 3.Microsoft Access是一种( ) A、文字处理软件 B、幻灯片制作软件 C、数据库管理软件 D、网页制作软件 4.下列关于数据库的叙述，错误的是( ) A、同一表中不能有同名的字段 B、表中的一行称为一条记录 C、表中的一列称为一个字段 D、表与表之间不能相互关联 5.下列软件中，属于网络操作系统的是( ) A、CuteFTP B、Windows 2008 Server C、Outlook Express D、DOS 6.0 6．某单位一个大办公室内共需放置10台台式计算机，在进行网络规划时，一般考虑采用的传输介质是( ) A、单模光纤 B、双绞线 C、同轴电缆 D、多模光纤 7.下列关于JavaScript调用的叙述错误的是( ) A、嵌入在HTML页面中的JavaScript语句只能在当前页面中使用 B、多个页面用相同的JavaScript，可以将这些代码写在一个文件中 C、JavaScript语句单独保存文件，扩展名为asp D、JavaScript外部文件，使用src属性指定 8.在制作网页时，若将网页浏览器的显示空间分割为几部分，每部分可以独立显示不同的网页，且能较好地融为一体，可以使用的是( ) A、表单 B、框架 C、表格 D、层叠样式表 9.可以作为ASP编程的脚本语言是( ) A、Delphi B、VB C、VBScript D、C++ 10.在调试自己制作的网页时，发现网页标题的文字不正确。进行修改时，下列说法中正确的是( ) A、在浏览器中直接修改网页 B、用Photoshop编辑修改网页 C、用“记事本”编辑网页源代码中