信息论作业第一章
第一章 信息论基础
课后习题
1.7同时掷一对均匀的骰子，要得知面朝上点数之和，描述这一信源的数学模型。
解：两个点数的排列如下：
11 12 13 14 15 16
21 22 23 24 25 26
31 32 33 34 35 36
41 42 43 44 45 46
51 52 53 54 55 56
61 62 63 64 65 66
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
??
????????=??????36112181111211091936586173656915121418133612)(X P X 故：该信源的数学模型如上。
1.8居住在某地区的女孩中有25%是大学生，在女大学生中75%身高
1.6m 以上，而女孩中身高1.6m 以上的占总数的一半，要从信源消息中得知身高及学历，描述这一信源。
解：设随机变量X 代表女孩子学历
X X1（是大学生） X2（不是大学生）
P(X) 0.25 0.75
设随机变量Y 代表女孩子身高
Y Y1 （身高>1.6m ） Y2（身高<1.6m ）
P(Y) 0.5 0.5
1.9设有一个二阶二元马尔可夫信源，其4种状态的转移概率矩阵为
?????
???????=7.03.000005.05.05.05.000002.08.0p ，画出状态图并求稳态下各状态出现的概率。
1.10有一个二元对称信道，信道误码率P=0.06,设该信道以1000个符号/秒的速率传输输入符号，现有一消息序列，共有9500个符号，并设消息中q(0)=q(1)=0.5，问从信号传输的角度来考虑，10秒能否将消息无失真地传送完？
解：06.0)1()1()0(=-?+?=p q p q P e ，此信道10秒内能无失真传输的最大信息量为950094001000)1(10<=?-?e P ，故不能。
1.12某有扰离散信道的输入是等概率出现的A 、B 、C 、D 四个字母，信道正确传输的概率是0.5，等概率错误传输成其他三个字母，描述这一信道的数学模型，并计算相应的后验概率。
解：P(A)=P(B)=P(C)=P(D)=1/4 P=1-P=0.5
P(A|A)=P(B|B)=P(C|C)=P(D|D)=1/2
P(B|A)=P(C|A)=P(D|A)=1/6 P(A|B)=P(C|B)=P(D|B)=1/6
P(A|C)=P(B|C)=P(D|C)=1/6 P(A|D)=P(B|D)=P(C|D)=1/6 信源模型为：???
?
?
?????=???
???41414141)(D C B A x q x
信道模型为：()[]??
?
?
?
?
??
?
??
???????????=21616161612161616161216161616
121|i j x y p
有)()|()(i i j j i x q x y p y x p =，所以
[]??
?
??
?
??
?
?
?
??????
?????=81241241241241812412412412418
124124124
124181)(j i y x p
又有∑=i j i j y x p y )()(ω， []??????=41414
1
41
)(j y ω，由)()|()(j j i j i y y x y x p ωφ=的后验概率为：
[]??
?
?
?
?
??
?
??
???????????=2161616161216161616
12161616
16121|(j i y x φ
信息论与编码第一章答案
第一章信息论与基础 1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学 模型。 解：设该信源符号集合为X
《信息论》(电子科大)复习资料
信息论导论参考资料 作者 龙非池 第一章 概论 ● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息 ● 归纳起来，香农信息论的研究内容包括： 1) 信息熵、信道容量和信息率失真函数 2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法 ● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。 信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。 第二章 离散信源及离散熵 ● 单符号离散信源的数学模型：1 212 ()()()()n n x x x X P x P x P x P X ?? ??=???????? 自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley) 自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。 ● 单符号离散信源的离散熵： 1()[()]()()n i i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。 离散熵的性质和定理：H(X)的非负性；H(X)的上凸性； 最大离散熵定理：()H X lbn ≤ ● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点 无关，即：
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴
bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： ！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解：
(完整版)信息论与编码概念总结
第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n
信息论
第一章概论 1.信息、消息、信号的定义及关系。 定义 信息：事物运动状态或存在方式的不确定性的描述。 消息：指包含有信息的语言、文字和图像等。 信号：表示消息的物理量，一般指随时间而变化的电压或电流称为电信号。 关系 信息和消息 信息不等于消息。消息中包含信息，是信息的载体。 同一信息可以用不同形式的消息来载荷。 同一个消息可以含有不同的信息量。 信息和信号 信号是消息的载体，消息则是信号的具体内容。 信号携带信息，但不是信息本身。 同一信息可用不同的信号来表示，同一信号也可表示不同的信息。 2. 通信系统模型，箭头上是什么？通信的目的及方法。 通信的目的：是为了提高通信的可靠性和有效性。 信源编码：提高信息传输的有效性。（减小冗余度） 信道编码：提高信息传输的可靠性。（增大冗余度）
第二章 信源及其信息量 ★信源发出的是消息。 信源分类 1、信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源。 2、根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。 单符号离散信源 离散无记忆信源 无记忆扩展信源 离散平稳信源 离散有记忆信源 记忆长度无限 记忆长度有限（马尔可夫信源） 一、单符号离散信源 单符号离散信源的数学模型为 定义：一个随机事件发生某一结果后所带来的信息量为自信息量。定义为其发生 概率对数的负值。 以 奇才 单位： ?对数以2为底，单位为比特 (bit ) （binary unit ） ?对数以e 为底，单位为奈特 (nat ) (nature unit) ?对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart) 物理含义： 在事件xi 发生以前，等于事件xi 发生的不确定性的大小； 在事件xi 发生以后，表示事件xi 所含有或所能提供的信息量。 性质: ①I(x i )是非负值. ②当p(x i )=1时，I(x i )=0. ③当p(x i )=0时，I(x i )=∞. ④I(x i ) 是p(x i )的单调递减函数. 联合自信息量 条件自信息量 自信息量、条件自信息量和联合自信息量之间有如下关系式： I(x i y j )= I(x i )+ I(y j / x i ) = I(y j )+ I(x i / y j ) ?? ????=??????)(,),(,),(),( ,, , , , )( 2121n i n i x p x p x p x p x x x x X P X )(log )( i i x p x I -= )(log )( j i j i y x p y x I -= 1)(,1)(01 =≤≤∑=n i i i x p x p
信息论 复习题目(2017)
信息论复习提纲（2017） 第一章绪论 1．通信系统模型； 2．香浓信息的概念； 3．信源、信道、信源编码和信道编码研究的核心问题。 第二章离散信源及信源熵 1．离散信息量、联合信息量、条件信息量、互信息量定义； 2．信源熵、条件熵、联合熵定义； 3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明； 5．本章所有讲过的例题； 第三章离散信源的信源编码 1．信息传输速率、编码效率定义； 2．最佳编码定理（即3.2节定理：概率越大，码长越小；概率越小，码长越大）及证明；3．码组为即时码的充要条件； 4．单义可译定理（Kraft不等式）及应用； 5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）； 6．本章所有讲过的例题； 第四章离散信道容量 1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）； 2．本章讲过的例题； 第五章连续消息和连续信道 1．相对熵的定义； 2．均匀分布、高斯分布、指数分布的相对熵及证明； 3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明； 4．香农公式及意义； 5．本章所有讲过的例题； 第六章差错控制 1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义； 2．最小距离与检错、纠错的关系（即6.3节定理）； 3．本章所有讲过的例题； 第七章线性分组码 1．线性分组码定义； 2．线性分组码的最小距离与最小重量的关系及证明； 3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系； 4．制作标准阵列并利用标准阵列译码； 5．本章所有讲过的例题； 第八章循环码 1．生成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明； 2．生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式； 3．本章所有讲过的例题；
信息论第1章
第一章信息的定性描述 第一节对信息的初步认识 一. 信息社会 当今，世界上信息革命的热潮一浪高过一浪。近年来，移动电话、个人电脑和网络用户正以高于摩尔定律的速度迅猛增长。人们都在谈论着信息社会、信息革命和网络时代，信息似乎成了个很时髦的字眼儿。就连中国人平常打招呼的话“你吃饭了吗？”也被有些人改成“你上网了吗？”但这绝不是什么赶时髦，也绝不是什么偶然现象，而是社会发展的必然趋势。因为在信息社会里，人们最关心的是信息问题，而不是吃饭问题。“民以食为天”的信条将会逐渐被“民以信为天”所代替。社会学家和未来学家普遍认为，20世纪末和21世纪初，是信息革命爆发的时期。一些新技术的突破和新产业的出现，使社会生产力发生了新的飞跃，人们的生活也发生了新的变化，人类社会正在进入信息化社会。所谓信息化社会，就是以信息产业为中心，使社会生产、生活和经济都发展起来的社会。在这种社会中， ◆信息成了比物质或能源更为重要的资源， ◆对信息产业成了重要的产业。 ◆从事信息工作者成了主要的劳动者。 ◆信息和知识成了生产力发展的决定因素。 二. 信息的普遍性 其实，信息并不是什么新鲜东西， 信息无时不在，无处不有。 人们生活在信息的海洋里，天天都要通过自己的感觉器官感受各种外界信息。例如，衣食住行，读书看报，听广播，看电视等等。人们要进行社会活动就需要有信息交流。例如，除了书信、电话、电报之外，天天都要同许多人交谈、交往。人们还要进行信息处理和存储。例如，要把观察、接收到的大量事物、数据和资料进行分类、分析、整理和纪录。 不仅如此，信息也是人类自身进化的一个基本条件。恩格斯对于人类的进化过程，曾有过这样一段极其精彩的描述：“……这些猿类，大概是首先由于它们生活方式的影响……渐渐直立行走……手变得自由了……随着手的发展，随着劳动而开始的人对自然的统治，在每一个新的发展中扩大了人的眼界。……另一方面，劳动的发展必然促使社会成员更加紧密地互相结合起来，因为它使互相帮助和共同协作的场合增多了，并且使每个人都清楚地意识到这种共同协作的好处。一句话，这些正在形成中的人，已经到了彼此间有些什么非说不可的地步了。需要产生了自己的器官：猿类不发达的喉头，由于音调的抑扬顿挫的不断加多，缓慢地然而肯定地得到改造，而口部的器官也逐渐学会了发出一个个清晰的音节……首先是劳动，然后是语言和劳动一起，成了两个最主要的推动力，在它们的影响下，猿的脑髓就逐渐地变成人的脑髓……由于随着完全形成的人的出现而产生了新的因素——社会。”在这里，我们看到了一幅清晰的图景，它说明这些正在形成中的人，怎样在与外部的联系中产生了感知信息与利用信息的需要，因而逐渐形成和发展了自己的信息器官：眼、耳、口、脑等等。形成和发展这些器官，形成和发展语言，正是为了从自然界取得信息和利用信息来强化自己，
信息论第一章
第一章 1-1 信息.消息和信号的定义是什么？三者的关系是什么？ 答：定义：信息是事物运动状态或存在方式的不确定性的描述。 用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。 把消息换成适合信道传输的物理量，这种物理量称为信号。 三者的关系：消息包含信息，是信息的载体，但不是物理性的。信号是信息的载体，是物理性的。 1-3 写出信息论的定义（狭义信息论和广义信息论）. 答：狭义信息论：信息论是在信息可以度量的基础上有效地和可靠地传递信息的科学，它涉及信息的度量、信息的特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。 广义信息论：信息论包括通信的全部统计问题的研究、香农信息论、信号设计、噪声理论、信号检测与估值等，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学甚至社会学和科学管理学中有关信息的问题。 1-5信息有哪些分类？ 答：( 1 )按信息的性质分类：语法信息，语义信息和语用信息； （2）按观察过程分类：实在信息，先验信息和实得信息； （3）按信息的地位分类：客观信息（效果信息、环境信息）和主观信息（决策信息，指令、控制和目标信息）； （4）按信息的作用分类：有用信息、无用信息和干扰信息； ( 5）按信息的逻辑意义分类：真实信息、虚假信息和不定信息； （6）按信息的传递方向分类：前馈信息和反馈信息； ( 7）按信息的生成领域分类：宇宙信息、自然信息、思维信息和社会信息；（8）按信息的信息源性质分类：语言信息、图像信息、数据信息、计算信息和文字信息； （9）按信息的信号形成分类：连续信息、离散信息和半连续信息。 09电子2 22 何清林
信息论第一章习题 - 西安交通大学单位主页托管服务
信息论第一章习题 1-1 设某班学生在一次考试中获优（A ）、良（B ）、中（C ）、及格（D ）和不及格（E ）的人 数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？ 1-2 一个号码锁有3个数字，每个数字可设置为0~99（含0和99）中的任何一个整数值。试 计算打开该锁所需的信息。 1-3 中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含 的信息量。设每个汉字用一个1616?的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？ 1-4 一信源有4种输出数符：3,2,1,0 ,==i i X i ，且4/1=i X P 。设信源向信宿发出3X ，但由于 传输中的干扰，接收者收到3X 后，认为其可信度为0.9。于是信源再次向信宿发送该数符（3X ），信宿无误收到。问信源在两次发送中发出的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？（提示：先计算第二次传输中收、发的信息量。） 1-5 一信源有6种输出状态，概率分别为 5.0=A P 25.0=B P 125.0=C P 05.0==E D P P 025.0=F P 试计算)(X H 。然后求消息ABABBA 和FDDFDF 中的信息量（设信源先后发出的符号相互独立），并将之与6位消息的信息量期望值相比较。 1-6 重做1-5题，但取 4.0=A P 2.0=B P 12.0=C P 1.0==E D P P 08.0=F P 。 1-7 两个信源1S 和2S 均有两种输出：1 ,0=X 和1 ,0=Y ，概率分别为2/110==X X P P ， 4/10=Y P ，4/31=Y P 。试计算)(X H 和)(Y H 。设1S 发出序列0101，2S 发出0111，如传输过程无误，第一个字符传送结束后，相应的两个信宿分别收到多少信息量？当整个序列传送结束后，收到的总信息量及平均每次发送的信息量又各是多少？（设信源先后发出的数字相互独立。） 1-8 从普通的52张扑克牌中随机地抽出一张 (a) 当告知你抽到的那张牌是：红桃；人头；红桃人头时，你所得的信息各
信息论基础复习提纲
第一章 绪论 1、什么是信息？香农对于信息是如何定义的。 答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。 2、简述通信系统模型的组成及各部分的含义。 答：（1）、信源：信源是产生消息的源。信源产生信息的速率---熵率。 （2）、编码器：编码器是将消息变成适合于信道传送的信号的设 备。包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。 （3）、信道：信道是信息传输和存储的媒介。 （4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。 （5）、信宿：信宿是消息的接收者（人或机器）。 3、简述香农信息论的核心及其特点。 答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 （2）、特点：①、以概率论、随机过程为基本研究工具。 ②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。 ③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。 ④、要求信源为随机过程，不研究信宿。 第二章 信息的度量 2.1 自信息和互信息 1、自信息（量）： （1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。某个消息i x 出现的不确定性 的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： ()()() i i i x p x p x I 1 log log =-=
信息论作业第一章
第一章 信息论基础 课后习题 1.7同时掷一对均匀的骰子，要得知面朝上点数之和，描述这一信源的数学模型。 解：两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： ?? ????????=??????36112181111211091936586173656915121418133612)(X P X 故：该信源的数学模型如上。 1.8居住在某地区的女孩中有25%是大学生，在女大学生中75%身高 1.6m 以上，而女孩中身高1.6m 以上的占总数的一半，要从信源消息中得知身高及学历，描述这一信源。 解：设随机变量X 代表女孩子学历 X X1（是大学生） X2（不是大学生）
P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y Y1 （身高>1.6m ） Y2（身高<1.6m ） P(Y) 0.5 0.5 1.9设有一个二阶二元马尔可夫信源，其4种状态的转移概率矩阵为 ????? ???????=7.03.000005.05.05.05.000002.08.0p ，画出状态图并求稳态下各状态出现的概率。 1.10有一个二元对称信道，信道误码率P=0.06,设该信道以1000个符号/秒的速率传输输入符号，现有一消息序列，共有9500个符号，并设消息中q(0)=q(1)=0.5，问从信号传输的角度来考虑，10秒能否将消息无失真地传送完？ 解：06.0)1()1()0(=-?+?=p q p q P e ，此信道10秒内能无失真传输的最大信息量为950094001000)1(10<=?-?e P ，故不能。 1.12某有扰离散信道的输入是等概率出现的A 、B 、C 、D 四个字母，信道正确传输的概率是0.5，等概率错误传输成其他三个字母，描述这一信道的数学模型，并计算相应的后验概率。 解：P(A)=P(B)=P(C)=P(D)=1/4 P=1-P=0.5 P(A|A)=P(B|B)=P(C|C)=P(D|D)=1/2 P(B|A)=P(C|A)=P(D|A)=1/6 P(A|B)=P(C|B)=P(D|B)=1/6