《信息论基础》教学大纲

《信息论基础A》教学大纲

Basic Information Theory A

一、课程的性质和目的

当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业（信息安全方向）的专业课程。通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，讨论了信道编码理论以及各种常用的信道编码方法。而且针对信息安全的具体问题，研究了信息论的应用，信息论与安全理论的关系。本课程为以后开设的专业课程打下了坚实的基础，也为学生更好的理解信息安全理论奠定了基础。

二、课程教学内容及学时分配

1.绪论(2学时)

本章要求了解信息论的形成和发展，了解信息，信号，消息的区别和联系；掌握通信系统的模型。

本章的主要内容为：信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。

2.离散信源及其信息测度(10学时)

本章要求掌握信源的数学模型，了解信源的分类；掌握离散信源熵，了解信息熵的基本性质；掌握离散序列信源及马尔可夫信源信息熵的求法。

本章的主要内容为：信源的数学模型及分类，离散信源熵及其性质，离散序列信源的熵，离散平稳信信源的极限熵，马尔可夫信源，信源剩余度。

3.离散信道及其信道容量(10学时)

本章要求掌握信道的数学模型，了解信道的分类；掌握平均互信息的定义，了解平均互信息的特性；了解离散信道信道容量的一般计算方法，会计算对称离散信道的信道容量；理解数据处理定理以及信源与信道匹配的意义。

本章的主要内容为：信道的数学模型及其分类，平均互信息及其特性，信道容量及其一般计算方法，数据处理定理，信源和信道的匹配。

4.无失真信源编码(8学时)

本章要求了解码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等；理解定长编码定理和变长编码定理；了解几种编码方法：香农编码方法、费诺编码方法、MH编码及算术编码；掌握哈夫曼编码方法；会确定编码效率。

本章的主要内容为：编码器，码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

5.有噪信道编码(6学时)

本章要求了解几种译码规则；理解有噪信道的编码定理及联合信源信道编码定理；掌握汉明码的编译码方法；了解其他线性分组码的概念。

本章的主要内容为：错误概率及译码规则，有噪信道编码定理，联合信源信道编码定理，纠错码的基本思想和汉明码，线性分组码、卷积码、网格编码调制与级联码简介。

6.波形信源和波形信道(6学时)

本章要求掌握不同条件下连续信源的最大熵定理；了解连续信道和波形信道的分类；掌握香农公式及其意义；理解连续信道编码定理；了解香农定理在移动通信中的应用。

本章的主要内容为：连续信源的差熵，具有最大熵的连续信源，连续信道和波形信道的分类，高斯白噪声加性波形信道的信道容量，连续信道编码定理。

7.限失真信源编码(6学时)

本章要求理解平均失真和信息率失真函数的定义、R(D)的定义域和单调性等性质；理解限失真信源编码定理及其实用意义；了解JPEG等数据压缩标准等限失真信源编码的应用。

本章的主要内容为：平均失真和信息率失真函数，R(D)的定义域和单调性等性质，限失真信源编码定理，常用的信源编码方法简介，游程编码。

8.信息论的应用(6学时)

本章要求了解传统加密算法和公开秘钥加密算法原理；掌握RSA算法；了解AES及其应用，了解信息安全新技术。

本章的主要内容为：保密学应用：传统加密算法和公开秘钥加密算法如DES，RSA，AES等。

三、课程教学的基本要求

本课程是信息与计算科学专业（信息安全方向）的专业课程，理论性较强，是本专业的理论基础课程。在教学方法上，采用课堂讲授，课后自学，课堂讨论等教学形式。

(一)课堂讲授

本课程属基础理论课程，涉及到较多的数学知识，在讲述的过程中教师应尽量联系生产生活实际，注重物理意义，不要陷入到繁复的数学推导之中。在教学中要求同学重点掌握信源、信道、信源编码、信道编码的基本概念、基本方法，要着重培养学生定性分析、定量估算和动手上机实验的能力，在学习理论知识和计算的基础上，更多的讲解课本上没有涉及的工程背景及工程应用，以培养学生的兴趣。在课程内容方面既要保持理论的系统性，又要注意联系工程实际，并且重视信息论与现代通信系统尤其是信息安全相结合的问题及应用，培养学生理论联系实际的能力。

（二）课后自学

为了培养学生整理归纳，综合分析和处理问题的能力，每章都安排一部分内容，课上教师只给出自学提纲，不作详细讲解，课后学生自学。

（三）课堂讨论

课堂讨论的目的是活跃学习气氛，开拓思路，提高学生的创新能力和团队协作精神。教师应认真组织，安排重点发言，充分调动每一名同学的学习积极性，做好总结。

（四）习题课

习题课以典型例题分析为主，并适当安排开阔思路及综合性的练习及讨论。

（五）课外作业和期中考试

课外作业的内容选择基于对基本理论的理解和巩固，培养综合计算和分析、判断能力以及使用计算工具的能力。习题以计算性小题为主，平均每学时１-２道题。另外，针对具体的与信息安全直接相关的信道编码及密码学问题，安排学生上机实验，并交作业。

期中考试安排学生自己分组做PPT并选代表讲解，旨在提高学生的自学能力和口头表达能力；并让学生写出自己的学习心得，可以查找网络资源，旨在培养学生的兴趣以及提高他们的知识面；练习几个与实际结合紧密的作业题，旨在让学生理论联系实际，培养他们的思维能力。

（六）考试

考试可采用开卷形式。闭卷部分的试题包括基本概念，基本理论和计算，题型可采用填空，简答，计算等方式。

总评成绩：课外作业和期中考试占30%；期末闭卷考试占60%。

四、本课程与其它课程的联系与分工

先修课程：线性代数，概率论与数理统计，数学分析。信息论基础可以加深学生对这些先修课程的理解和应用，让学生清楚的知道数学基础课的用途，通过这门课，加深对信息安全理论的理解。

五、建议教材与教学参考书

［1］《信息论—基础理论与应用》傅祖芸主编，电子工业出版社

［2］《信息论及其应用》仇佩亮编著，浙江大学出版社

［3］《信息论与编码》仇佩亮编著，高等教育出版社

［4］《信息论与编码》曹雪虹张宗橙编著，清华大学出版社

［5］《信息论基础》（美）科弗（美）托马斯阮吉寿等，机械工业出版社

《管理信息系统》课程简介

《管理信息系统》课程简介 课程编号：09024014 课程名称：管理信息系统A（Management Information System A） 学分:3 学时：48 （上机：16 ） 适用专业：会计、审计、财务、工商、人力资源、市场营销等 建议修读学期：第5学期 开课单位：信息管理与信息系统系 课程负责人：江雨燕 先修课程：《计算机文化基础》、《VB程序设计》 考核方式与成绩评定标准： 本课程考核采用闭卷形式，理论课成绩占总成绩的60%，上机实验考核成绩占总成绩的30%，平时成绩占总成绩的10%。 教材与主要参考书目： 1．管理信息系统江雨燕主编南京大学出版社 2015年出版 2．管理信息系统黄梯云主编高等教育出版社 2010年出版 3．管理信息系统薛华成主编清华大学出版社 2015出版 4．管理信息系统王恒山主编机械工业出版社 2015年出版 5．管理信息系统课程设计贺超著机械工业出版社 2015年出版 6．管理信息系统肯尼斯C.劳顿著机械工业出版社 2016年出版 内容概述： 《管理信息系统》是一门信息类课程。该门课程理论性与实践性结合较强，课程内容涉及管理学、计算机科学技术。该课程注重于开发满足用户需要的管理信息系统软件所依据的理论、方法、原则、技术和工具，并结合管理工作实际，对管理信息系统软件开发过程进行计划、组织、协调和控制。 本课程的任务是使学生学习管理信息系统的基本概念和原理，掌握管理信息系统分析、设计、实施和评价的方法，通过本课程的学习使学生理解管理信息系统的一些基本概念，了解管理信息系统所涉及的技术基础，掌握管理信息系统的规划分析设计实施和评价的方法。通过上机实验实现一个实际的MIS应用系统。 “Management information system” is an information class course which combining theories and practices strongly and includes management science, computer science and technology. This course focuses on the development of theories, methods to arranged, organize, coordinate and control the process of software development of management information system. The task of this course is to enable students to learn the basic concepts and principles of the management information system, methods of analysis, designing, implementation and evaluation

《信息论基础》教学大纲

《信息论基础A》教学大纲 Basic Information Theory A 一、课程的性质和目的 当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业（信息安全方向）的专业课程。通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，讨论了信道编码理论以及各种常用的信道编码方法。而且针对信息安全的具体问题，研究了信息论的应用，信息论与安全理论的关系。本课程为以后开设的专业课程打下了坚实的基础，也为学生更好的理解信息安全理论奠定了基础。 二、课程教学内容及学时分配 1.绪论(2学时) 本章要求了解信息论的形成和发展，了解信息，信号，消息的区别和联系；掌握通信系统的模型。

本章的主要内容为：信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。 2.离散信源及其信息测度(10学时) 本章要求掌握信源的数学模型，了解信源的分类；掌握离散信源熵，了解信息熵的基本性质；掌握离散序列信源及马尔可夫信源信息熵的求法。 本章的主要内容为：信源的数学模型及分类，离散信源熵及其性质，离散序列信源的熵，离散平稳信信源的极限熵，马尔可夫信源，信源剩余度。 3.离散信道及其信道容量(10学时) 本章要求掌握信道的数学模型，了解信道的分类；掌握平均互信息的定义，了解平均互信息的特性；了解离散信道信道容量的一般计算方法，会计算对称离散信道的信道容量；理解数据处理定理以及信源与信道匹配的意义。 本章的主要内容为：信道的数学模型及其分类，平均互信息及其特性，信道容量及其一般计算方法，数据处理定理，信源和信道的匹配。 4.无失真信源编码(8学时) 本章要求了解码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等；理解定长编码定理和变长编码定理；了解几种编码方法：香农编码方法、费诺编码方法、MH编码及算术编码；掌握哈夫曼编码方法；会确定编码效率。 本章的主要内容为：编码器，码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。

《信息论与编码》教学大纲

《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码 Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码

第6章网络信息论 （教学要求：A—熟练掌握； B—掌握； C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法 2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码 2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段

信息管理学课程教学大纲

《信息管理学》课程教学大纲 课程英文名称：Information Management Science 课程代码： 程性质：必修 适用专业：信息管理与信息系统/电子商务开课学期：6 总学时数：48 总学分数：3.0 编写年月：2006-6 修订年月：2007-7 执笔：何斌, 吴学雁 一、课程的性质和目的 本课程是为信息管理与信息系统专业、电子商务专业本科生开设的主干专业基础课，是其必修课程。通过教师课堂讲授，学生在教师指导下自学、完成习题与课堂讨论，使学生弄懂与信息管理相关的基本概念，理解信息管理与信息系统之间的依存互动关系和信息管理的重要意义，把握信息度量、采集、编码、加密、存储、传输、处理及其用于决策的原理与方法，具备运用其基本方法与主要技术进行信息管理的基本能力，为本专业相关课程的学习打下必要的理论基础。通过信息管理原理与方法的教学促使学生早日把信息科学技术的知识技能和现代管理科学原理方法有机地融合起来，使他们能够在今后的学习和工作中懂得如何面向信息利用的实际需求，准确全面地获取信息和科学地管理信息资源，真正成为高质量的信息管理人才。 二、课程教学内容及学时分配 第1章信息与信息管理 6课时 §1.1 信息 §1.2 信息的度量 §1.3 信息的生命周期 §1.4 信息化与信息化建设 §1.5 信息管理 §1.6 信息管理学 本章首先介绍信息的基本概念、特征、性质和类型，讨论信息的描述和申农度量，分析信息的生命周期，然后讨论信息管理的内涵、原理、组织机构和发展历程，最后介绍信息管理学的学科性质、学科体系框架及我国信息管理学的研究状况。信息的基本概念、信

息的度量以及信息管理的原理是本章的重点，应该重点讲解清楚。信息的度量是本章的难点，可通过习题的方式加强学生的理解。 第2章信息收集 4课时 §2.1 信息收集概述 §2.2 信息感知与传感 §2.3 信息识别 §2.4 信息评价 §2.5 信息收集的新方法――无线传感器网络 本章主要介绍了信息收集的相关概念、方法与技术。信息的感知、传感与识别在传统的信息管理学中常常不够突出，但又是很有意义的，因此应作为本章的重点进行详细讲解。第3章信息组织 4课时 §3.1 信息组织概述 §3.2 信息组织的分类法 §3.3 信息组织的主题法 §3.4 信息组织的标记语言 §3.5 元数据 本章主要介绍信息组织的相关内容，包括信息组织的基本概念、信息组织的基本方法以及信息标记语言等。 第4章信息存储与检索 2课时 §4.1 信息存储概述 §4.2 语义信息编码 §4.3 语义网 §4.4 信息检索与搜索引擎 本章主要讨论了信息存储与检索的相关概念和方法。信息存储的部分内容在数据库等相关课程中已有较为全面的介绍，故讲课时可有所取舍。语义编码及语义网的相关内容是本章的重点，需要重点讲解。 第5章信源编码 5课时 §5.1 信息传输概述 §5.2 信宿从信息传输中所获得的信息量

《信息论与编码理论》教学大纲

教学大纲 课程编号：0121016 课程总学时：46学时 先修课程：概率论与随机过程开课院系：通信工程学院学分：3学分 课程性质：必修 开课学期：第五学期 适用专业：通信工程、电子信息工程、信息安全 一、课程的基本要求以及在教学计划中的地位与作用 应掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。该课程属通信学科的专业基础课程，是更好掌握其它专业课的必备基础。 二、课程内容和学时分配 1、引论：通信系统模型、Shannon信息论的中心问题（2学时）。 2、信息量和熵：离散随机变量的熵、平均互信息，连续随机变量的互信息和相对熵、互信息和相对熵，互信息的凸性（10学时）。 3、离散信源无失真编码：离散无记忆源的等长编码与不等长编码，Huffman编码，算术编码，LZ编码（12学时）。 4、信道容量：离散无记忆信道、组合信道、时间离散无记忆、连续信道、波形信道（8学时）。 5、离散信道编码定理（4学时）。 6、信道编码：线性分组码（8学时）。 7、总结及发展：（2学时）。 三、教材与参考书目 [1] 王育民、梁传甲编著《信息与编码理论》，西北电讯工程学院出版社，1986 [2] 王新梅肖国镇编著，《纠错码——原理与方法》，西安电子科技大学出版社 [3] 吴伟陵编著《信息处理与编码》，人民邮电出版社，1999 [4] 姜丹等编著《信息理论与编码》，中国科学技术大学出版社，1992 [5] 周炯槃著《信息论基础》，人民邮电出版社，1983 [6] [美]林舒、科斯特洛著，王育民、王新梅译，《差错控制编码、基础与应用》，

人民邮电出版社 [7] 王新梅编著，《纠错码与差错控制》，人民邮电出版社

信息论与编码基础教学大纲

《信息论与编码基础》课程教学大纲 课程代码：090141126 课程英文名称：The Information Theory 课程总学时：40 讲课：40 实验：0 上机：0 适用专业：信息与计算科学 大纲编写（修订）时间：2017.11 一、大纲使用说明 （一）课程的地位及教学目标 信息论基础是研究信息处理的数学规律性的数学理论分支之一，是信息与计算科学专业的一门必修的专业课程。通过本课程的学习，使学生能掌握信息论的一些基本理论以及基本编码方法，能较好地理解香农信息论的基本思想与基本原理，掌握几个基本运算方法，培养学生利用信息论的基本原理分析和解决实际问题能力，从而提高学生的数学素质，加强学生开展科研工作能力。为今后进行更深入的研究奠定良好的理论基础。 通过本课程的学习，学生将达到以下要求： 1. 掌握信息论的基本概念、原理和方法，理想通信系统的基本概念； 2. 具备运用信息论的基本理论分析并解决问题的能力； 3. 掌握信源编码与信道编码的基本方法，针对具体问题，能够设计编码方法并分析效率。 （二）知识、能力及技能方面的基本要求 1. 基本知识：掌握离散(连续)条件下的熵、条件熵、相对熵、互信息，最大熵原理等信息度量的相关理论知识；理解信源熵、信道容量等基本概念。 2. 基本理论和方法：理解通信系统的基本理论和基本模型；理解信源编码定理、信道编码定理等基本理论以及信源熵与信道容量的计算方法；掌握信源编码的各种方法与简单的信道编码方法。 3. 基本技能：通过本科程的学习，培养学生对信息的度量能力、编码设计能力，从而建立起分析和解决一个简单通信系统中的常见基本问题的能力，为以后学习信息科学的其它课程奠定坚实的基础。 （三）实施说明 1．教学方法：信息论基础涉及到概率论、高等代数等多门课程的基本理论，有一些比较复杂和抽象的概念与推导，在课堂讲授中要简化数学推导，引入信息理论实用历程，尽量做到深入浅出，容易理解；采用启发式教学，培养学生思考问题、分析问题和解决问题的能力；引导和鼓励学生通过查阅文献、实践获取知识，培养学生的自学能力；增加讨论课，调动学生学习的主观能动性。 2．教学手段：本课程建议采用课堂讲授、讨论、多媒体教学相结合的教学形式，以确保在有限的学时内，全面、高质量地完成课程教学任务。 3．教师在授课过程中可以根据实际情况酌情安排各部分的学时，课时分配表仅供参考。 （四）对先修课的要求 本课程的教学必须在完成先修课程之后进行。本课程主要的先修课程有：数学分析、高等代数、概率论与数理统计等。 （五）对习题课、实践环节的要求 1. 习题的选择应该适当参考其它教材或相关参考资料，对重点、难点章节（信息度量、信

《信息论基础与随机过程》教学大纲(本科)

信息论基础与随机过程 一、课程简介 信息论基础这门课程涉及信息学、统计学、计算机科学等领域，系统并全面地介绍了香农信息论，通过对理论知识的讲解，使学生掌握熵、互信息、自信息量、霍夫曼编码、香农编码、费诺编码等知识及其在生物医学中的应用，把理论知识和实际应用结合起来，为生物信息专业学生提供理论基础，培养科研思维，掌握医学信息分析方法。 随机过程是一连串随机事件动态关系的定量描述。随机过程理论在物理、生物、工程、经济和管理等方面都得到了广泛应用，已成为近代科技工作者谋求掌握的一个理论工具。通过随机过程的学习，期望学生能较好地理解随机数学的基本思想，掌握几个基本而常用的过程的处理方法，如正态过程、泊松过程等；特别是马氏过程要重点理解并掌握。并将随机过程理论与生物信息学专业相结合，为阅读文献和未来的科研工作奠定基础。 二、理论教学内容 1.信息论绪论 掌握内容：为什么要学习信息论这门课程？信息论基础与生物信息学之间的关系以及信息论基础与医学生物学之间的关系。信息熵在现代生物医学中的应用。 了解内容：信息论的起源、发展，信息论的研究对象、目的、内容，信息与消息的区别。 2.信息的度量 掌握内容：计算自信息、互信息、熵、联合熵、条件熵、平均互信息、理解熵的性质、各类熵之间的关系。例如：自信息、互信息等分析方法应用生物芯片数据选择差异表达基因及技术系统混乱度；基于熵互信息理论的基因调控网络的研究；度量反映对于刺激的条件熵；重患者与轻患者在得病期间的血清中蛋白质谱的信息分析。 了解内容：自信息、互信息、熵、联合熵、条件熵、平均互信息的计算公式，理解意义并熟悉医学信息分析方法。 3.信源及信源熵 掌握内容：多符号离散信源、马尔可夫信源、信源的相关性和剩余度，应用相关性和剩余度进行疾病诊断与治疗，例如：分析血清中蛋白质种类的百分含量诊断患者病情发展情况及肌体复杂程度；基于互信息的差异共表达致病基因挖掘方法。 了解内容：单符号离散信源。 4.信道及信道容量 掌握内容：计算信道容量，单符号离散信道的编程及计算、独立并联信道、串联信道的计算及意义。例如：脑血栓患者，血液流量；计算遗传信息的储存量。 了解内容：多符号离散信道。 5.无失真信源编码 掌握内容：即时码判断及构造树图。例如：解释ＧＯ数据库的结构。唯一可译码及判别标准，应用Kraft 不等式和McMillan 不等式判断唯一可译码和即时码。编制霍夫曼编码、香农编码、费诺编码，遗传密码，ＬＺＷ编码并应用于模式识别，计算平均码长及信息传输率。 了解内容：定长码及定长编码码长原则。 6.随机过程预备知识 掌握内容：概率空间、随机变量及分布函数、随机变量的数字特征、特征函数与母函数、条件期望。 了解内容：随机过程的应用领域。 7.随机过程的概念及基本类型

《信息论与编码》教学大纲

《信息论与编码》教学大纲 一、课程基本信息 1．课程代码：21905400 2．课程中文名称：信息论与编码A 课程英文名称：（Information Theory and code A） 3．面向对象：信息工程专业 4．开课学院（课部）、系（中心、室）：信息工程学院信息工程系 5．总学时数：48 讲课学时数：40 ，实验学时数：8 6．学分数： 3 7．授课语种：中文，考试语种：中文 8．教材：《信息论与编码》（第二版），陈运，电子工业出版社; 二、课程内容简介 《信息论与编码》重点介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。本课程在介绍了有关信息度量的基础上，重点讨论了信道容量、率失真函数，以及无失真信源编码、限失真信源编码和信道编码中的理论知识及其实现原理。迄今为止香农理论已经广泛的成为各项信息技术的理论指导。 三、课程的地位、作用和教学目标 信息论是信息学科的数学基础，是所有从事信息学科的工程技术及研究人员必须掌握的一门基础课。这门课从信息的最本质、最基础的基本概念和基本原理着手，主要介绍香农信息论的基本概念和香农有名的三大定理，以及编码理论和纠错编码。从而为各种具体的信息技术提供了理论基础。 本课程要求在建立了熵的概念的基础上，重点掌握信道容量、率失真函数，以及无失真信源编码、限失真信源编码和信道编码中的理论知识及其实现原理。 四、与本课程相联系的其他课程 在本专业，高等数学A、线性代数A、概率论与数理统计A可以作为本课程的先修课程。 五、教学基本要求 1．学习和掌握信源熵、条件熵、联合熵等各种熵的概念、意义、性质，以及它们之间的相互关系； 2．学习和掌握离散无失真信源编码定理； 3．学习和掌握信道模型、信道容量及其计算； 4．学习和掌握信道编码定理； 5．学习和掌握离散信源的信息率失真函数及其性质、保真度准则下的信源编码定理； 6．学习和了解离散信源编码、连续信源编码方法； 7．学习和掌握信道编码方法：线性分组码和循环码； 六、考核方式与评价结构比例

《信息论与编码》课程教学大纲

《信息论与编码》课程教学大纲 数学与自然科学类、工程基础类、专业基础类、专业类、工程实践与毕业设计（论文）、人文社会科学类；学分学时处（）内为实验学时。 一、课程简介 《信息论与编码》是信息类专业重要的专业基础课之一。该课程主要培养学生如何对信息科学中的可能性和存在性的问题进行研究的能力。课程重点研究信息论基础和编码理论。信息论与编码是理论性很强的学科，学生需要较好的数学功底。在完成本课程的学习后，学生能够掌握信源和信道的基本理论以及信源编码的基本方法，并为后续的《通信原理》等课程学习奠定理论基础。 二、课程教学目标 信息论与编码侧重讲授信息论基础理论和基础的编码理论。通过学习，学生能够熟练计算离散信源的信息量和信息熵、离散序列信源的序列熵以及信源的冗余度；学生能够熟练计算离散单符号信道以及离散序列的信道容量；学生能够熟练计算离散信源的信息率失真函数；学生能够熟练对信源进行简单编码。讲授过程植入抗战时期我党采用的密码趣闻（如：难懂的温州话）以及国内知名密码学者（如山东大学王小云教授破解MD5和SHA-1加密算法）的事迹，旨在培育学生创新精神，使学生的学习能力提升的同时，精神层面也得到升华。本课程的具体教学目标如下： 1．掌握信息论与编码的基本概念并将其应用与后续专业知识的学习中。具体为：学生能够界定出信息论学科的发展阶段并指出它的研究内容；描述通信系统的模型；列举信息论的应用。学生能够分类信源的类型；归纳不同信源的数学模型；对信道进行分类；归纳不同信道的数学模型；复述信息率失真函数的概念；区别信源编码和信道编码的概念。[1.2] 2．掌握信息论与编码的基本理论以及计算方法和常用的编译码方式，从而对通信过程中信息的产生、发送、传输以及编译码进行识别、表达和分析，并获得有效结论。具体为：学生能够计算离散信源熵和互信息；计算离散序列信源的熵；计算离散单个符号信道的信道容量；计算离散序列的信道容量；熟练运用无失真信源编码定理以及限失真信源编码定理；熟练套用常用信源编码方法。[2.1] 3．能够利用专业知识，针对给定需求对通信系统中信息传递的性能进行分析。具体为：学生能够评估信源的冗余度；比较信源与信道的匹配程度；推演离散信源的信息率失真函数。 [1.2、2.1] 课程教学目标与毕业要求的对应关系见表1： 表1 毕业要求指标点实现矩阵

《信息论与编码实验》教学大纲

信息论与编码实验 Information Theory and Coding 一、课程基本情况 课程总学时：32 课时 实验总学时： 10课时 开设项目数：5 课程性质：必修 对应理论课程及性质：信息论与编码专业理论基础课 适用专业：电子信息工程、信息工程等相关专业本科生 教材：信息论与编码（第二版），电子工业出版社，陈运，2007。 开课院系：电子信息工程学院电子信息工程系 二、课程性质、教学目标和任务 《信息论与编码》课程是电子与信息工程、信息工程等相关专业所必须开设的一门实践性很强的专业基础和核心课程。根据课程理论教学的需要，共安排10 学时的配套实验教学，主要涉及二进熵函数曲线绘制、香农编码、信息度量的计算方法、典型信源编码方法和典型信道容量计算方法等5个实验，一方面有助于学生消化、巩固课程理论教学的知识，另一方面又可培养学生实践动手能力，同时为后续课程做好准备。 三、课程的内容和要求

注：实验要求和实验类型选定后请打“√”。 四、课程考核 （1）作业：5 次； （2）考核方式：闭卷考试 （3）总评成绩计算方式：平时成绩30%（其中作业15%），期末考试成绩70% （4）是否使用多媒体：采用板书和多媒体相结合教学方式。 五、参考书目 1、信息论与编码技术（第二版），清华大学出版社；冯桂，2008 2、信息论基础，机械工业出版社；Thomas M.Cove，2008 3、信息论与编码，清华大学出版社；曹雪虹、张宗橙，2009 4、The Theory of Information and Coding，电子工业出版社；Robert J. McEliece，2003 5、信息论基础理论，电子工业出版社；傅祖芸，2003

《信息论基础》课程教学大纲

《信息论基础》课程教学大纲 课程名称：信息论基础课程类别：专业必修课 适用专业：电子信息工程考核方式：考试 总学时、学分：72学时4学分 其中讲授56学时，实验10学时，其它6学时 一、课程性质、教学目标 随着香农信息论为核心的信息理论从发展走向成熟，在信息理论的主导和推动下，信息计算技术、信息存储与处理技术以及信息安全可靠的传输技术等都取得了突破性的进展和卓越的成就。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论基础》课程为电子信息工程学科的通信工程专业方向中的核心知识单元，也是该专业方向中的基础知识单元，同时也可作为信息科学其它相关学科的选修课，掌握它可以指导理论研究和工程应用。 该课程主要包括离散信源及其信息测度、离散信道及其信道容量、无失真信源编码定理、无失真信源编码、信道的纠错编码等基本内容。是学习《通信原理》专业核心课的必备基础，是《数字通信》、《无线通信》等专业方向课程的重要基础。其具体的课程教学目标为：课程教学目标1：了解信息论知识形成的过程，熟练掌握自信息、信息熵、离散无记忆扩展信源熵的基本计算方法，了解马尔科夫信源和信源剩余度的基本概念，理解信源编码在通信系统中的作用。 课程教学目标2：理解离散平均互信息、噪声熵、损失熵、信道容量的基本计算方法。探究各种熵概念形成的原因，学会发觉问题、分析问题、解决问题的方法。 课程教学目标3：理解无失真信源编码定理，能够对信源编码的各种码型进行判断，掌握即时码的判断条件以及构造方法。掌握在无

学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。 三、先修课程 线性代数、概率论。 四、课程教学重、难点 教学重点： 信息以及信息的测度、信道及信道容量、无失真信源编码方法、信道纠错编码。 教学难点： 香农三大编码定理和香农公式。 五、课程教学方法与教学手段 课堂讲学为主，课余主要知识点仿真实验和习题练习。 六、课程教学内容 第一章绪论（2学时） 1. 教学内容 （1）信息的概念及自信息的表示方式； （2）信息论研究的对象、目的和内容，信息论发展简史。 2. 重、难点提示 （1）重点是样本空间、概率测度、概率空间、自信息、互信息；（2）难点是香农信息定义的优缺点。 第二章离散信源及其信息测度（8学时） 1. 教学内容 （1）信源的数学模型，离散无记忆信源及其扩展信源； （2）自信息、信息熵、离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理；

《信息论基础》课程教学大纲

《信息论基础》课程教学大纲 一、《信息论基础》课程说明 （一）课程代码：14131054 （二）课程英文名称：informationtheory（三）开学对象：信息管理与信息系统专 业（四）课程性质： 信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的 有效处理和可靠传输的一般规律的科学。本课程是信息管理与信息系统本科的专业课。它 应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。 因而它是一门新兴科学，亦称为通信的数学理论。建立在通信理论的数学知识基础之上的 信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密 码学等方面有着广泛的用途。要使学生领会信息论的基本思想，具备解决实际问题的能力。从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。先修课程为概率论与数理统计（五）教 学目的： 本课程就是信息管理与信息系统本科生的专业课，使用概率论与随机过程等数学方法 研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的就是使学生介绍shannon信息论的基本内容，掌控其中的基本公式和基本运算，培育利用信息论的基本原 理分析和化解实际问题的能力，为进一步自学通信和信息以及其他有关领域的高深技术打 下较好的理论基础。（六）教学内容： 掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定 理与huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码 定理；理解r（d）函数与有失真的信源编码定理.（七）学时数、学分数及学时数具体分 配学时数：36分数：2 学时数具体内容分配：教学内容第一章绪论第二章信源和信息熵第三章信道与信道容 量第四章率为杂讯函数第五章编码定理合计210481236合计210481236讲授实验/课堂教 学（八）教学方式：使用多媒体教学方式 （九）考核方式和成绩记载说明 考试方式将融合平时作业、平时考核(40%)、期末考试(60%)的各个环节。并使学生能 著重平时自学的过程，发生改变学生从应试型至能力型。考试内容侧重于基本概念、基本内容及其知识的综合应用。 二、讲授大纲与各章的基本建议第一章绪论

《信息论与编码技术》课程教学大纲

《信息论与编码技术》课程教学大纲 一、课程基本信息 课程编号：B022303 课程名称：信息论与编码技术 英文名称：Information Theory and Coding 先修课程：高等数学、概率论与数理统计、信号与系统 适用专业：通信工程 课程类别：专业教育选修课程/拓展课程 课程总学时/学分：32/2 （其中理论32学时，实验0学时） 二、课程目标 通过本课程的学习，使学生具备下列能力： 1．理解信息、平均互信息的定义和性质、各种熵的定义及其之间的关系，掌握离散平稳信源条件熵和极限熵、信道容量、率失真函数的含义，掌握香农编码、费诺编码、哈夫曼编码等常见信源编码以及线性分组码、循环码、卷积码等常见信道编码的基本理论。 2．能够运用信息论的基本理论研究分析通信领域的工程问题，通过信源编码和信道编码实现通信的有效性和可靠性。 3．通过对信息论的学习，提升运用科学方法分析解决实际问题的能力、逻辑思维能力、数学推理能力以及数学表达能力，培养创新意识和反思精神。 四、教学内容、要求及重难点 第一章绪论（2学时） 教学要求： 1．了解信息论的产生、发展、应用，为以后学习打下基础。 2．掌握通信系统模型及模型中各部分的作用。

教学重点： 信息的概念和信息论研究的主要内容；通信系统模型。 教学难点： 信息、消息与信号的联系与区别。 第二章信源与信息熵（6学时） 教学要求： 1．掌握信源的分类。 2．熟练掌握离散信源自信息量、互信息量等的定义。 3．掌握离散无记忆信源、有记忆信源的序列熵。 4．了解连续信源熵和互信息；理解冗余度的概念。 教学重点： 平均互信息的定义和性质；各种熵的定义及其之间的关系；离散平稳信源条件熵和极限熵；马尔可夫信源的特点及其极限熵的求解。 教学难点： 各种熵之间的关系；最大连续熵定理和离散无失真信源编码定理。 第三章信道与信道容量（4学时） 教学要求： 1．掌握信道的分类、信道容量的定义。 2．掌握无干扰离散信道、对称DMC信道、准对称DMC信道容量计算方法。 3．掌握限时限频限功率的加性高斯白噪声信道容量的计算公式。 4．了解一般DMC信道、离散序列信道容量的计算方法；了解连续单符号加性信道、多维无记忆加性连续信道容量的计算。 5．理解信源与信道相匹配的含义。 教学重点： 信道分类及信道模型；无干扰离散无记忆信道；加性干扰无记忆信道。 教学难点： 离散序列信道及容量。 第四章信息率失真函数（4学时） 教学要求： 1．理解失真函数、平均失真的定义。 2．熟练掌握信息率失真函数R(D)的定义及性质。 3．理解信息率失真函数与信道容量的区别。 4．了解离散信源和连续信源的R(D)计算。 教学重点：

信息论基础-教学大纲-赵勇

中国海洋大学本科生课程大纲 课程介绍 1 •课程描述： 信息论是运用概率论与数理统汁的方法研究信息、信息嫡、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。本课程的主要内容包括信源和信道两大部分。信源方面主要包括：信源的数学模型及分类、离散信源的自信息和信息爛、信息爛的基本性质、离散无记忆的扩展信源、离散平稳信源、马尔科夫信源、信源剩余度与自然语言的爛、意义信息和加权爛。信道方面主要包括：信道的数学模型及分类、平均互信息及平均条件互信息、平均互信息的特性、信道容量及其一般计算方法、离散无记忆扩展信道及其信道容量、独立并联信道及其信道容量、审联信道的互信息和数据处理定理、信源与信道的匹配。 2.设计思路： 当前信息产业发展很快，需要大量的从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，也是信息与计算科学专业的专业选修课。课程从各种信源开始, 重点是讲授其信息爛的计算方法；然后是各种信道，重点是讲授其信道容量的计算方法。信源是发出信息的，信息爛是衡量信息量的重要标准。信道是传输信息的，信道容量反映了信道所能传输的最大信息量。 3.其他课程的关系：

先修课程：《概率论》 二、课程目标 通过本课程的学习，学生能够掌握有关信息论的基本理论和实现原理，并能根据所学的内容进行一些初步的应用。到课程结束时，学生应该 （1）理解各种信源的信息爛、各种信道的容量，及其计算方法。 （2）能够将相关知识应用到具体的数据处理中。 三、学习要求 要完成所有的课程任务，学生必须： （1）按时上课，上课认真听讲，积极完成作业。本课程的出勤率和课堂表现是成绩考核的主要组成部分。 （2）按时完成作业，掌握课程所要求的内容。延期提交作业需要提前得到任课教师的许可。

信息论基础课程教学大纲

信息论基础课程教学大纲 课程英文名称：Fundamentals of Information Theory 课程编号：050729 课程类型：专业核心课总学 时：6 学分：3.5 适用对象：信息与计算科学专业周学时：4 开设学期：第六学期开课单位：数学与系统科学学院先 修课程：数学分析、高等代数、概率论与数理统计、 计算机文化基础编写依据：2017 年版本科培养方案使用教材及参考书编写时间：2017 年 7 月 教材：李梅、李亦农主编，《信息论基础教程》（第3 版），北京邮电大学出版社， 2015.8 参考 ， （信息与计算科学专业系列教材） 书：1.石峰、莫忠息主编，《信息论基础》（第二版） ， 武汉大学出版社，2008 年 1 月 2.田宝玉等编，《信息论基础》，（普通高等教育“十一五”国家级规划教材，21 世纪高等 ，人民邮电出版社，2008 年8 月 院校电子信息类规划教材） 一、课程教学目的和任务 通过本课程教学，使学生了解香农狭义信息论的基本思想与原理，理解通信系统模型，熟悉常用信源和信道编码方法，培养学生利用信息论的基本原理分析和解决通信系统相关的实际问题的能力，从而提高学生的综合素质，为今后进行信息科学方面的学习和研究奠定良好的理论基础。 二、课程教学基本要求 1、重点讲解香农狭义信息论的基本思想、信息的统计度量、信道容量以及信源与信道编码等理论问题。要求学生掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。 2、课堂讲授力求做到讲重点、讲难点，并注意将培养和提高学生的分析问题和解决问题的能力放在重要位置。布置一些课后作业。 3、教师可根据实际条件布置实验课作业，可选用的编程语言是 C 语言或Matlab。通过编 程实现一些编码方法，让学生巩固课程内容。 三、课程教学重点和难点 第 1 章绪论 重点：信息论的基本内容，研究对象和目的。 难点: 信息论的基本内容。 第 2 章信息的度量 重点：信源熵，联合熵，条件熵。 难点: 熵函数的性质。 第 3 章信源及信源熵 重点：信源、信源的数学建模问题、定量描述信源输出信息的能力、信源编码问题。 难点：信源编码问题。 第 4 章信道及信道容量 重点：信道容量，信道编码定理。 难点：信道容量的性质和计算，信道编码定理。