展开查看详情
1 .信息论与编码技术 第 1 章 绪论 苗付友 mfy@ustc.edu.cn 2017 年 9 月
2 .信息论是一种基础理论工具，在计算机网络、信息安全、通信、光学、统计学、生物学、医学、热力学等众多学科的研究中具有广泛的应用，是在上述领域开展深入研究的必备基础。 信息论与编码是一门以信息为研究对象，揭示信息的本质特性和规律科学的课程。 它运用概率论、数理统计和随机过程等方法，研究信息的存储、传输、处理、控制和利用的一般规律，研究如何提高信息系统的可靠性、有效性、保密性和认证性等以使信息系统最优化。主要讲授内容包括离散信源及其信息测度、离散信道及其信道容量、无失真信源编码定理、有噪信道编码定理、无失真的信源编码、信道纠错编码以及保密系统的基本信息理论等。 课程的简单介绍
4 .本课程将介绍信息科学的 基础理论 和 基本方法 ，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为 信息理论 和 编码技术 两部分组成。 本课程以概率论为基础，数学推导较多，教学时主要把注意力集中到 概念的理解 上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的 “用处” ，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 课程的简单介绍
5 .3. 课程内容 离散信源及其信息测度 离散信道及其信道容量 无失真信源编码 理论与方法 有噪信道 编码理论与方法 保密系统的基本信息理论 课程的简单介绍
6 .4. 教材 《 信息论 — 基础理论与应用 》 （第四版） , 傅祖芸 , 电子工 业出版社， 2015.2.1 5. 学时和学分 60 学时， 3 学分，授课 20 周 课程的简单介绍
7 .6. 作业和测验 7. 成绩计算 平时测验： 30% 期末考试： 70% 8. 联系办法 苗付友 13866166896 mfy@ustc.edu.cn 9. 电子文档： 202.38.64.11/~ mfy /InfoTheory.htm 课程的简单介绍
8 .1. 信息的概念 2. 信息论研究的对象、目的和内容 3. 信息论简史与发展趋势 4 . 为什么 学习“信息论” 第 1 章 绪论
9 .组成客观世界的三大基本要素： 物质、能量和信息 ， 材料科学、能源科学 和 信息科学 一起被称为当代文明的“三大支柱”。 Without materials , there is nothing. Without energy , nothing happens. Without information , nothing makes sense 没有 物质 的世界是 虚无 的世界； 没有 能源 的世界是 死寂 的世界； 没有 信息 的世界是 混乱 的世界。 1. 信息的概念
11 .无所不在的 信息获取、发送、传输、接收、处理和利用
12 .与情报的区别 情报是人们对于某个特定对象所见、所闻、所理解而产生的知识 是一类 特定 的信息，不是信息的全部 与知识的区别 知识是人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。 是一种 普遍 和 概括性 质的高层次信息。 也不等同于信息的全部 1.1 信息是什么？
13 .与消息的区别 用特定形式把客观物质运动和主观思维活动的状态表达出来就成为了 消息 。 特定形式 （如文字、符号、数据、语言、音符、图片、图像等能够被人们感知的形式） 两个条件： 1 ）能被人们感知和理解； 2 ）可以进行传递和获取； 消息是信息的载体，信息是消息的内容 与信号的区别 把消息变换成适合信道传输的物理量，就是信号。 如电信号、光信号、声信号、生物信号 信号携带消息，是消息的运载工具 信号 ( 消息（信息） )
14 .R.V.L. Hartley –1928 《 信息的传输 》 发信者发出的信息就是他在通信符号表中选择符号的具体方式，用所选择的自由度来度量信息 缺点：未涉及信息的价值和具体内容，只考虑选择方式； 也没考虑选择方式的统计特性 N.Wiener – 1948 < 控制论 - 动物和机器中通信与控制问题 > 信息就是信息，不是物质，也不是能量。（上升到最基本概念的位置） “信息是人们适应外部世界并且是这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容。” 信息的各种定义
15 .缺点： 1. 信息不仅与人类有关，人与外部世界的交换的内容不仅限于信息。 G. Longe –1975 《 信息论：新的趋势与未决问题 》 “信息是反映事物的形式、关系和差别的东西。它包含于客体间的差别中，而不在客体本身中。” “在通信中仅仅差别关系是重要的。” --- 信息就是差异：没有差异就没有信息吗？ 缺点：不全面，不确切 信息的各种定义
16 .香农 1948 年论文 --《 通信的数学理论 》 从研究 通信系统传输 的实质出发，科学定义了信息，并进行了 定性 和 定量 的描述。 （信道可以是 空间上、时间上 的） 信息： 事物运动或存在方式的不确定性的描述 无噪模型对应关系 -- 例 :y=5+x, 信源 x, 信宿 y ∈Z, 若 x∈ U {0,1,2,…,10} Pr (x)=? Pr ( x|y =1)= ？ x ∈ U {0,1,2 ,…,30} ， Pr (x)=? Pr ( x|y =1 )= ？ 哪种情况下在信宿 y 接受到具体消息后获得的信息多？ 1.2 香农信息的定义 信源 信道 信宿 消息 干扰或噪声 （发送者） （接收者）
17 .（ 理想情况下 ）接收者在收到消息以前不知道消息的具体内容（疑义或不知） 对接收者而言，消息传递过程是一个从不知到知的过程 （ 有噪声干扰时 ）接收者收到消息后由于噪声或干扰，无法获得准确的消息 对接收者而言，消息传递过程是一个从知之甚少到知之甚多的过程 信息： 事物运动或存在方式的不确定性的描述 1.2 香农信息的定义 信源 信道 信宿 消息 干扰或噪声 （发送者） （接收者） 0 1 0 1 1-q 1-p p q 信源 x 信宿 y 例： y=5+x+n mod 11, 信源 x, 信宿 y∈ U {0,1,2,…,10 } ， 无噪信道： n ∈{1} 有噪信道 n∈ U {0,1,2} Pr (x)=? Pr ( x|y =1 )= ？
18 .信息量与不确定性消除的程度有关 不确定性就是随机性 — 概率论和随机过程测度不确定性的大小 例子：甲袋： 100 球（ 50 红 +50 白） 乙袋： 100 球（ 25 红 +25 蓝 +25 绿 +25 白） 问题：从甲袋和乙袋一次取出红球的不确定性那个大？ （取出前的不确定性 , 取出后消除的不确定性） 1.3 香农信息的度量
19 .1 ）样本空间 某个事物 各种 可能出现的不同状态，即 所有可能 选择的 消息 的集合。 X= 2 ）概率测度 在离散消息集合中，一个消息发生的概率（非负，总和为 1 ）。 3 ）概率空间 一个样本空间和它的概率测度称为一个概率空间。用 [X,P] 表示。 1.3 香农信息的度量
20 .4 ）自信息 对于接收者而言，样本空间 X 中的消息 a i 出现的不确定性与 a i 出现的概率 p( a i ) 成反比 , I( a i )=log{1/ p( a i )}=- logp ( a i ) I 5 ）互信息 （ Mutual Information ） a i ------->b i : 由于信道可能的干扰，接收者接收到的 b i 可能与 a i 相同，也可能不同。 先验概率： p( a i ); 后验概率： p( a i |b i ) 互信息：接收者在收到 b i 后，获得的关于 a i 的信息量 I ( a i ;b i ) = log{1/ p( a i )}–log{1/ p( a i |b i ) } =log{ p( a i |b i )/p( a i ) } 如果 p( a i )=p( b i ) ， I ( a i ;b i ) = ？ 1.3 香农信息的度量 例： y=5+x+n mod 11, 信源 x, 信宿 y∈ U {0,1,2,…,10 } ， 无噪信道： n ∈{1} 有噪信道： n∈ U {0,1,2} Pr (x=5)=? I(x=5)=? Pr (x=5|y=1 )= ？ I(x=5;y=1)=?
21 .6 ）香农信息定义的优缺点 优点 （ 1 ）有明确的数学模型和定量计算； （ 2 ）与人们关于信息的直观感觉一致； 必然事件信息量为 0 ；事件发生概率越小，发生时包含的信息量越大。 （ 3 ）排除了对信息的某些主观上的含义； 缺点 （ 1 ）有时候寻找合适概率模型困难； （ 2 ）没考虑接收者的主观特性和主观意义，忽略了具体含义，用途、重要程度和引起的后果等因素； 1.3 香农信息的度量
22 .信息是物质世界的三大支柱之一 物质、能量和信息 能量 物质 永恒运动与相互作用 运动状态和方式（ 信息 ） 信息： 事物运动的状态和方式的自身显示 信息源于物质世界的运动与相互作用，是普遍存在的 信息是物质的属性但非物质本身，具有相对独立性 信息的主要特征： 信息、物质和能量统一于事物一身 信息的存在具有普遍性，无限性、动态性、时效性和相对独立性 可传递、可转换、可扩散、可复制、可存储、可分割 ( 共享性 ) 可度量性，不因认知而消失，也不因传递、复制和扩散而增加 1.4 信息的广义概念
23 .语法、语义和语用信息 引入认识主体的一些约束条件 语法、语义和语用信息 语法信息 : 事物运动状态和状态改变的方式本身。不涉及状态的含义和效用。 语义信息： 事物运动状态和方式的具体含义； 语用信息： 事物运动状态和方式及其含义对观察者的效用；研究事物运动状态和方式与使用者的关系，即研究信息的主观价值。 1.4 信息的广义概念
24 .对象 目的 内容 2. 信息论研究对象、目的和内容
25 .抽象的通信系统模型 信源 ：产生消息和消息序列的来源；出现的消息具有随机性和不确定性，但有一定的规律性； 编码器 ：把消息变换成信号的措施；（编码的部件） 信道 ：消息传递的媒介或通道。 译码器 ：把信道输出的编码信号（叠加了干扰）进行反变换。包括信道译码器与信源译码器，甚至解密译码器。 信宿 ：消息传送的目的地，即接收消息的一方。 噪声 ： 信道中的干扰。 2.1 信息论研究对象 信源 信道 信宿 消息 （发送者） （接收者） 编码器 译码器 噪声源 信号 信号 + 干扰 消息 信号 + 干扰
26 .信源 Information source 离散信源和连续信源 无记忆信源和有记忆信源 核心问题：信源的消息中所包含的信息量以及信息如何度量 2.1 信息论研究对象
27 .编码器 编码器的功能把消息变成适合信道传输的信号： 信源编码器 （ source encoder ）：将信源消息变成符号，目的提高传输的有效性。最常见的电报系统的莫尔斯电码，原则常见消息用短的码字表示。 信道编码器 （ channel encoder ）：给信源编码符号增加冗余符号，提高传输的可靠性。 调制器 （ modulator ）：将编码器输出符号变成适合信道传输的信号，提高传输的效率，比如声音不变成电信号传输的距离很近。 2.1 信息论研究对象
28 .信道 狭义信道 具体的物理信道，与介质相关 广义信道 一种 逻辑关系 或者 通道 无噪声信道和有噪信道 AWGN 信道 ：加性高斯白噪声信道 2.1 信息论研究对象
29 .译码器 功能是从信号中恢复消息，包括 解调器 信道译码器 信源译码器 是编码的逆变换 2.1 信息论研究对象
热门城市
