AI:复杂分类器

本章主要介绍复杂分类器中的支撑向量机 (support vector machine)、神经网络(Neural Networks)、模糊逻辑 (Fuzzy Logic)的相关内容。首先用图示的方法介绍了线性分类器中的相关概念,包括间隔等,最大间隔线性分类器就是一种最简单的支持向量机(SVM) (称为线性支持向量机,即LSVM),并且介绍了几种计算间隔的方法。在神经网络部分,首先介绍了神经网络的基本思想以及发展历史,随后介绍了神经网络的数学模型,举例说明人工神经网络的应用以及BP算法。在模糊逻辑部分,首先介绍了其数学基础,包括确定数学、不确定性数学、模糊数学的基本概念以及发展历史等。随后讲解隶属函数和模糊数等内容,最后介绍如何设计模糊控制器。
展开查看详情

1.复杂分类器的简介

2.复杂分类器 支撑向量机 ( support vector machine ) 神经网络( Neural Networks ) 模糊逻辑 ( Fuzzy Logic )

3.支撑向量机 ( support vector machine )

4.f x y +1 -1 f ( x , w ,b ) = sign( w . x - b ) How would you classify this data? 线性分类器

5.f x y +1 -1 f ( x , w ,b ) = sign( w . x - b ) How would you classify this data? 线性分类器

6.线性分类器 f x y +1 -1 f ( x , w ,b ) = sign( w . x - b ) How would you classify this data?

7.线性分类器 f x y +1 -1 f ( x , w ,b ) = sign( w . x - b ) How would you classify this data?

8.线性分类器 f x y +1 -1 f ( x , w ,b ) = sign( w . x - b ) Any of these would be fine.. ..but which is best?

9.线性分类器 f x y +1 -1 f ( x , w ,b ) = sign( w . x - b ) 线性分类器的 间隔( margin) : 到超平面最近的样本与此超平面之间的距离。

10.最大间隔 f x y +1 -1 f ( x , w ,b ) = sign( w . x - b ) 具有最大间隔的线性分类器叫做 最大间隔线性分类器 。 其就是一种最简单的支持向量机( SVM) ( 称为线性支持向量机,即 LSVM) 线性支持向量机

11.f x y +1 -1 f ( x , w ,b ) = sign( w . x - b ) 支持向量( Support Vectors) : 是那些距离超平面最近的点。 具有最大间隔的线性分类器叫做 最大间隔线性分类器 。 其就是一种最简单的支持向量机( SVM) ( 称为线性支持向量机,即 LSVM) 线性支持向量机 最大间隔

12.Why… 最大间隔? +1 -1 f ( x , w ,b ) = sign( w . x - b ) 支持向量( Support Vectors) : 是那些距离超平面最近的点。 具有最大间隔的线性分类器叫做 最大间隔线性分类器 。 其就是一种最简单的支持向量机( SVM) ( 称为线性支持向量机,即 LSVM) 线性支持向量机 直观上感觉很好. 学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系:

13.具体化分类超平面及其间隔 如何在数学上表示? … 在 m 位空间中? Plus-Plane Minus-Plane Classifier Boundary zone “ Predict Class = +1” “ Predict Class = -1” zone

14.Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } Classify as.. +1 if w . x + b >= 1 -1 if w . x + b <= -1 不可分情况 if -1 < w . x + b < 1 具体化分类超平面及其间隔 Plus-Plane Minus-Plane Classifier Boundary zone “ Predict Class = +1” “ Predict Class = -1” zone

15.计算间隔 Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin 我们怎样利用 w 与 b 计算 margin? Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 注: 向量 w 与 Plus Plane 垂直. 为什么 ?

16.设 u 和 v 是 Plus Plane 上的两个向量. 则 w . ( u – v ) 是多少? 所以 w 也垂直于 Minus Plane 注: 向量 w 与 Plus Plane 垂直. 为什么 ? Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin 我们怎样利用 w 与 b 计算 margin? Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 计算间隔

17.Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 向量 w 与 Plus Plane 垂直 设 x - 是 minus plane 上任意一点 设 x + 是 plus-plane 上距离 x - 最近的点 x - x + 计算间隔 Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin 我们怎样利用 w 与 b 计算 margin?

18.Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 向量 w 与 Plus Plane 垂直 设 x - 是 minus plane 上任意一点 设 x + 是 plus-plane 上距离 x - 最近的点 注: 对于某实数 l, x + = x - + l w . 为什么? x - x + 计算间隔 Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin 我们怎样利用 w 与 b 计算 margin?

19.Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 向量 w 与 Plus Plane 垂直 设 x - 是 minus plane 上任意一点 设 x + 是 plus-plane 上距离 x - 最近的点 注: 对于某实数 l, x + = x - + l w . 为什么? x - x + 计算间隔 Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin 我们怎样利用 w 与 b 计算 margin? x - 与 x + 的连线与 planes 垂直. 于是 x - 在 w 的方向上移动一段距离就可与到达 x + .

20.现在我们知道: w . x + + b = +1 w . x - + b = -1 x + = x - + l w | x + - x - | = M 于是很容易由 w 和 b 得到 M Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin Width x - x + 计算间隔

21.现在我们知道: w . x + + b = +1 w . x - + b = -1 x + = x - + l w | x + - x - | = M 于是很容易由 w 和 b 得到 M Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin Width w . ( x - + l w) + b = 1 => w . x - + b + l w . w = 1 => -1 + l w . w = 1 => x - x + 计算间隔

22.现在我们知道: w . x + + b = +1 w . x - + b = -1 x + = x - + l w | x + - x - | = M Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin Width = M = | x + - x - | =| l w |= x - x + 计算间隔

23.学习最大间隔分类器 我们现在需要找到一种算法,来求出 w 与 b, 并且 能匹配上所有的样本点 . 怎么做? 梯度下降? 退火算法 ? 矩阵求逆? 牛顿法? Zone “ Predict Class = +1” “ Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin Width = x - x +

24.利用二次优化求解 Minimize subject to y k (w . x k + b )>= 1 k=1,2,…,n

25.What You Should Know 线性 SVMs 最大间隔分类器 QP 的作用 (但是 , 这里 , 你不必知道如何求解它 ) 最大间隔问题可以转化为一个二次优化( QP) 问题

26.神经网络( Neural Networks )

27.引 言 利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。 研究 ANN 目的: ( 1 )探索和模拟人的感觉、思维和行为的规律,设计具有人类智能的计算机系统。 ( 2 )探讨人脑的智能活动,用物化了的智能来考察和研究人脑智能的物质过程及其规律。

28.ANN 的研究内容 ( 1 ) 理论研究 : ANN 模型及其学习算法,试图从数学上描述 ANN 的动力学过程,建立相应的 ANN 模型,在该模型的基础上,对于给定的学习样本,找出一种能以较快的速度和较高的精度调整神经元间互连权值,使系统达到稳定状态,满足学习要求的算法。 ( 2 ) 实现技术的研究 :探讨利用电子、光学、生物等技术实现神经计算机的途径。 ( 3 ) 应用的研究 :探讨如何应用 ANN 解决实际问题,如模式识别、故障检测、智能机器人等。

29.研究 ANN 方法 ( 1 ) 生理结构的模拟: 用仿生学观点,探索人脑的生理结构,把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络( Artificial Neural Netwroks ,简称 ANN )方法。 ( 2 )宏观功能的模拟: 从人的思维活动和智能行为的心理学特性出发,利用计算机系统来对人脑智能进行宏观功能的模拟,即符号处理方法。