苏宁 王止观 - 《无人店之人脸识别技术探讨》
随着深度学习的广泛发展,人脸识别的准确率有了巨大的飞跃。计算机通过自我学习得到的人脸特征更为可靠。将深度学习应用到人脸特征提取,使得人脸识别的精度有了进一步的提高。 VGGNet、GoogLeNet、ResNet是现今普遍流行的深度卷积神经网络(CNN)架构,基于这些架构训练出的的人脸识别模型,在公共数据集LFW(Labeled Face in the Wild)都得到了不错的效果。研究发现ResNet残差网络的结构可以加快收敛速率,提高训练速度和性能。而GoogleNet中的Inception模块,通过同一层中不同大小的卷积核可以得到不同尺度的特征。将GoogleNet中的Inception模块和ResNet相结合得到新的架构,可以进一步提高人脸识别模型的精确度。我们在此架构的基础上,训练出的新的人脸识别模型,在人脸识别公共数据集LFW达到了99.63%的准确率。
展开查看详情

1.苏宁无人店之人脸识别技术探讨 演讲者/王止观

2. 什么是人脸识别 ? 人脸识别,是基于人的脸部特征信息 进行身份识别的一种生物识别技术。 刘亦菲

3. 人脸识别历史 Bledsoe,Helen,Charles 提出通过计算机来识别人脸 1964-1990 1964年Bledsoe提出第一个半自动人脸识别系统 基于特征的方法是主流 重点解决的是较理想条件下、用户配合、中小规模人 1991-1997 脸数据库上的人脸识别问题 基于Appearance的2D人脸图像线性子空间分析和统 计模式识别方法是主流 重点研究非理想条件下、用户不配合、大规模人脸数 1998-现今 据库上的人脸识别问题 GPU的应用解决了数据量大的问题,深度学习大规模 训练人脸特征

4. 人脸识别的应用领域 公安刑侦 考勤门禁 居民身份证管理 零售安全 机场车站安检 金融领域 政府部 工业级 门及安 应用 防 消费级应 用 智能手机解锁 相片分类 美图

5. 人脸识别的优缺点 • 人脸识别的优点 – 可以隐蔽操作,特别适用于安 全问题、罪犯监控与抓逃应用 – 非接触式采集,没有侵犯性, 容易接受 – 方便、快捷、强大的事后追踪 能力 – 符合我们人类的识别习惯,可 交互性强,无需专家评判 • 人脸识别的不足 生物特征识别:未来的身份验证方法! – 不同人脸的相似性小 – 识别性能受外界条件的影响大

6.人脸识别的挑战 ( )

7. 人脸识别分类 人脸验证(verification) 人脸识别(identification) 1:1 身份验证模式本质上是 计算机对当前人脸与人像数 … 据库进行快速人脸比对并得 出是否匹配的过程,可以简 单理解为证明你就是你。 1:N人脸识别,是1:N进行图像匹配比对的过程, “刷脸”登机、验票、支付 从一群人中识别你是谁,一般用于开发“人脸识 都属于1:1的人证核验! 别门禁系统”和“VIP人脸识别系统”。

8.人脸识别系统

9. 人脸识别步骤 Ø 人脸检测与对齐校准 Ø 人脸特征提取与特征模 型建立 Ø 人脸特征匹配 Ø 人脸识别结果

10.人脸检测与对齐校准

11. 人脸检测与对齐矫正 • 人脸识别第一步 • 人脸关键点检测 • 根据参考点,仿射变换对齐 • 人脸水平,居中 • 人脸特征模型输入 人脸检测 人脸关键点检测 人脸对齐

12. 人脸检测 基于规则/知识方法 基于模板的方法 人脸模式的变化满足一定的规律,所以可 固定模板法 以归纳描述人脸特征的规 则,如灰度分 布、比例关系、纹理信息等。 可变形模板法 基于外观学习的方法---目前的主流方法 基于不变特征的方法,如彩色信息 将人脸检测视为从非人脸样本中识别人脸 人脸的肤色在彩色空间中的分布相对比较 样本的模式识别问题,通 过对人脸样本 集中,所以可用来检测和 跟踪人脸 集和非人脸样本集的学习产生分类器。

13. mtcnn人脸检测结果 FDDB人脸检测准确率:95.04%

14.人脸特征提取与特征模型建立

15. 人脸特征提取 传统算法 1.基于面部器官的特征提取 人脸检测 人脸关键点检测 仿射变换 特征提取 2.基于模板的特征提取 3.基于代数方法的特征提取 4.基于弹性匹配法的特征提取 深度学习算法 1. 深度卷积神经网络架构 2. 模型训练自我学习特征

16. 深度学习的优势 底层感知 预处理 特征选择 预测识别 Ø 良好的特征表达,对最终算法的准确性起了非常关键的作用 Ø 识别系统的计算和测试主要集中在特征提取部分 Ø 特征的样式目前一般都是人工设计的,靠人工提取特征 Ø 深度学习的优势: 1.强调了数据的抽象 2.强调了特征的自动学习 3.自主学习的特征更为可靠

17.人脸特征模型之深度神经网络架构 •卷积层(Convolutional layer) •激活函数(Relu) •池化层(Pooling layer) •全连结层(fully connected layer) •损失函数层 (loss function)

18. AlexNet § 2012年 Alex Krizhevsky等人提出,相比11年,精度提升近10个百分点 § 历史性突破 § 8层:5卷积层+3层全连接层 § 卷积核大小:11*11, 5*5, 3*3

19. AlexNet Relu代替Sigmoid Dropout防止过拟合 Max-pooling 代替 average-pooling 数据增强扩充训练集 引入GPU,多GPU训练模型,提高速度

20. 神经网络特征图 • 随着网络加深,特征表征能力越强

21. VGGNet Ø 2014年亚军,牛津大学提出 Ø 它的特点也是连续conv多,计算量巨大 Ø 选用3*3卷积核的优点: • 使网络结构更深,学习到的特征更多,结果更具 有判别性(discriminative) • 三层3*3的卷积核比一层7*7的卷积核所需要的 参数更少

22.如何训练更深层的网络? • 随着网络加深,特征表征能力越强 • 梯度计算: ∂Etotal ∂Etotal ∂out o1 ∂net o1 = × × ∂w5 ∂out o1 ∂net o1 ∂w5 • 简单叠加层数会产生梯度消失

23.残差神经网络ResNet • 进一步缓解梯度消失问题 • 梯度由“乘”变“加” • 加快收敛速度 • 提高准确率

24.Inception-ResNet Ø Inception是GoogleNet中的重要结构 Ø 高效表达特征 Ø 在同一层中使用不同大小的卷积核3*3,5*5 Ø 提升不同尺度图像的检测能力 Ø 1*1卷积核降维 Ø Inception结构加入到ResNet中将多尺度的特征融合

25.不同架构对比

26. 损失函数 Ø 表示预测结果和真实结果之间的差 正向传播,预测结果y=(w,x) 异, Ø 是需要优化的目标函数 Ø 指导训练: • 输入:原始图像,label • 输出:神经网络的每层权重值w – 初始化权重值w – 通过神经网络计算出预测结果 – 计算出损失函数 – 对w求导得到梯度,更新w 反向传播, 计算梯度 – 梯度下降的方法得出损失函数最小时 的w

27.损失函数Softmax 更清晰的描述了预测模型与 理想模型的距离 n WyTi xi +byi 交叉熵: Ls = − ∑ log e n ∑e i=1 WTj x j +b j j=1 特点:不同种类分得比较开

28. 加入center loss的Softmax Ø Center loss计算步骤: 1:每个类中⼼心位置cyi 2:类元素离所属class中⼼心位置cyi的距 离 3:求和得到center loss Ø Softmax+center loss WyTi xi +byi λ n n 2 e L = − ∑ log n + ∑ x i − c yi ∑e i=1 WTj x j +b j 2 i=1 2 j=1 特点:不同种类分的很开,并考虑了同类距离

29. Angular Softmax n WyTi xi +byi e xi cos(θ yi , i ) + byi L = − ∑ log n WyTi e n L = − ∑ log ∑e WTj x j +b j n ∑e i=1 i=1 WTj xi cos(θ j , i ) + b j j=1 j=1 n xi cos(θ yi , i ) e Lmodified = − ∑ log n xi cos(mθ yi , i ) e n Lang = − ∑ log + ∑e ∑e xi cos(θ j , i ) xi cos(mθ yi , i ) xi cos(θ j , i ) i=1 i=1 e j≠yi 二元化特例: j=1 1: 归一化权重向量w1, w2, bias=0 2: 计算特征向量和权重向量的夹角θ1,θ2 3: 通过夹角判断该特征归属 Modified Softmax决策边界: x ( cosθ1 − cosθ 2 ) = 0 Angular Softmax决策边界: x ( cos mθ1 − cosθ 2 ) = 0 for class 1 x ( cosθ1 − cos mθ 2 ) = 0 for class 2