跨境追踪（Re-ID）技术与 Milvus 的完美邂逅

1 . Milvus 跨境追踪（ReID）技术与Milvus的完美邂逅 强少~、 

2 .自我介绍 CV算法工程师, Milvus 用户 - 行为识别、人脸识别、目标检测、行 人重识别等 - AI模型训练与优化 - Docker环境部署模型 强少 © 2020 Zilliz. All rights reserved. 

3 .目录 • ReID技术基本概念和实现流程 • 利用Milvus实现ReID的相似性度量的流程 • 常用数据集与评价指标 • ReID技术应用与未来展望 © 2020 Zilliz. All rights reserved. 

4 .行人智能认知---人脸识别之后重要的研究方向 人脸检测&人脸识别 © 2020 Zilliz. All rights reserved. 

5 .行人智能认知---人脸识别之后重要的研究方向 行人检测 行人分割&背景替换 骨架关键点检测 © 2020 Zilliz. All rights reserved. 

6 .行人智能认知---人脸识别之后重要的研究方向 人体动作识别 © 2020 Zilliz. All rights reserved. 

7 .行人智能认知---人脸识别之后重要的研究方向 行人重识别（ReID） © 2020 Zilliz. All rights reserved. 

8 .ReID技术基本概念与实现流程 跨境追踪（Person Re-Identification，简称ReID）技术，又称为行人重识别，是计算机视觉方向的热点课题，可看 作是图像检索的子问题，主要解决跨摄像头、跨场景下的行人识别与检索。即给定一个待检索的行人图像，在跨设 备下检索该行人的图像。ReID技术可以弥补目前固定摄像头的视觉局限，并可与行人检测、行人跟踪技术相结合， 应用于视频监控、智能安防、智慧公安等领域。 © 2020 Zilliz. All rights reserved. 

9 .ReID技术基本概念与实现流程 行人重识别系统 1）从摄像头监控视频中获取原始图片； 2）将原始图片中的行人位置检测出来组成Gallery集； 3）利用深度学习技术将检测出来的行人图片处理成特征向量，再利用ReID技术与待检索的行人 图片的特征向量进行相似性度量。 © 2020 Zilliz. All rights reserved. 

10 .利用Milvus实现ReID的相似性度量的流程 Feature Extraction • 特征提取：学习能够应对在不同 摄像头下行人变化的特征 （CNN model） query gallery probe gallery vector vectors • 度量学习：将学习到的特征映射 到新的空间使相同的人更近，不 Milvus vector search 同的人更远 args.distance > threshold • 图像检索：根据图片特征之间的 Yes (ID) /No 距离进行排序，返回检索结果 Results © 2020 Zilliz. All rights reserved. 

11 .利用Milvus实现ReID的相似性度量的流程 为什么会选择Milvus作为相似性比对搜索引擎呢？？ Milvus是一个开源的分布式向量搜索引擎。不但集成了业界成熟的向量相 似度搜索技术，更在此基础上对高性能计算框架进行了大幅度优化。 Feature Extraction Milvus具有如下优势： （CNN model） ➢ 高性能：Milvus为海量向量搜索场景而设计。不但集成了业界成熟的 query gallery Faiss和SPTAG，也实现了高效的NSG图索引。可以在单机环境下完成 probe gallery 十亿级向量搜索任务。 vector vectors ➢ 智能索引：针对不同应用场景，Milvus提供多种向量相似度计算方式和 Milvus vector 索引类型。 search args.distance > threshold ➢ 易于开发：Milvus为用户提供向量数据管理服务，以及集成的应用开发 SDK，相比直接调用Faiss等那样的程序库，Milvus的应用开发更方便。 Yes (ID) ➢ 计算成本可控：Milvus不仅提供传统的CPU计算方案，还能够有效降低 /No 大规模向量搜索所需的硬件规模，从而降低成本。 Results ➢ 应用场景广泛：Milvus不仅可以ing用在ReID中，像视频处理、声音识 别、自然语言处理等深度学习方向同样适用。 © 2020 Zilliz. All rights reserved. 

12 .常用数据集与评价指标 ReID技术难点 ReID在实际应用场景下的数据非常复杂，会受到许多因素的影响，这些因素中是 客观存在的，也是ReID要去解决的 无正脸照 姿态 配饰 遮挡 • 相机拍摄角度 • 行人更换服装饰配 更多因素 • 图片模糊不清楚 • 冬季夏季风格差异 • 室内室外环境变化 • 白天晚上光线差异 © 2020 Zilliz. All rights reserved. 

13 .常用数据集与评价指标 常用数据集 • 数据集通常是通过人工标注或者检测算法 得到的行人图片，目前与检测独立，注重识 别 • 数据集分为训练集、验证集、Query、 Gallery • 在训练集上进行模型的训练，得到模型后 对Query与Gallery中的图片提取特征计算相 似度，对于每个Query在Gallery中找出前N个 与其相似的图片 • 训练、测试中人物身份不重复（这一点非 常重要） © 2020 Zilliz. All rights reserved. 

14 .常用数据集与评价指标 常用数据集 Market1501 DukeMTMC-reID CUHK03 学术界研究中用于ReID算法训练以及评估的三个 主流公开数据集 拍摄地点 清华大学 Duke大学 香港中文大学 图片数量 32217 36441 13164 行人数量 1501 1812 1467 摄像头 6 8 10 ReID数据采集的特点： • 必须跨摄像头数据 • 同一个人多张全身照片 • 数据集规模小 • 互联网无法提供有效数据 • 影响因素复杂多样 • 大规模搜集涉及到隐私问题 • 连续视频截图 © 2020 Zilliz. All rights reserved. 

15 .常用数据集与评价指标 常用数据集 Market1501 DukeMTMC-reID CUHK03 © 2020 Zilliz. All rights reserved. 

16 . 常用数据集与评价指标 常用数据集 http://robustsystems.coe.neu.edu/sites/robustsystems.coe.neu.edu/files/systems/projectpages/reiddataset.html © 2020 Zilliz. All rights reserved. 

17 .常用数据集与评价指标 令人很期待的COCAS数据集 中科院开发了一个大规模的行人换装数据集COCAS，总共包含5266人的62382张行人图像，不过 遗憾的是还没有开源。下面是论文的地址，该文验证了通过服装模板进行换衣服的行人重识别 是可行的。 https://arxiv.org/abs/2005.07862 © 2020 Zilliz. All rights reserved. 

18 .常用数据集与评价指标 评价指标 Rank_k：命中率（Rank-k Accuracy）指的是算法返回的排序列表中，前k位为存在检索目标则称为rank-k命中 © 2020 Zilliz. All rights reserved. 

19 .常用数据集与评价指标 评价指标 CMC曲线：计算rank-k的命中率，形成rank-acc的曲线 © 2020 Zilliz. All rights reserved. 

20 .常用数据集与评价指标 评价指标 mAP：平均精度度（Mean Average Precision，mAP） mAP是更加全面衡量ReID算法效果的指标，它反映检索的人在底库中的所 有正确图片排在结果队列前面的程度，而不止首位命中。 © 2020 Zilliz. All rights reserved. 

21 .ReID技术应用与未来展望 技术应用——智能安防、智慧公安 已知嫌疑人图片 搜索历史监控视频获得更多嫌疑人图片 © 2020 Zilliz. All rights reserved. 

22 .ReID技术应用与未来展望 ReID技术应用——智能寻人系统 假如：小朋 友在与爸爸 妈妈走散了 大型公共场所 （例如迪斯尼乐园、大型超市、火车站、展览馆等） 警察可以根据爸爸妈妈提供的照片，应用ReID技术通过摄像头快速定位小朋友 的位置，即使摄像头拍摄不到小朋友正脸照片 © 2020 Zilliz. All rights reserved. 

23 .ReID技术应用与未来展望 ReID技术应用——无人超市 利用ReID技术实现在超市内用户的跟踪与行为分析 © 2020 Zilliz. All rights reserved. 

24 .ReID技术应用与未来展望 ReID技术应用——智能商场 4 1 2 3 技术点：用户行进与停留轨迹识别，智能理解用户需求（公共场合） © 2020 Zilliz. All rights reserved. 

25 .ReID技术应用与未来展望 ReID技术未来展望 • 基于视频的ReID • 跨模态的ReID • 跨场景的迁移学习 论文地址：https://arxiv.org/abs/1904.10424 代码地址：https://github.com/ShengcaiLiao/QAConv © 2020 Zilliz. All rights reserved. 

26 .Milvus Useful Links Live demo https://milvus.io/scenarios https://milvus.io https://github.com/milvus-io/milvus • Content-based image retrieval system (以图搜图) • Q&A chatbot powered by NLP (智能客服机器人) https://milvusio.slack.com • Molecular analysis (化合物分析) https://twitter.com/milvusio https://www.facebook.com/io.milvus.5 https://zhuanlan.zhihu.com/ai-search https://medium.com/@milvusio Follow our WeChat account © 2020 Zilliz. All rights reserved. 

27 .欢迎加入 Milvus 技术交流群 © 2020 Zilliz. All rights reserved.