跨境追踪(Re-ID)技术与 Milvus 的完美邂逅

跨境追踪(Person Re-Identification,简称 ReID)技术,又称为行人重识别,是计算机视觉方向的热点课题,主要解决跨摄像头、跨场景下的行人识别与检索。作为人脸识别技术的重要补充,可以对无法获取清晰人脸的行人进行跨摄像头的连续跟踪,增强了数据的时空连续性。

本次直播分为以下 5 个部分:

(1)介绍 ReID 技术的基本概念和实现流程

(2)常用数据集与评价指标简介

(3)利用 Milvus 实现 ReID 的相似性度量

(4)ReID 技术应用与未来展望

(5)答疑

展开查看详情

1. Milvus 跨境追踪(ReID)技术与Milvus的完美邂逅 强少~、

2.自我介绍 CV算法工程师, Milvus 用户 - 行为识别、人脸识别、目标检测、行 人重识别等 - AI模型训练与优化 - Docker环境部署模型 强少 © 2020 Zilliz. All rights reserved.

3.目录 • ReID技术基本概念和实现流程 • 利用Milvus实现ReID的相似性度量的流程 • 常用数据集与评价指标 • ReID技术应用与未来展望 © 2020 Zilliz. All rights reserved.

4.行人智能认知---人脸识别之后重要的研究方向 人脸检测&人脸识别 © 2020 Zilliz. All rights reserved.

5.行人智能认知---人脸识别之后重要的研究方向 行人检测 行人分割&背景替换 骨架关键点检测 © 2020 Zilliz. All rights reserved.

6.行人智能认知---人脸识别之后重要的研究方向 人体动作识别 © 2020 Zilliz. All rights reserved.

7.行人智能认知---人脸识别之后重要的研究方向 行人重识别(ReID) © 2020 Zilliz. All rights reserved.

8.ReID技术基本概念与实现流程 跨境追踪(Person Re-Identification,简称ReID)技术,又称为行人重识别,是计算机视觉方向的热点课题,可看 作是图像检索的子问题,主要解决跨摄像头、跨场景下的行人识别与检索。即给定一个待检索的行人图像,在跨设 备下检索该行人的图像。ReID技术可以弥补目前固定摄像头的视觉局限,并可与行人检测、行人跟踪技术相结合, 应用于视频监控、智能安防、智慧公安等领域。 © 2020 Zilliz. All rights reserved.

9.ReID技术基本概念与实现流程 行人重识别系统 1)从摄像头监控视频中获取原始图片; 2)将原始图片中的行人位置检测出来组成Gallery集; 3)利用深度学习技术将检测出来的行人图片处理成特征向量,再利用ReID技术与待检索的行人 图片的特征向量进行相似性度量。 © 2020 Zilliz. All rights reserved.

10.利用Milvus实现ReID的相似性度量的流程 Feature Extraction • 特征提取:学习能够应对在不同 摄像头下行人变化的特征 (CNN model) query gallery probe gallery vector vectors • 度量学习:将学习到的特征映射 到新的空间使相同的人更近,不 Milvus vector search 同的人更远 args.distance > threshold • 图像检索:根据图片特征之间的 Yes (ID) /No 距离进行排序,返回检索结果 Results © 2020 Zilliz. All rights reserved.

11.利用Milvus实现ReID的相似性度量的流程 为什么会选择Milvus作为相似性比对搜索引擎呢?? Milvus是一个开源的分布式向量搜索引擎。不但集成了业界成熟的向量相 似度搜索技术,更在此基础上对高性能计算框架进行了大幅度优化。 Feature Extraction Milvus具有如下优势: (CNN model) ➢ 高性能:Milvus为海量向量搜索场景而设计。不但集成了业界成熟的 query gallery Faiss和SPTAG,也实现了高效的NSG图索引。可以在单机环境下完成 probe gallery 十亿级向量搜索任务。 vector vectors ➢ 智能索引:针对不同应用场景,Milvus提供多种向量相似度计算方式和 Milvus vector 索引类型。 search args.distance > threshold ➢ 易于开发:Milvus为用户提供向量数据管理服务,以及集成的应用开发 SDK,相比直接调用Faiss等那样的程序库,Milvus的应用开发更方便。 Yes (ID) ➢ 计算成本可控:Milvus不仅提供传统的CPU计算方案,还能够有效降低 /No 大规模向量搜索所需的硬件规模,从而降低成本。 Results ➢ 应用场景广泛:Milvus不仅可以ing用在ReID中,像视频处理、声音识 别、自然语言处理等深度学习方向同样适用。 © 2020 Zilliz. All rights reserved.

12.常用数据集与评价指标 ReID技术难点 ReID在实际应用场景下的数据非常复杂,会受到许多因素的影响,这些因素中是 客观存在的,也是ReID要去解决的 无正脸照 姿态 配饰 遮挡 • 相机拍摄角度 • 行人更换服装饰配 更多因素 • 图片模糊不清楚 • 冬季夏季风格差异 • 室内室外环境变化 • 白天晚上光线差异 © 2020 Zilliz. All rights reserved.

13.常用数据集与评价指标 常用数据集 • 数据集通常是通过人工标注或者检测算法 得到的行人图片,目前与检测独立,注重识 别 • 数据集分为训练集、验证集、Query、 Gallery • 在训练集上进行模型的训练,得到模型后 对Query与Gallery中的图片提取特征计算相 似度,对于每个Query在Gallery中找出前N个 与其相似的图片 • 训练、测试中人物身份不重复(这一点非 常重要) © 2020 Zilliz. All rights reserved.

14.常用数据集与评价指标 常用数据集 Market1501 DukeMTMC-reID CUHK03 学术界研究中用于ReID算法训练以及评估的三个 主流公开数据集 拍摄地点 清华大学 Duke大学 香港中文大学 图片数量 32217 36441 13164 行人数量 1501 1812 1467 摄像头 6 8 10 ReID数据采集的特点: • 必须跨摄像头数据 • 同一个人多张全身照片 • 数据集规模小 • 互联网无法提供有效数据 • 影响因素复杂多样 • 大规模搜集涉及到隐私问题 • 连续视频截图 © 2020 Zilliz. All rights reserved.

15.常用数据集与评价指标 常用数据集 Market1501 DukeMTMC-reID CUHK03 © 2020 Zilliz. All rights reserved.

16. 常用数据集与评价指标 常用数据集 http://robustsystems.coe.neu.edu/sites/robustsystems.coe.neu.edu/files/systems/projectpages/reiddataset.html © 2020 Zilliz. All rights reserved.

17.常用数据集与评价指标 令人很期待的COCAS数据集 中科院开发了一个大规模的行人换装数据集COCAS,总共包含5266人的62382张行人图像,不过 遗憾的是还没有开源。下面是论文的地址,该文验证了通过服装模板进行换衣服的行人重识别 是可行的。 https://arxiv.org/abs/2005.07862 © 2020 Zilliz. All rights reserved.

18.常用数据集与评价指标 评价指标 Rank_k:命中率(Rank-k Accuracy)指的是算法返回的排序列表中,前k位为存在检索目标则称为rank-k命中 © 2020 Zilliz. All rights reserved.

19.常用数据集与评价指标 评价指标 CMC曲线:计算rank-k的命中率,形成rank-acc的曲线 © 2020 Zilliz. All rights reserved.

20.常用数据集与评价指标 评价指标 mAP:平均精度度(Mean Average Precision,mAP) mAP是更加全面衡量ReID算法效果的指标,它反映检索的人在底库中的所 有正确图片排在结果队列前面的程度,而不止首位命中。 © 2020 Zilliz. All rights reserved.

21.ReID技术应用与未来展望 技术应用——智能安防、智慧公安 已知嫌疑人图片 搜索历史监控视频获得更多嫌疑人图片 © 2020 Zilliz. All rights reserved.

22.ReID技术应用与未来展望 ReID技术应用——智能寻人系统 假如:小朋 友在与爸爸 妈妈走散了 大型公共场所 (例如迪斯尼乐园、大型超市、火车站、展览馆等) 警察可以根据爸爸妈妈提供的照片,应用ReID技术通过摄像头快速定位小朋友 的位置,即使摄像头拍摄不到小朋友正脸照片 © 2020 Zilliz. All rights reserved.

23.ReID技术应用与未来展望 ReID技术应用——无人超市 利用ReID技术实现在超市内用户的跟踪与行为分析 © 2020 Zilliz. All rights reserved.

24.ReID技术应用与未来展望 ReID技术应用——智能商场 4 1 2 3 技术点:用户行进与停留轨迹识别,智能理解用户需求(公共场合) © 2020 Zilliz. All rights reserved.

25.ReID技术应用与未来展望 ReID技术未来展望 • 基于视频的ReID • 跨模态的ReID • 跨场景的迁移学习 论文地址:https://arxiv.org/abs/1904.10424 代码地址:https://github.com/ShengcaiLiao/QAConv © 2020 Zilliz. All rights reserved.

26.Milvus Useful Links Live demo https://milvus.io/scenarios https://milvus.io https://github.com/milvus-io/milvus • Content-based image retrieval system (以图搜图) • Q&A chatbot powered by NLP (智能客服机器人) https://milvusio.slack.com • Molecular analysis (化合物分析) https://twitter.com/milvusio https://www.facebook.com/io.milvus.5 https://zhuanlan.zhihu.com/ai-search https://medium.com/@milvusio Follow our WeChat account © 2020 Zilliz. All rights reserved.

27.欢迎加入 Milvus 技术交流群 © 2020 Zilliz. All rights reserved.