MedicalNet 3D医疗影像专用预训练模型实践与应用

  • 医疗影像AI概述
  • MedicalNet与医疗影像AI发展的关系
  • MedicalNet技术实现
展开查看详情

1.云+社区技术沙龙

2.MedicalNet:3D医疗影像专用预 训练模型实践与应用 Whale Chen(陈思宏) 腾讯高级研究员

3.SPEAKER Whale Chen(陈思宏) 腾讯视觉算法高级研究员 14年起着手医疗影像AI相关工作,在miccai、tmi等医疗图像顶级 会议期刊发表过论文。主要致力于深度学习在医疗视频影像和3D 影像的研发与应用。

4.CONTENTS 01 医疗影像AI概述 02 MedicalNet与医疗影像AI发展的关系 03 MedicalNet技术实现

5.什么是医疗影像AI • 市场需求——医疗资源不足 患者:看病一分钟,排队10小时 医生:每天工作十几个小时以上,好累 看病真难!

6.什么是医疗影像AI • 市场需求——医疗资源分布不均 三级/二级医院 基层医院 资深医师 就医人群 资深医师 就医人群

7.什么是医疗影像AI • AI的作用 设备 AI助手 资深医师 AI助手 人群基础筛查 提升诊断质量

8.什么是医疗影像AI • 深度学习在医疗影像的应用 医疗影像数据库 AI网络 医生诊断信息 患者医疗影像 患处诊断结果

9.CONTENTS 01 医疗影像AI概述 02 MedicalNet与医疗影像AI发展的关系 03 MedicalNet的技术实现

10.数据驱动下的深度学习 2009 2014 2016 2017 … ImageNet MSCOCO Kinetics YouTube-8M … 二维自然图像 二维自然图像 自然图像场景视频 自然图像场景视频 千万数据量级 十万级数据 十万级数据 百万级数据 万类分类标注 分类、检测、分割标注 百类视频场景分类标注 千类视频场景分类标注

11.自然图像与医学影像的差别 自然图像数据 视频数据 V.S. 医疗影像数据

12.医疗影像数据量不足 2009 2014 2016 2017 … ImageNet MSCOCO Kinetics YouTube-8M … 二维自然图像 二维自然图像 自然图像场景视频 自然图像场景视频 千万数据量级 十万级数据 十万级数据 百万级数据 万类分类标注 分类、检测、分割标注 百类视频场景分类标注 千类视频场景分类标注 … CAUSE07 SegTHOR Visceral Chaos … 3DMRI数据 3DCT数据 3DCT/MRI数据 3DCT/MRI数据 百位级数据 前列腺分割标注 十位级数据 分割标注 十位级数据 分割标注 十位级数据 分割标注 数据量不足

13. 什么是MedicalNet? 区域 模态 数量 开源预训练模型与代码 肝区 CT 544 脑区 MRI 759 前列腺 MRI 32 心区 CT; MRI 140 胰脏区 CT 281 脾区 CT 131 脊柱区 CT 100 管道区 CT 78 肾区 CT; MRI 90 半月板损伤 胃区 CT 30 其他 CT; 3DUS 118 合计:23数据集,2400数据 收集数据集 训练层数不同的预训练模型 新应用迁移学习

14.CONTENTS 01 医疗影像AI概述 02 MedicalNet与医疗影像AI发展的关系 03 MedicalNet的技术实现

15.技术难点 像素含义不一,范围差异大 同一组织分辨率不一致 伪影频繁,成像质量低 不同源数据,标注缺失 不同组织尺度差异大 边界模糊,对比度低

16.数据集筛选方案

17.联合训练方案

18.结果

19. 结果 迁移性能 初始Loss 收敛时间 100 11 10.8 95 95 5 10 91 90.9 90 89.6 89.7 9 90 4.5 4.22 预测正确性 86.6 8 85 4 3.96 7 81.4 79.6 80 78.4 3.5 6 5.6 75 3 2.95 5 72.8 4 3.5 70 2.5 3 66 65 2 2 肺部分割 肺结节分类 肝脏分割 膝盖疾病分类 初始loss 收敛时间 MedicalNet Kinetics 从零训练 Chen S, Ma K, Zheng Y. Med3D: Transfer Learning for 3D Medical Image Analysis[J]. arXiv preprint arXiv:1904.00625, 2019.

20. T HANKS MedicalNet 关注云加社区公众号