阅读新闻

腾讯开源首个医疗AI项目业内首个3D医疗影像大数据预训练模型

发布日期:2019-08-23 05:19   来源:未知   阅读:

  旗下顶级AI实验室腾讯优图,对外开源了腾讯首个医疗AI项目——深度学习预训练模型MedicalNet。

  这一项目,专为3D医疗影像在深度学习上的应用开发,也是业内首个同方向上的预训练模型。

  腾讯优图说,MedicalNet能够加快模型收敛,减轻模型对数据量的依赖,帮助3D医疗影像AI应用“打地基”。

  而且,专有领域专有模型,MedicalNet相当于为各个3D医疗影像应用准备了具备临床通用知识的数据库。

  即使在小数据量中,这一数据库的有效特征也能帮助落地应用取得较好的医疗检测性能。

  自然图像领域中存在着许多海量数据集,如ImageNet,MSCOCO。基于这些数据集产生的预训练模型推动了分类、检测、分割等应用的进步。

  与自然图像不同的是,医疗影像大部分都是3D结构形态的,同时,由于数据获取和标注难度大,数据量稀少,此前并没有海量数据集及对应的预训练模型开源。

  腾讯优图表示,这正是其开源MedicalNet的原因所在。目前,MedicalNet具备5大特性:

  1、预训练网络可迁移到任何3D医疗影像的AI应用中,包括但不限于分割、检测、分类等任务;

  5、提供不同深度3D ResNet预训练模型,可供不同数据量级应用使用。

  MedicalNet聚集了来自多个不同3D医疗领域的语义分割小规模数据集,并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。

  这一预训练的适用性也很强,可以迁移到任何3D医疗影像应用的深度学习模型中。整个系统的工作流程如下图所示:

  为了衡量模型效果,他们将MedicalNet模型迁移到预训练时未接触过的Visceral和LIDC数据集中。

  并用它来完成全新的肺部分割和肺结节分类任务,并与目前常用的从零训练(train from scratch)以及Kinetics视频3D预训练模型在性能以及收敛速度上做了比较。

  在收敛速度上,无论是在肺分割任务还是肺结节分类任务上,MedicalNet都能为模型提供一个较低的初始化损失值,明显加快损失下降速度。

  下图是MedicalNet性能的一个简单示例,展示了在全器官分割应用中,不同预训练方式在一定训练迭代次数下的测试结果。

  比如今年6月,全球胸部多器官分割大赛上,腾讯优图与厦门大学王连生老师实验室联手,刷新3项全球新纪录。在此此前,挂牌玄机彩图有五六百位诗人穿越浙东,双方也在肝分割、肝肿瘤分割两项技术挑战赛中斩获世界第一。

  腾讯优图表示,其医疗AI已经具备进行上亿规模的模型训练及合作接入的能力。

  近年来,这些医疗AI技术正在通过腾讯旗下首个医疗影像产品“腾讯觅影”持续对外输出,目前已支持宫颈癌、肺癌、糖尿病视网膜病变等癌症筛查,并在国内100多家顶尖三甲医院进行落地。

  腾讯优图表示,后续将继续开源更多医疗AI领域的模型,这也是腾讯一直在做的事情。

  截至2019年8月,腾讯已在Github上发布81个开源项目,覆盖AI、云计算、安全等领域,累计获得了超过23万标星。