感谢阅读腾讯AI Lab微信号第50篇文章，我们将分享今日在南京「腾讯全球合作伙伴大会」上介绍的「智能显微镜」研究项目。

腾讯 AI Lab 今日在南京举办的「腾讯全球合作伙伴大会」上宣布，其AI+医疗领域研究已抢先从影像筛查进入病理分析阶段，相关的「智能显微镜」项目已在研发测试阶段。

智能显微镜融入了人工智能（AI）的视觉、语音、自然语言处理技术，及增强现实（AR）技术，医生轻松输入语音指令，AI就能自动识别、检测、定量计算和生成报告，并将检测结果实时显示到医生所看目镜中，及时提醒又不打断医生阅片流程，能提高医生的诊断效率和准确度。

一般诊断流程包括医疗影像筛查、病理分析、规划治疗和术后康复与追踪等四大环节。腾讯的目标，是打造一个能覆盖诊疗全流程的AI产品。在医疗影像筛查上，「腾讯觅影」已取得可喜进展，目前上线全国100余家三甲医院，辅助医生阅读影像超1亿张，服务超百万患者，提示高风险病变15万例。现在进入病理分析阶段，为公司打造全栈式AI+医疗解决方案提供了坚实基础。

以下介绍了病理AI技术、「智能显微镜」研究项目背景，及「腾讯觅影」在医疗影像方面的可喜进展，由腾讯AI Lab AI+医疗专家姚建华博士与AI+病理专家韩骁博士分享。因篇幅需要，全文有删节。

病理AI分析与智能显微镜

常见病理诊断工具简介

医生病理诊断的主要方式是观察切片，将其放大40到400倍后，观察细胞形态和组织结构作出诊断。病理显微镜和数字病理扫描仪是医生最常用的工具。

显微镜有三百多年历史，医生能熟练使用，价格也较低。但其局限性有：一是视野小，医生从目镜中每次只能看到切片上很小的局部，要切换多个视野，并将其关联才能得到整体诊断；二是图像没有数字化，不能用AI算法读取。

智能显微镜及测试功能简介

智能显微镜突破了传统显微镜的局限，以前是被动使用，现在转为主动辅助医师，如通过计算机视觉去帮助医生，从简单但繁琐的细胞计量，到困难且复杂的癌症类型辨识及区域精准划分。同时利用语音识别让医生与智能显微镜进行流畅人机交互。最后通过自然语言处理技术协助最后的病理报告生成。

读片时，医生只需给出语音指令，AI就能自动阅片、自动采集图像，并辅助医生诊断；医生阅片完成后，给出「生成报告」指令，智能显微镜就能将显微镜截图和诊断结果填入报告模板，自动生成报告，让医生复核结果和发布报告，使原本最费事的报告生成环节变得又快又省心。

智能显微镜技术模块介绍

病理AI分析是未来的研究发展方向

病理分析是诊断、预后分析和指导癌症治疗的黄金标准。在中国，2017年需约12万名病理医生，但经过训练的病理医生只有不到2万名，这个差距还在逐年增大，因而病理科医生人员配备紧缺，任务繁重。将病理切片数字化，并用AI算法辅助分析，有助于缓解病理医生不足的状况，是AI+医疗的未来趋势。此外，基础病理AI的研究更能在三方面推进病理AI的能力——

1、基于AI的病理诊断模型：可提高诊断效率，提高微小病变和疑难病例识别能力；

2、基于AI的病理预后预测模型：如预测五年总生存率、五年无疾病生存率和五年无远处转移生存率；

3、病理组学：从病理数据中提取特征，定量化分析及挖掘病理特征和诊疗的关联性。

第一种让医生「如虎添翼」，做得更快更好，后两种让医生「冲云破雾」，突破原有难关。

演示一：有丝分裂细胞检测

有丝分裂细胞计数测量癌细胞的活跃度，是癌症诊断分级的重要指标。

在传统显微镜下，这是非常繁琐的过程——医生要在高倍镜下观察10个不同区域，准确识别出有丝分裂细胞，然后统计其个数。在智能显微镜下，医生移动到目标区域时，只需给出「有丝分裂」这个简单的语音指令，AI算法能自动识别、检测和统计该区域结果，马上显示到医生所看的目镜视野中。一个区域完成后，医生可移动到新视野，重复语音指令预问诊系统，AI会更新结果。

演示二：免疫组化定量分析——以Ki-67染色切片为例

免疫组化是应用抗原-抗体结合的原理，在病理切片上通过特殊染色来测量组织中特定蛋白的表现，能在分子或基因层面提供更精准的癌症诊断。

以Ki-67染色切片为例，它能帮助判断癌症细胞的增殖指数。在传统显微镜下，病理医生需数出染成棕色（阳性）的癌细胞个数及癌细胞在切片上的占比。而在智能显微镜下，医生只需给出「Ki-67」这一语音指令，AI就自动完成细胞计数和占比计算。

演示三：癌症区域监测——以淋巴结切片为例

淋巴结是癌症扩散或转移常见的途径。医生可检查癌症区域附近的淋巴结情况，来确认癌症分期（TNM分期），再决定之后的治疗方案。

在传统显微镜下，使用低倍镜时，医生容易漏掉小的癌症区域，而使用高倍镜则非常耗时。在智能显微镜下，医生只需给出「区域检测」语音指令，AI会识别可疑癌症区域，精确估计该区域大小，实时将结果显示到医生所看的目镜视野中，避免遗漏。

演示四：辅助诊断流程——以息肉分类为例

智能显微镜还能辅助医生完成一个整体诊断流程，并自动生成诊断报告。

在结直肠镜筛查时，发现息肉一般要切下来做病理诊断，确定其良恶性和具体病变类别（腺瘤、腺癌等）。若是良性只需随访，恶性需及时做手术。

使用人工诊断筛查时，有经验和年轻的医生间可能会结果差异较大，诊断结果主观性强。而经过大量专家数据训练的AI，可提高诊断一致性。在智能显微镜下，医生只需给出「息肉分类」语音指令预问诊系统，AI就能自动阅片、自动采集图像，并辅助医生诊断。医生阅片完成后，给出「生成报告」指令，AI自动生成报告，供医生复核结果和发布报告。

「腾讯觅影」与医疗影像筛查案例

一般诊断流程包括医疗影像筛查、病理分析、规划治疗和术后康复与追踪等四大环节。在「医学影像筛查」领域，腾讯的AI医学解决方案专家——「腾讯觅影」，取得了良好进展。它利用AI医学影像分析辅助医生筛查食管癌、肺结节、糖尿病视网膜病变、结直肠肿瘤、乳腺癌、宫颈癌等疾病，以及利用AI辅诊引擎辅助医生对700多种疾病风险进行识别和预测。

腾讯医疗AI产品落地情况

腾讯觅影已与国内100多家顶级三甲医院达成合作，通过共建人工智能联合医学实验室的形式，推进AI在医疗领域的研究和应用。截至2018年10月，它已上线全国100余家三甲医院，累计辅助医生阅读医学影像超1亿张，服务超百万患者，提示高风险病变15万例。同时，在辅助医生进行病例分析方面，就单家医院来看，已辅助医生累计分析门诊病例700万份，提示高风险17万次，有效辅助临床医生提升诊断准确率和效率。

AI预问诊辅助诊断系统

这个系统先利用医学书籍文献和过往病历创建医学知识图谱，建造知识推理模型和深度学习模型，把患者病史和病情与知识图谱连接起来，得出可能疾病判断，并给出结构化诊断报告和推荐治疗方案。目前预问诊辅助诊断系统已经可以覆盖大约700种常见病（种疾病），这个辅诊系统根据病情病史的输入，给出患某种疾病的可能性。现有系统的准确率可以达到Top3病种 93%，Top5病种可达96%。

医学影像案例 - 结直肠癌检测筛查

结直肠癌是5大恶性肿瘤之一，每年新发病例超过120万，而且发病率逐年升高。和大多数癌症一样，早期诊断治疗很关键，据统计早期结直肠癌的术后5年生存率可达90%，局部进展期也可达70%，但到了晚期就不足10%。因此世界卫生组织建议50岁以后人群每5年做一次筛查。结直肠癌的主要检查方式是消化道内窥镜。

结直肠癌筛查

腾讯AI Lab的算法基于深度学习，将图像分割成小块，在每块上计算息肉的可能性，然后综合起来定位息肉。另外还训练分类器来区分腺癌和腺瘤。AI算法可以实现在医生检查过程中的实时视频流诊断。临床使用中，当医生在使用内窥镜的时候，AI算法在后台实时检测息肉，并提醒医生注意。技术特点是实时出结果，需速度快，对算法要求高。其中息肉定位的准确率可达96.93%、区分腺癌97.2%。

结直肠癌筛查算法

医学影像案例 - 乳腺癌早期筛查

乳腺癌是女性最常见的恶性肿瘤，其发病率逐年上升，这种趋势在中国更为严重。2012年我国乳腺癌的发病率仅占全球的11.2%，到了2030年将增加到29.8%。乳腺癌检测的一个主要方式是乳腺钼靶。这是一种利用X光的检测方式，简便而且对患者无创。因为是X光投影，组织相互重叠，在钼靶上区分正常腺体和疑似病灶需要丰富的经验。

腾讯AI Lab的算法框架是：一个多视窗的深度学习网络，将左右乳腺的CC和MLO投影同时输入网络。训练了三个不同的模型来分别做肿块检测，钙化检测和良恶性判断。还设计了难例挖掘和算法迭代流程以提高性能。医生检查算法结果并反馈给模型进行进一步优化。在最新产品里，在每张0.2个假阳下，检测钙化的敏感度是99%，恶性肿块敏感度90%，良恶性敏感度和特异度分别是87%和96%，已达到或超过普通医生的水平。

乳腺癌早期筛查算法