近期，国际著名的医学图像处理领域会议Miccai(Medical Image Computing and Computer-Assisted Intervention)上发表了莫纳什大学戈宗元教授团队与Airdoc人工智能团队合作的题为：“Retinal Abnormalities Recognition Using Regional Multitask Learning”的研究论文。莫纳什大学是澳大利亚规模最大的国立大学之一，其药剂与药理学专业位列全球第二位，仅次于哈佛大学。
研究团队提出了一种基于深度学习的新方法，使用一个区域特定的多任务识别模型，通过三个子网络学习视网膜不同区域的疾病。这三个子网络通过训练，分别识别影响视盘、黄斑和整个视网膜的疾病。以往基于深度学习自动筛查的研究主要集中在特定类型的视网膜疾病，但患者通常会同时患有多种视网膜病变，单一的解决方案在临床应用上就显得有些力不从心，而此次研究成果可通过一个模型识别出36种不同的视网膜疾病，并且能够同时识别视网膜上的多种疾病，大大提升了人工智能识别视网膜疾病的可应用性。
患有视网膜疾病的人数随着人口老龄化和电子屏幕的普及而增加，许多视网膜疾病，例如年龄相关性黄斑变性(AMD)和糖尿病性视网膜病变(DR),会造成不可逆的严重健康问题。与此同时，在三四线城市中，能够检查和医治视网膜疾病的医生凤毛麟角，医疗资源紧张，不少人因此错失了治疗的最佳时机。本次研究成果可以不依赖医生，直接使用人工智能算法识别，在确保同样识别率的前提下，极大程度的提高了效率，同时也能帮助医疗资源紧缺的区域提高医疗质量。
△ 多标签分类网络
研究团队以多任务的方式设计网络，框架包括两个阶段：
第一阶段包括一个联合检测网络，用于检测视盘和黄斑区。
第二阶段由一个语义多任务网络组成，每个任务通过特定区域相关疾病标注数据的训练，同时输出整个眼底、视盘和黄斑的疾病类别。
为了评估提出方法的性能，研究团队收集了36种在筛查过程中常见的视网膜疾病，包括影响整个视网膜的疾病(如糖尿病性视网膜病变等)、 影响黄斑区域的疾病(如年龄相关性黄斑病变等)及影响视盘区域的疾病(如青光眼等)。总共收集了36个类别的200817幅图像，其中17385幅图像包含多个标签，每幅图像有三名有经验的眼科医师标注，当且仅当不少于两位眼科医师同意的情况下，才能保留对应视网膜图像的标签。
在这项工作中，数据集被分为训练集(80%)、验证集(10%)和测试集(10%)。在所有这些图像中，183432个图像具有单个标签，16849个图像具有两个标签，536个图像具有三个标签。
△ 辅助检测框图示
团队研究的方法包括两部分：
（1） 黄斑和视盘区联合检测;
（2） 用于视网膜疾病语义分类的多任务学习。
首先训练一个基于YoloV3的联合检测模型来定位视盘和黄斑区域。将检测到的视盘和黄斑区域图像以及整个眼底图像分别调整为300×300、600×600、800×800，然后输入多标签疾病分类网络。
分类网络利用语义特征融合的思想对区域性疾病进行分类。为了更好地理解所提出的模型，团队还为每个流绘制了与每个任务相关的类激活图(CAM)。
△ 分类激活图(CAM)
此次研究成功展示了多任务学习方法识别整个视网膜、黄斑和视盘疾病的有效性，而不是单任务分类，更适用于复杂的实际临床应用场景，高效、便捷、使用局限性小，可以帮助更多患者实现早发现，早干预，延缓基础慢病的进展，å的发生率。