雷锋网消息，近日，由卡内基梅隆大学机器学习系副主任邢波教授创立的Petuum公司近期发表了几篇论文，介绍了如何使用机器学习自动生成医学影像报告，从而更好地辅助医生做治疗与诊断。
医学影像在临床实践中被广泛应用于诊断和治疗。专业医师阅读医学影响并撰写文字报告来描述自己的发现。对于没有经验的医生来说，撰写报告很可能会出错，对于人口众多的国家的医生来说，这样的工作又耗时又枯燥。为了解决这些问题，邢波教授的团队研究了医学影像报告的自动生成，作为人类医生更准确高效地生成报告的辅助工具。
为了应对这些挑战，邢波的团队建立了一个多任务学习框架，共同执行标签的预测和段落的生成；提出一个共同注意机制（co-attentionmechanism），将包含异常的区域标注出来；利用一个层次LSTM模型来产生长的段落。
医生不愿撰写“医学影像报告”
放射学和病理学的医医院和诊所，例如肺炎、气胸、间质性肺病、心力衰竭、骨折等等。他们通过撰写文字报告（图1）来描述在影像学检查中所检查的每个身体部位的发现，特别是每个部位是否被发现是正常的，异常的或潜在的异常。
图1.一个包含三部分信息的胸部X光报告示例。在impression部分，放射专家结合Findings、病人临床历史及影像学研究的指导做出诊断。Findings部分列出了影像学检查中所检测的身体各部分放射学观察结果。Tags部分给出了表示Findings核心信息的关键词。这些关键词使用医学文本索引器（MTI）进行标识。
对于经验较少的放射科医师和病理科医师，特别是那些在医疗保健条件落后的医生，写医学影像报告是一件困难的事情。要正确读取胸部X线图像，他们需要以下的几项技能：
对胸部正常解剖结构和胸部疾病的基本生理学的全面了解通过固定模式分析射线照片的技能评估随时间变化的能力临床表现和病史知识与其他诊断结果（实验室结果、心电图、呼吸功能检查）相关的知识
但是，对于有经验的放射科医师和病理学家来说，撰写影像报告又过于繁琐和费时。在中国这样人口众多的国家里，放射科医生每天可能需要阅读数百张放射图像。将每幅图像的分析结果输入计算机大约需要5-10分钟，这占用了他们大部分的工作时间。
邢波的团队认为，自动生成医学影像报告是一件有意义而且有必要的事情，但同时，这项任务也面临几个挑战。
首先，一份完整的诊断报告由多种不同信息形式的内部报告组成，如图1所示，胸部X射线的报告包含Impression描述，通常是一句话；Findings是一段描述；Tags是一列关键词。用一个统一的框架生成这样的不同信息，对技术提出的要求很高。我们通过构建一个多任务框架来解决这个问题，该框架将标签的预测作为一个多标签分类任务来处理，并将长描述（例如生成Impression和Findings）的生成视为文本生成任务。在这个框架中，两个任务共享相同的用于学习视觉特征的CNN并且共同执行。
其次，一个影像报告通常更多地集中于描述异常的结果，因为它们能直接指出疾病并指导治疗。但如何定位图片中的病变区域并附上正确的描述非常困难。我们通过引入共同注意机制（co-attentionmechanism）来解决这个问题，同时参与图像和预测到的标签，并探讨视觉和语义信息的协同效应。
最后，成像报告中的描述通常很长，包含多个句子甚至多个段落。生成长文本是非常重要的，我们没有采用单层LSTM（这种LSTM不能模拟长序列），而是利用报告的组成性质，采用分层LSTM来生成长文本。结合共同注意机制，层次型LSTM首先生成高级主题，然后根据主题生成详细的描述。
数据集方面，研究人员使用的是印第安纳大学胸部X射线组（IUX射线），这是一组与相应的诊断报告对应的胸部X射线图像集。该数据集包含对图像和报告。每个报告包括以下部分：impression,findings,tags,