背景
近年発展の目覚ましい人工知能（AI）はCTをはじめとする3次元画像診断への応用が進んでおり、様々な画像診断支援システムが提案されてきた。しかし、こうしたシステムを構築するためには大規模な学習データセットが必要であり、データセット作成が開発におけるボトルネックとなっている。一方で、画像診断医がCT画像を診断する際に作成する読影レポートには画像に写る様々な異常の解剖学的位置やその診断結果が記録されている。図1のように「レポート中の記述」と「画像領域」を対応付けることができれば、大規模な学習データセットを自動で作成できる可能性がある。しかしながら、CT画像診断ではレポートに記録されている異常の種類が非常に多い。さらに、1つの文に複数の異常について説明が書かれていることもある。そのため、レポート中の記述と画像領域を対応付けるためには、様々な種類の異常を検出し、長く複雑な文章を紐解く必要があり、現在に至るまで解かれていない。
アプローチ
今回紹介する論文[1]では、1) 解剖学的構造のセグメンテーション、2) レポート構造化、3）レポートに記載の異常位置の特定という3つのタスクに分割してレポート中の記述と画像領域の関係を推定するgrounding（紐づけ）モデルを提案している（図2）。1）解剖学的構造のセグメンテーションでは、肺や肝臓など全身の32の臓器と組織を抽出し、紐づけモデルが解剖学的構造を理解できるようにする。2）レポート構造化では、事前学習されたBERTを用いて各異常に関連する記述をレポートから特定する（図3）。3）異常位置の特定では、1）と2）の情報を用いてレポート中の記述と画像中の位置を対応させる。レポートに記載された全身の多様な病変について本手法の検証を行い、前立腺腫瘍・甲状腺腫瘍や腎腫大・胆嚢腫大、膵管・門脈拡張など多くの所見で画像中の位置を正しく特定できることが分かった（図4、5）。
まとめ
本論文では、CT画像とレポートを自動で対応付ける手法を提案した。一部臓器の腫瘤や臓器の腫大所見、脈管の拡張所見等についてはAIの正解データ作成への利用に足る性能が得られている。こうした技術を活用することで、病院に眠る大量のデータの2次活用が促進され、画像診断支援システムをより容易に開発できるようになることが期待される。
[1] Ichinose, A. et al. (2023). Visual Grounding of Whole Radiology Reports for 3D CT Images. In: Greenspan, H., et al. Medical Image Computing and Computer Assisted Intervention – MICCAI 2023. MICCAI 2023. Lecture Notes in Computer Science, vol 14224. Springer, Cham.
DOI: https://doi.org/10.1007/978-3-031-43904-9_59
ご注意：
本ページに記載された技術情報・論文内容は、弊社製品搭載技術とは異なる場合があります。
全ての技術は、必要な法規制認可を得た上で製品搭載を予定します。
製品搭載時の仕様および外観は本Webサイトの内容とは異なります。