9.3次元画像処理とAIによる医用画像処理

概要

CTやMRIでは,体の断面の画像(スライス画像)を連続して多数撮影する.このスライス画像を積み重ねたものが3次元画像である.3次元画像を構成する1つ1つの要素は,縦と横の大きさ(画素の大きさ)と高さ(スライスの間隔)をもつ小さな直方体であり,ボクセル(voxel,体積素)と呼ぶ.現在のCTでは,0.5~1 mm程度の薄いスライスで撮影し,縦,横,高さがほぼ等しいボクセルで3次元画像を作ることが多い.

3次元画像の表示方法は,大きく分けて,断面を切り出す方法と投影する方法の2つがある.

断面を切り出す方法には,冠状断や矢状断,斜めの断面など,任意の断面を切り出す多断面再構成法(Multi-Planar Reconstruction:MPR)と,血管などに沿った曲面で切り出して1枚の画像に広げる曲面再構成法(Curved Planar Reconstruction:CPR)がある.

投影する方法では,図1のように,視点から3次元画像に向かって光線(投影線)を送り,光線上にあるボクセルの値から投影面の画素値を決める.

図1
図1 医用画像における光線追跡

光線上のボクセルの値をどのように使うかによって,次のような方法がある.

・最大値投影法(Maximum Intensity Projection:MIP):光線上で最も大きい値を用いる.造影された血管や骨など,CT値の高い構造が見やすくなる.

・最小値投影法(Minimum Intensity Projection:MinIP):光線上で最も小さい値を用いる.気管や気管支など,空気を含む構造が見やすくなる.

・平均値投影法:光線上の値の平均を用いる.X線写真に似た画像になる.

・サーフェイスレンダリング:光線が最初に当たった物体の表面だけを表示する.

・ボリュームレンダリング(Volume Rendering:VR):各ボクセルにCT値に応じた不透明度と色を設定し,光線上で重ね合わせる.不透明度の設定を変えることで,骨だけ,血管だけのように,見たい構造を選んで立体的に表示できる.

臨床では,診療放射線技師がワークステーションを使って,これらの画像を作成している.また,骨を取り除いて血管だけを表示する処理や,臓器の抽出には,AIも使われ始めている(後半の「AIによる医用画像処理」を参照).

演習9-1:CT画像から3次元画像を作り,MPR像を観察してみよう!

使用する画像

胸部CT画像(DICOM形式,512×512画素×133枚,演習2-3の悪性結節と同じ症例)

*ダウンロードしたzipファイルは,展開してから使う.

方法

1.スライス画像を積み重ねて3次元画像を作る.

*スライスは頭側から順に並ぶ.画像の下のスライダーで表示するスライスを切り替えられる.

*作成した3次元画像は,「File」→「Save As」→「Tiff」で「CT_axial.tif」という名前で保存しておく(演習9-2,9-4で使う).

2.ボクセルの大きさを確認する.

3.ウィンドウ処理を行う.

4.補間を行わずに冠状断像を作る.

5.補間を行って冠状断像を作る.

*ここで作った冠状断像は,「File」→「Save As」→「Tiff」で「CT_coronal.tif」という名前で保存しておく(演習9-2で使う).

6.矢状断像と任意の断面の像を作る.

*「Image」→「Stacks」→「Orthogonal Views」を選択すると,3方向の断面を同時に観察できる.

考察

・手順4と手順5の冠状断像を比べ,なぜ補間が必要なのか,また現在のCTが0.5~1 mm程度の薄いスライスで撮影する理由を,ボクセルの大きさと関連づけて説明しよう.

・演習2-3で横断像を見た悪性結節を,MPR像でも観察してみよう.横断像だけではわからないことを挙げ,MPR法の有用性について考えてみよう.

演習9-2:冠状断の方向に投影像を作ってみよう!

使用する画像

演習9-1で保存した2つの画像(手順1~3:CT_coronal.tif,手順4:CT_axial.tif)

方法

1.平均値投影像を作成する.

2.最大値投影像(MIP)を作成する.

*冠状断像1枚の厚さは,「Reslice」の「Output spacing」の値(初期設定では2.5 mm)である.枚数×2.5 mmが投影する厚さになる.

3.最小値投影像(MinIP)を作成する.

*作成した投影像は,それぞれ「Window/Level」で肺野条件(WL −600,WW 1500)にしてから比べる.

4.ボリュームレンダリングを行う.

*左上のメニューを「Max Projection」にするとMIP,「Projection」にすると平均値投影の像が表示される.ボリュームレンダリングと比べてみよう.

考察

・平均値投影像を演習1-1の胸部X線画像と比べてみよう.似ている点と異なる点を挙げ,その理由をX線画像ができる仕組みと関連づけて説明しよう.

・MIPで,すべてのスライスを投影した場合と投影する範囲を限った場合を比べ,範囲を限ると何が見やすくなるかを,投影線上の画素値と関連づけて説明しよう.

・ボリュームレンダリングで不透明度の設定を変えると,表示される構造はどのように変わったか.CT値と関連づけて説明しよう.

AIによる医用画像処理

近年,深層学習(ディープラーニング)を用いたAIが,医用画像処理に広く利用されている.深層学習でよく用いられる畳み込みニューラルネットワーク(CNN)は,第4回で扱ったたたみ込み演算を何層にも重ねたものである.第4回ではカーネルの値を自分で決めたが,CNNでは大量の画像からカーネルの値を自動的に学習する.

AIの代表的な応用の一つに,臓器や病変の領域を画像から自動的に切り出す領域抽出(セグメンテーション)がある.第7回で扱ったしきい値処理は画素値だけで領域を決めるが,深層学習では画素値に加えて臓器の形や位置関係も学習するため,画素値の近い臓器どうしも区別することができる.領域抽出は,放射線治療計画での臓器の輪郭作成や,臓器の体積の計測などに用いられている.

この演習では,CT画像から100種類以上の構造を自動抽出できる公開のソフトウェアTotalSegmentatorを,Google Colaboratory(ブラウザ上でプログラムを実行できるサービス)で動かす.

*TotalSegmentatorは研究用のソフトウェアであり,医療機器ではない.

演習9-3:AIで臓器を自動抽出してみよう!

使用する画像

演習9-1と同じ胸部CT画像(ノートブックが自動で読み込む)

*大学のGoogleアカウントを使用する.

方法

1.Google Colaboratoryでノートブックを開く.

*GitHubのアカウントは不要である.

2.GPUを使う設定にする.

3.臓器を自動抽出する.

*「このノートブックはGoogleが作成したものではありません」と表示されたら,「このまま実行」を押す.

4.抽出結果を観察する.

5.抽出結果を保存する.

考察

・うまく抽出された臓器と,抽出がうまくいかなかった部分(境界のずれ,抽出漏れなど)を,横断像と冠状断像で確かめてまとめよう.

演習9-4:AIとしきい値処理で肺の領域を比べてみよう!

使用する画像

演習9-1で保存したCT_axial.tif,演習9-3で保存したAI_lung.tif(AIが抽出した肺の領域)

方法

1.しきい値処理で肺の領域を抽出する.

*第7回とは逆の設定である.この設定と,後の「Black background (of binary masks)」の両方にチェックを入れておかないと,「Fill Holes」で体の領域が黒く塗りつぶされるスライスができる.

*しきい値処理だけでは,肺と同じくCT値の低い体の外の空気も抽出される.

2.AIの抽出結果を開く.

3.2つの抽出結果を比べる.

*すべてのスライスを処理するか聞かれたら「Yes」を押す.

*結果の画像を「Volume Viewer」(演習9-2)で表示すると,違いを3次元で観察できる.

4.肺の体積を求める.

考察

・XORの結果で,しきい値処理だけが抽出した領域と,AIだけが抽出した領域はどこか.それぞれなぜそうなったかを,CT値と臓器の形や位置に関連づけて説明しよう.

・2つの方法で求めた肺の体積を比べ,差が生じた原因を考えよう.

[演習9-1~9-4で使用した画像とソフトウェアの出典]
The Lung Image Database Consortium(LIDC)and Image Database Resource Initiative(IDRI)のデータ(症例 LIDC-IDRI-0265)を使用した.ライセンス:CC BY 3.0.
・Armato SG III, et al. Data From LIDC-IDRI [Data set]. The Cancer Imaging Archive, 2015. https://doi.org/10.7937/K9/TCIA.2015.LO9QL9SX
・Armato SG III, et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A completed reference database of lung nodules on CT scans. Medical Physics, 38(2): 915-931, 2011.
・Clark K, et al. The Cancer Imaging Archive (TCIA): Maintaining and Operating a Public Information Repository. Journal of Digital Imaging, 26(6): 1045-1057, 2013.
・Wasserthal J, et al. TotalSegmentator: Robust Segmentation of 104 Anatomic Structures in CT Images. Radiology: Artificial Intelligence, 5(5): e230024, 2023. https://github.com/wasserth/TotalSegmentator