３．LROCとFROC

【ROC解析の問題点】
　今日では，さまざまな放射線医用画像の領域で用いられるようになったROC解析だが，ROC解析が提案された当初から言われ続けている問題点が潜在してる．そのひとつに，病変のあるなしを判定しているにかかわらず，観察者はその位置を示さなくても良い，ということが挙げられる．つまり，もし観察者が間違って同じ画像の中の違う場所を病変と思って"病変がある"と回答した場合でも，それは正しい反応（True Positive Response）であったと見なされてしまう．また，一つの試料に信号（病変）は一つと限定されていることも問題点のひとつである．そのため，複数の信号が存在することが多い臨床例に適用することは難しい．実際には，前者のケースは，試料の数を増やすことによって影響が小さくなる．また，後者は，ROC実験を行うときに観察者に実験試料の性質（特異性）について十分な説明を行うことでバイアスを減らすことができる．しかしながら，より実際の臨床に近い状況（設定）での評価が求められるようになってきた最近では，そういったROC解析が抱える問題点を無視してばかりもいられなくなってきた．そこで，それらのROC解析の問題点を補うという意味で，LROC（ROC-type curve for task of detection and localization）[1]とFROC（free-response receiver operating characteristic）[2-4]という２つの解析法が以前よりも頻繁に話題に上がるようになってきた．

　LROCはROC解析を開発したのと同じシカゴ大学のグループによって開発された解析法で，理論的背景はROC解析とほぼ同じと考えられている．しかし，FROC解析は名前は似ているものの，ROC解析とはだいぶ内容が異なっており，理論的背景や表示法がROC解析とは異なる．ここで注意することは，どちらの解析法も，ROC解析と同じくらい古くからあるのに，ROC解析ほど普及していない，ということだ．その理由は，このどちらの解析法もROC解析のように，ROC曲線のカーブフィッティングを行うための統計的推定法や，曲線間の統計的有意差の検定を行う手法が確立していないためだと思われる．確かに，LROC解析とFROC解析のどちらについても，それらの手法を開発，提案する論文が報告されているが[5,6]，それらはいずれもまだ確証されたものではない．どちらの解析法の場合も，一番の問題点は，曲線を推定するのに用いるデータ点が，観察者によって異なるというところにあろう．つまり，ROC解析では，同じ試料を用いた観察者実験であれば，評価点の数も対象もすべての観察者について同一になるが，上記の２つの解析法では観察者によって，データの数や対象が違ってしまう可能性が高くなる（もちろん，まったく同じになる場合もある）．そのため，現時点においては，観察者実験にLROCまたはFROC解析だけを単独で行った場合は，統計的有意差検定が困難である，というROC解析よりも大きな問題点がある．
　そこでこれらのジレンマを解決するために，シカゴ大学のグループでは，以前から通常のROC解析の観察者実験を行う際に，観察者に病変の位置を示してもらう方法を採用し，ROC解析と同時にLROC解析のための実験も行うようにしている．つまり，ROC解析で必要十分なデータを求め，統計的有意差検定を行い，その上に，さらにROC解析のデータを補足する意味で，LROC曲線を計算して示す，という2段構えの実験を行っている．そのような実験方法の習得を目的として，まず，簡単にLROCの理論についてふれ，その後，通常のROC実験データと観察者が示した位置情報からカーブフィッティングを行いLROC曲線をプロットする方法について解説する．

【LROC解析の理論[1]】
　ROC解析では，実際に存在する信号ｓについて，正しく信号Sが存在すると検出する確率PD（S｜ｓ） [真陽性率 (TPF： True Positive Fraction) ] を，判断基準という閾値を変化させて求めている．しかし，LROCでは，実際に存在する信号ｓについて，正しい位置CLで，正しく信号Sであると検出する確率PDL（S,CL｜ｓ）と，間違った位置ILで，正しく信号Sが存在すると検出する確率PDL（S,IL｜ｓ）の２つを考慮する必要がある．ROC解析とLROC解析のそれぞれの確率は，以下の式で関係付けることが出来る．

　PD（S｜ｓ）＝PDL（S,CL｜ｓ）＋PDL（S,IL｜ｓ） -- (1)

　LROC解析において，実際に信号が存在するにかかわらず，位置の検出が間違っていた試料のスコアは，"間違って信号が存在しない" （FN: False Negative）と判定した結果として見なされる．そして，そのFNの確率は偽陰性率（FNF：False Negative Fraction）で定義されており，これがPDL（S,IL｜ｓ）と同じ意味を持つ．つまり，刺激-反応マトリックスの理論においては，ROC曲線の縦軸を示すTPFは，TPF＝1-FNFで定義されているため，通常のROC解析ではFNF=0でTPFは1.0で収束する．一方，LROC解析では，前述のようにFNFは0ではなく，通常は0以上の値となるので，LROC曲線の縦軸のTPFは，ほとんどの場合，TPF＜1.0となる．もう少し具体的に考えてみると，100枚の信号像があった場合，ROC解析では，最終的にそこに含まれる100個の信号全部が検出されたと見なして計算され，最終的なTPF（感度）は1.0（100％）になる．それがLROC解析の場合は，位置が正しく検出されなかった信号は，TPFにはカウントされないので，例えば，100個のうち，10個の信号の位置が間違っていたとしたら，最終的なTPFは，0.9にしかならない．

【LROC曲線の推定】
　通常のROC曲線を推定する場合，TPFは，前述の（1）式に示したPD（S｜ｓ）の積分値を信号を含む試料数で標準化したものとなる．そして，同様にLROC解析で算出するTPFは，PDL（S,CL｜ｓ）の積分値を信号を含む試料数で標準化したものとなる．しかし，LROCにおけるPDL（S,CL｜ｓ）も，ROC解析におけるPD（S｜ｓ）と同様に正規分布になるということが理論上では仮定されているので，両正規分布ROC解析の理論を用いてカーブフィッティングを行うことが可能である．つまり，前述の例を用いるとすれば，100枚の信号像を用いた実験で，正常像も100枚とすると，ROC曲線を計算する場合には，信号像100+正常像100のすべての画像に対する評価点を用いて計算すればよい．一方，LROC曲線を計算する場合には，その下準備として，まず，位置が間違っていた10枚の信号像の評価点だけを除いた，信号像90+正常像100の画像に対しての評価点を用いて通常のROC曲線を計算するようになる．これだけではわかりにくいと思うので，LROC曲線の求め方を，以下に順を追って説明する．

1)　実験を行うときに，各画像に対する評価点（信号のあるなしの判断基準）に加えて，信号の位置を観察者に指定してもらう．このとき，明かに信号がないと観察者が思った場合でも，どこか必ず1箇所を選んでもらうようにする．位置の情報は，画像を読影しているモニタ上（またはフィルム上）で記録できるような方法が望ましいが，それが困難な場合は，試料のサイズに応じて，試料全体を4分割，9分割，16分割にして，そのセグメント番号で回答を得るという方法もある．

2)　全部の信号像に与えられた位置のデータから，位置の検出が間違っている試料の数をカウントし，また，それらの画像の評価点を信号像の評価点データから削除する．

3)　位置間違い評価点データ削除後の信号像の評価点データと，全部の正常像の評価点データから，通常のROC曲線を求める．

4)　算出されたTPFのデータ（この時点では，FPF=1.0のときにTPF=1.0となっている通常のROC曲線のデータ）に（T-D）/Tの値を乗じて，LROC曲線のTPF値を求める．ここで，Tは全信号像の数，Dは位置検出が間違っていた信号像の枚数（＝削除したデータ数）を表す．

5)　LROC曲線下の面積（これをAZと読んで良いのかどうかは不明．たぶん不適当？）を算出したい場合には，これらのTPF値を用いて，台形近似もしくはWilcoxon近似で求める．

以上の方法で得られるROC曲線とLROC曲線の関係を図１に示す．LROCのTPFが到達する値はFNと判定された試料のデータ数によって決まるので，最初はTPF=1.0となることを仮定して通常のROC曲線の求め，次に全体の値を（１−FNF）で補正してLROC曲線を求めるという方法である．

　ここで示したLROC曲線の算出法はあくまで簡便法であって，個人個人のLROC曲線を算出する方法としては間違っていないが，これらのLROC曲線の面積で統計的有意差検定を行ったり，観察者間の平均のLROC曲線を求める場合には，十分な配慮が必要である．つまり，観察者一人一人のLROC曲線は，すべて違うものである可能性が高いので，それらを平均したり，検定の対象に用いる場合には，そういったことを十分に理解している必要がある．また，手法を説明する場合には，そのような条件を正確に記述する必要がある．実際のところ，統計的検定はROC曲線間のもので十分であると考えられる．しかし，各観察者についてROC曲線とLROC曲線を示すことができれば，それだけでROC解析が抱えている問題点の一つを補うことができる．あくまで，このLROC解析はROC解析の問題点を補うためのものである，という点を覚えておこう．

　　図１　仮に信号像90＋正常像100で計算したROC曲線（左）とそこから算出したLROC曲線（右）

−参考文献−
[1] Stuart J, Starr BS, Metz CE, et.al.: Visual Detection and Localization of Radiographic Images, Radiology, 116, 533-538,1975.
[2] Bunch PC, Hamilton JF, Sanderson GK, and Simmons AH: A Free Response Approach to the Measurement and Characterization of Radiographic Observer Performance, SPIE, 127, 124-135, 1977.
[3] Chakraborty DP, Breatnach EA, Yester MV, et.al.: Digital and conventional chest Imaging: a modified ROC study of observer performance using simulated nodules. Radiology, 158, 35-39, 1986.
[4] Chakraborty DP, Winter LH.: Free-Response Methodology: Alternative Analysis and a New Observer-Performance Experiment. Radiology, 174, 873-881, 1990.
[5] Swensson RG: Unified measurement of observer performance in detecting and localizing target objects on images. Med Phys. 23, 1709-25, 1996.
[6] Chakraborty DP: Statistical power in observer-performance studies: comparison of the receiver operating characteristic and free-response methods in tasks involving localization. Acad Radiol. 9, 147-56, 2002.
（参考＆抜粋：Metz's ROC Software Users Group のHP→　http://www.fjt.info.gifu-u.ac.jp/~roc/）

【FROC解析の理論】
　LROC解析は，信号の位置が正しく検出されたかどうかも含む方法であった．しかし，信号の数が１資料につき１つに限定されていることは通常のROC解析と同じである．ところが，実際の臨床では，１枚の画像の中に複数の病変が存在する場合が多くある．このように基本的には１枚に多くの信号が含まれている画像を資料とするのが，FROC解析である．ROC解析やLROC解析と同様に，FROC解析の結果もFROC曲線と呼ばれる曲線で評価する．曲線が左上にいくほど検出能が高いと判断するのもROC曲線と同じで，FROC曲線の縦軸（true positive）は，ROC曲線のTPFと同じ意味をもつ．しかし，横軸はROC曲線のFPFとはまったく意味の違うFPI：false positives per imageで表わされる（図２）．

　　図２　FORC曲線の例：横軸が FPFではないことに注意すること

　ROC解析とFROC解析の理論的な違いは，ROC解析がともに正規分布であるTP(x)およびFP(x)で観察者の反応分布を仮定しているのに対して，FROC解析では，資料に含まれる信号に対する観察者の反応分布を正規分布（グラフの縦軸，ROCと同じ）で，１資料あたりに観察者が間違って雑音を信号と判断する反応分布をポワソン分布（グラフの横軸，ROCとは異なる）で仮定していることにある．また，FROC解析は，コンピュータ支援診断（computer-aided diagnosis：CAD）のように１枚の資料について，複数のFPを生じる場合のCADの性能評価を目的としてよく用いられる．こうしたFROC解析では，１枚の資料に病変が１個しかない場合や病変が含まれていない正常画像も資料に含める．

では，胸部CT画像におけるCADを例にFROC曲線の描き方をみてみよう．胸部CT画像では，複数のNodule（肺腫瘤陰影）が確認できる症例が多い．こうした胸部CT画像に対してNoduleの自動検出を行うCADの処理・結果の一例を図３に示す．

　　図３　胸部CT画像においてNoduleを自動検出するコンピュータ支援診断（CAD）システムの処理例

�@は原画像で黄色○が医師の確定診断で決まったNoduleの位置である．理想的なCADとしては，これら黄色○の領域だけを自動検出するのがベストである（つまり，真陽性率：100%，偽陽性の数：0個）．しかし，実際のCADでは多くの偽陽性候補が伴う．図３の例では，�Bの画像が１次のNodule候補である．そして，�Cでは（赤領域），�Bの画像中で特に明るい部分（あるしきい値t以上の画素値の部分）を最終的なNodule候補としている．ここで，しきい値tによって真陽性率（TPF：true positive fraction）と偽陽性候補の数（FPI：false positive per image）が変化することは容易に想像できる．CADの性能評価のためにFROC曲線を描くときには，このようにCADの性能を左右するあるパラメータ（この例ではt）を変化させることで，FROC曲線を描くためのプロット点（FPI，TPF）を得る．図３のCADアルゴリズムをある胸部CT画像のデータベースに適用したときにFROC曲線を図４に示す．

　　図４　図３のCADアルゴリズムをある胸部CT画像のデータベースに適用したときにFROC曲線