ROCTEST 使用マニュアル

 本ソフトウェアはROC解析を実体験・学習するために作られたものであり, ROCカーブを描くために必要な観察結果を出力するためのものである.観察結果に基づいた統計処理やカーブフィッティング,実際のROCカーブ描画等の機能は実装されていない.つまり,本ソフトウェアはROC解析のための資料(胸部X線画像)を提示し,その資料に対する観察者の評価結果を単に出力する機能のみを持つ.出力された結果の統計処理やその後のROCカーブの描画は手作業もしくはその他のソフトウェアを使われたし.
本ソフトウェアの主な機能を以下に示す.詳細は次項を参考されたし.

 ・正常または異常であると確定診断のついた胸部X線画像を資料として提示する.
 ・提示した画像に対する確定診断の結果(正常か異常かのみ)を見ることができる.
 ・難易度の異なるデータセットを選択できる.
 ・解析方法(評定確信度法と連続確信度法)を選択できる.
 ・観察結果を任意のテキストファイルに出力する.

なお,本ソフトウェアで資料として使用している画像は,(社)日本放射線技術学会が公開・提供している【標準ディジタル画像データベース[胸部腫瘤陰影像]】に納められている画像を750×750 pixels,8 bits階調,RGBカラーのビットマップ画像に変換したものである.なお,オリジナル画像の条件は,2048×2048 pixels(ピクセル寸法:0.175 mm),12 bits階調,グレースケールである.画像構成は,異常症例として腫瘤陰影像154枚(悪性100例,良性54例),正常症例として非腫瘤陰影像93枚となっている.また,次のような診断の難易度が3名の専門医のコンセンサスによって決定され,各画像に付されている.
(1):検出が極めて困難 extremely subtle (極めて淡い,極めて小さい,等)
(2):検出が非常に困難 very subtle
(3):検出が困難 subtle
(4):検出が比較的容易 relatively obvious
(5):検出が容易 obvious
本ソフトウェアで使用しているデータセットA(難易度:低)は,「(5):検出が容易 obvious」,データセットB(難易度:中)は,「(4):検出が比較的容易 relatively obvious」,データセットC(難易度:高)は,「(3):検出が困難 subtle」からそれぞれランダムに選んだ症例を用いている.これらのデータセットは,異常症例,正常症例がおよそ半数ずつになるように構成されている.データセットを選択せずに「おまかせ」にした場合は,難易度(1)〜(5)までの症例の中からランダムに資料を選択するように設定されている.なお,この場合,正常症例,異常症例の割合もランダムに変化するようにしている.

【使用手順 】
1.プログラムを起動する.
  「スタート」メニュからたどり,”ROCTEST.exe”を選択する.次のような起動画面が立ちあがればOK.

2.モードとデータセットを選択する.

・モード実践を選択した場合
 「データセットA〜C」または「おまかせ」を選択できる.
 「データセットA〜C」を選択した場合,資料数は30に固定さる.
 「おまかせ」を選択した場合は,資料数を30,50,70,100,150,200から選択できる.
 評定結果が指定したファイルに出力される.
・トレーニングモードを選択した場合
 データセットの選択は不要(できない).
 資料数は200に固定される.
 評定結果は出力されない.

・「オプション」の設定
 「オプション」は評定結果の出力ファイルを指定するためのものである. 「オプション」ボタンを押すと下のようなダイアログが表示される.結果の出力先は、ROCtest起動後、実験を行う前に必ず変更すること.


 「結果の出力先」欄で指定されたファイルに評定結果が出力される.「...」のボタンを押すと次のようなダイアログが現れ,出力先のテキストファイルを直接指定できる.また,エディタ欄に直接,指定ファイルを記述することもできる.この場合,指定したファイルが存在しないときは,指定したファイルが新たに作成される.出力先のフォルダを決めたら、ファイル名はroctext.txtなどのように記載する。念のため、ファイル名はアルファベットのみとする。

出力される評定結果ファイルのフォーマット例:
1行目:選択したデータセット
2行目:データ数(資料数)
3行目:評定結果出力開始タグ
4行目〜:結果出力開始タグ(START)

 1列目:出力順の連番
 2列目:評定結果
・評定確信度法の場合
1〜5(正常〜異常に対応)の整数
・連続確信度法の場合
 0〜100(正常〜異常に対応)の整数
 3列目:確定診断の結果
  positive : 異常症例
  negative : 正常症例

最終行:結果出力終了タグ(END)


3.解析方法を選択する.(評定確信度法 Or 連続確信度法)

4.2で選んだ解析方法で提示される資料の評価を行う.
 ・どちらを選んでも共通な使用法
 T.「次の画像」ボタンを押すことで資料が提示される.
 U.提示された資料に対する評価を下し,「確定」ボタンを押す. この部分の操作が解析方法によって異なる.次項参照 *1)
 V.答えを見たい場合は,「答えを見る」ボタンを押す.*2)
 W.指定した資料数分だけT〜Vを繰り返す.
 X.指定した資料すべての評価が終わると次のような確認ダイアログが現れるのでOKを押す.

 
*1) 評定確信度法を選択した場合

5択から1つを選び,「確定」ボタンを押す.

*1) 連続確信度法を選択した場合

0〜100%で評価する.スケールバーを動かし%を決定後,「確定」ボタンを押す. スケールバーで指定した%はスケールバーの中央下付近に数値として現れる.

*2)「答えを見る」ボタンを押したとき
異常例の場合,腫瘤陰影がある場所に赤丸が表示される.
正常症例の場合,画像左上に「正常」という文字が現れる.
以下図参照.

異常症例の場合
正常症例の場合

5.その他
 ・下に示すプログレスバーは,進行状況を示しており,画像中右下の数字(提示済みの資料数/総資料数)に対応している.

 ・「リセット」ボタンを押すことで,手順1からやり直すことができる.
 ・プログラムを終了させたい場合は,「終了」ボタンを押す.