再現率と精度とSwanson
情報検索入門シリーズ。
検索システムを評価する際の古典的な評価尺度に再現率(recall)と精度(precision)がある。
再現率とは検索における「もれ」の少なさを、精度は検索における「ごみ」の少なさを意味する。
「もれ」とは、本来検索すべきであるのに検索できなかった文書(webページ、新聞記事、画像など、検索の単位となるもの)、
「ごみ」とは、本来検索すべきでないのに検索してしまった文書のことである。
再現率=検索された正解文書数/正解文書数
精度=検索された正解文書数/検索された文書数
例えばある検索要求に対し、本来検索されるべき文書(すなわち正解)が10件あり、
実際検索された全文書数は20件で、うち5件だけが正解(適合文書=relevant documentsという)であったとする。
この場合、再現率は10件中5件なので0.5、精度は20件中5件なので0.25。
20件などとけちなことは言わずにもっとたくさん検索すれば当然再現率は上がるが、一般にはその分、精度が下がる。
すなわち再現率と精度はトレードオフの関係にある。
さて、意味は同じだが、日本語では「再現率と適合率」という言い方も広く使われている。
たしかにこちらのほうが語呂がよい。
Recallのほうが「率」でprecisionのほうが「度」というのも気持ちが悪いし。
しかし、適合率は本来relevance ratioの訳語で、これはほとんど死語なのである。
文献
Swanson, D. R.:
Historical Note: Information Retrieval and the Future of an Illusion,
Journal of the American Society for Information Science, 39, pp.92-98 (1988)
によれば、
1955年にrecallとpertinency factorという尺度が定式化され、後者がのちにrelevance ratioと呼ばれるようになり、
1965年くらいにprecision ratioに落ち着いたそうである。(最近では単にprecisionという。)
したがって私は、相手に通じないと判断した場合を除いて「再現率と精度」と言うようにしている。
ついでに、「検索精度」という言葉もよく使われるが、
実際には再現率と精度の両方を考慮している場合が多いので、これまた気持ちが悪い。
英語だとretrieval effectivenessなどというので、検索有効性というふうに訳したりするが、まだ普及はしていない。
最後にそれぞれのdf(文書頻度)を比べてみよう。(tf-idfのエントリ参照。)
「検索精度」の検索結果
「検索有効性」の検索結果
コメント
酒井博士教えてください。
再現率の「検索された文書数」が変動する事ってあるのでしょうか？
あるとすればどんなときでしょうか？
例えばフレッシュアイなんかで、巡回ロボットが回った前と後って事になるのでしょうか？
実験のときなんかは人為的に変動させるのでしょうか？
投稿者: hoboking | 2007年04月13日 18:14
hobokingさん
「hobokingさんへのお返事」という新規エントリを作成しましたのでご覧ください。
ご質問どうもありがとうございました。
投稿者: 酒井哲也 | 2007年04月16日 17:29