A good fight at SIGIR?
情報検索(Information Retrieval=IR)の国際会議ACM SIGIRに今年投稿していた論文がaccept(採録と判定)された。
ACMは学会の名前。SIGIRはSpecial Interest Group on Information Retrievalのことだが、日本ではシグアイアール、英語では「スィガイアー」に近い発音で呼ばれている。
1978年から毎年やっており、今年でちょうど30年目!
SIGIRの歴史
SIGIRの採択率(acceptance rate)は90年代には25%程度で安定していたが、最近はこの分野の競争が激化しており、採択率も下がっている。
下記の表は、今世紀になってからの論文投稿数、採択数、採択率をまとめたものである。
投稿数の伸びを見てほしい。まさに検索の時代!
| 投稿数 | 採択数 | 採択率 | |
| 2007 | 491 | 86 | 17.5% |
| 2006 | 399 | 74 | 18.5% |
| 2005 | 368 | 71 | 19.3% |
| 2004 | 267 | 58 | 21.7% |
| 2003 | 266 | 46 | 17.3% |
| 2002 | 219 | 44 | 20.1% |
| 2001 | 201 | 47 | 23.4% |
私の論文がSIGIRでacceptされたのはおかげさまで3回目だが、投稿自体は2000年以来ほぼ毎年やってきた。
つまりrejectされた(不採録とされた)経験も豊富である。
それだけに採録の知らせはビール一年分が当たったくらい嬉しい。
しかも今年は開催地がAmsterdam!留学時代に遊びに行って以来である。
SIGIRにおける私の最初の論文はKarenと連名であったが、今回は彼女のプレゼントかも知れない。
(追悼Karen Sparck Jonesのエントリ参照。)
なお、SIGIRには別途ポスター論文(通常の論文が8ページであるのに対し、こちらは2ページ)を投稿することも可能であり、こちらはさほど「狭き門」ではない。
SIGIRに参加してみたいという方はまずはポスターから挑戦して会議の雰囲気を偵察することをお勧めする。
SIGIRの査読は、3人の査読者と、専門分野毎のメタ査読者の合計4名により綿密に行われる。
(私自身も論文とポスター両方の査読を担当した。)
査読者間の意見が食い違う場合にはもう1名査読者がつく場合もある。この点、SIGIRは非常に丁寧である。
それでもたまに、「なんでこれが採録されてるの?」と思うことがあるのは、査読があくまで主観に基づくものであるため致し方ない。
さて、今回の私の論文に対する査読内容の一部を抜粋し、いいかげんな訳をつけてみる。
> The paper concludes that some metrics (Q', nDCG' and AveP') are better
> than others (bpref) in this respect. That should start a good fight.
>
> Controversy is great for conferences. A good fight is likely to pack the
> halls. Controversy is almost better than correctness. I'm not saying the
> paper is right or wrong, but merely, people will have strong opinions,
> which is good for the conference.
「論文は、bpref(という最近使われはじめた検索評価指標)よりも、Q', nDCG', AveP'という評価指標のほうがこの観点から優れていると結論づけている。
こりゃおもしろい喧嘩になるぞ。
国際会議で論争が起こるのは素晴らしいこと。
おもしろい喧嘩が始まれば、会場は人でいっぱいになる。
賛否両論というのは正しいことよりもむしろいいことかも。
この論文が正しいとか間違ってるとか言うつもりはないが、聴衆はこの論文に対して強い意見をもつだろう。
これはSIGIRにとってよいことだ。」
こわいよう。
そうなのだ。私の論文は、検索界の大御所が最近提案し、
周囲の人があまり深く考えずに採用している評価指標をとりあげて、
「そんなことをしなくても、こうすればもっとうまくいきますよ」とつっこみを入れているものなのだ。
しかも彼らは夫婦揃って今や検索界の中心にいる人々。
ああこわい。Karen助けて。




コメント
初めてコメントさせていただきます。
SIGIR採択おめでとうございます!
ナイスファイト期待してます。
それにしても今年はポスターの採択率も異常に狭かったですね。。(部下がrejectされちゃいました。あ、私は今年も出してませんけど)
投稿者: ほあし | 2007年04月11日 20:14
ほあしさん
検索メイニアックへのコメント第一号、大変ありがとうございます。そう、今年のポスター採択率は105/491 = 21.4%と聞きました。90年代のSIGIRの論文採択率(25%)より低い!「ポスターはさほど狭き門ではない」と書きましたが訂正します。
ただ、これだと論文投稿数とポスター投稿数がぴったり同じですよね。SIGIRは論文とポスターが別枠なのでちょっと不思議。正しい数字なのかな…
投稿者: 酒井哲也 | 2007年04月12日 10:39
SIGIRに問い合わせたところ、やはりポスターの採択率は間違っていました。採録通知のほうには正しい数値が載っていたが、不採録通知のほうには誤った数値(上のコメント参照)を載せてしまったようです。
今年のポスターの正しい採択率は105/235=44.7%だそうで、不採録者には訂正メイルが送られたはずです。
私はブログ初心者ですが、ブログがきっかけでこういう間違いに気付くこともあるのですね…
投稿者: 酒井哲也 | 2007年04月13日 09:52