« 「続きはWebで」も「同時にWebで」もイヤ! | メイン | 転職してよかったことランキング »

A good fight at SIGIR?

情報検索(Information Retrieval=IR)の国際会議ACM SIGIRに今年投稿していた論文がaccept(採録と判定)された。
ACMは学会の名前。SIGIRはSpecial Interest Group on Information Retrievalのことだが、日本ではシグアイアール、英語では「スィガイアー」に近い発音で呼ばれている。
1978年から毎年やっており、今年でちょうど30年目!
SIGIRの歴史

SIGIRの採択率(acceptance rate)は90年代には25%程度で安定していたが、最近はこの分野の競争が激化しており、採択率も下がっている。
下記の表は、今世紀になってからの論文投稿数、採択数、採択率をまとめたものである。
投稿数の伸びを見てほしい。まさに検索の時代!

投稿数 採択数 採択率
2007 491 86 17.5%
2006 399 74 18.5%
2005 368 71 19.3%
2004 267 58 21.7%
2003 266 46 17.3%
2002 219 44 20.1%
2001 201 47 23.4%

私の論文がSIGIRでacceptされたのはおかげさまで3回目だが、投稿自体は2000年以来ほぼ毎年やってきた。
つまりrejectされた(不採録とされた)経験も豊富である。
それだけに採録の知らせはビール一年分が当たったくらい嬉しい。
しかも今年は開催地がAmsterdam!留学時代に遊びに行って以来である。
SIGIRにおける私の最初の論文はKarenと連名であったが、今回は彼女のプレゼントかも知れない。
(追悼Karen Sparck Jonesのエントリ参照。)

なお、SIGIRには別途ポスター論文(通常の論文が8ページであるのに対し、こちらは2ページ)を投稿することも可能であり、こちらはさほど「狭き門」ではない。
SIGIRに参加してみたいという方はまずはポスターから挑戦して会議の雰囲気を偵察することをお勧めする。

SIGIRの査読は、3人の査読者と、専門分野毎のメタ査読者の合計4名により綿密に行われる。
(私自身も論文とポスター両方の査読を担当した。)
査読者間の意見が食い違う場合にはもう1名査読者がつく場合もある。この点、SIGIRは非常に丁寧である。
それでもたまに、「なんでこれが採録されてるの?」と思うことがあるのは、査読があくまで主観に基づくものであるため致し方ない。

さて、今回の私の論文に対する査読内容の一部を抜粋し、いいかげんな訳をつけてみる。

> The paper concludes that some metrics (Q', nDCG' and AveP') are better
> than others (bpref) in this respect. That should start a good fight.
>
> Controversy is great for conferences. A good fight is likely to pack the
> halls. Controversy is almost better than correctness. I'm not saying the
> paper is right or wrong, but merely, people will have strong opinions,
> which is good for the conference.

「論文は、bpref(という最近使われはじめた検索評価指標)よりも、Q', nDCG', AveP'という評価指標のほうがこの観点から優れていると結論づけている。
こりゃおもしろい喧嘩になるぞ。

国際会議で論争が起こるのは素晴らしいこと。
おもしろい喧嘩が始まれば、会場は人でいっぱいになる。
賛否両論というのは正しいことよりもむしろいいことかも。
この論文が正しいとか間違ってるとか言うつもりはないが、聴衆はこの論文に対して強い意見をもつだろう。
これはSIGIRにとってよいことだ。」

こわいよう。

そうなのだ。私の論文は、検索界の大御所が最近提案し、
周囲の人があまり深く考えずに採用している評価指標をとりあげて、
「そんなことをしなくても、こうすればもっとうまくいきますよ」とつっこみを入れているものなのだ。
しかも彼らは夫婦揃って今や検索界の中心にいる人々。
ああこわい。Karen助けて。

トラックバック

このエントリーのトラックバックURL:
http://mvt.fresheye.com/mt/mt-tb.cgi/557

この一覧は、次のエントリーを参照しています: A good fight at SIGIR?:

» 検索界と音楽界のメイニアックなつながり from 検索メイニアック!
社長ブログに私とMichael Sembelloの「メイニアックつながり」の話が... [詳しくはこちら]

» 三年後のRIAO、あなたと私 from 検索メイニアック!
情報検索の国際会議としてACM SIGIRの次くらいに有名なものに、RIAO(リ... [詳しくはこちら]

» SIGIR過去30年分の論文をグラフィカルに検索! from 検索メイニアック!
情報検索の国際会議最高峰ACM SIGIRの今年のwebsiteはおもしろい。 ... [詳しくはこちら]

» AIRS(エアーズ)について from 検索メイニアック!
情報検索の国際会議最高峰といえばACM SIGIRだが、 アジア地域を主体とする... [詳しくはこちら]

» Q, Rの次はO, そしてP... from 検索メイニアック!
情報処理学会の会誌(「情報処理」) に 平成18年度論文賞の受賞にあたって執筆し... [詳しくはこちら]

» SIGIRに旅立つ前に from 検索メイニアック!
月曜日から丸一週間、ACM SIGIRである。 上記エントリで書いたように、私は... [詳しくはこちら]

» ヒロシマとSIGIR 2001 from 検索メイニアック!
今日はヒロシマについて、ヒロシマで亡くなった方々について、 被爆して未だに苦しん... [詳しくはこちら]

» メイニアックな論文3つ from 検索メイニアック!
11月の情報処理学会 第88回 情報学基礎研究会(第33回 ディジタル図書館ワー... [詳しくはこちら]

コメント

初めてコメントさせていただきます。

SIGIR採択おめでとうございます!
ナイスファイト期待してます。

それにしても今年はポスターの採択率も異常に狭かったですね。。(部下がrejectされちゃいました。あ、私は今年も出してませんけど)

ほあしさん

検索メイニアックへのコメント第一号、大変ありがとうございます。そう、今年のポスター採択率は105/491 = 21.4%と聞きました。90年代のSIGIRの論文採択率(25%)より低い!「ポスターはさほど狭き門ではない」と書きましたが訂正します。
ただ、これだと論文投稿数とポスター投稿数がぴったり同じですよね。SIGIRは論文とポスターが別枠なのでちょっと不思議。正しい数字なのかな…

SIGIRに問い合わせたところ、やはりポスターの採択率は間違っていました。採録通知のほうには正しい数値が載っていたが、不採録通知のほうには誤った数値(上のコメント参照)を載せてしまったようです。
今年のポスターの正しい採択率は105/235=44.7%だそうで、不採録者には訂正メイルが送られたはずです。
私はブログ初心者ですが、ブログがきっかけでこういう間違いに気付くこともあるのですね…

コメントを投稿

(いままで、ここでコメントしたことがないときは、コメントを表示する前にこのブログのオーナーの承認が必要になることがあります。承認されるまではコメントは表示されません。そのときはしばらく待ってください。)

2008年07月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31    

プロフィール


「ニューズウォッチ」「フレッシュアイ」の名付け親。情報検索の研究者。工学博士。
2000年~2001年、英ケンブリッジ大学客員研究員。TOEICスコア985点。
2007年1月(株)東芝を退職。2月より(株)ニューズウォッチ自然言語処理研究室室長。
個人ホームページ
フレッシュアイ 社長ブログ