NTCIR-6三日目:NTCIR-7に向けて23時まで会議
今日は
- 招待講演セッション
- CLQA(言語横断質問応答タスク)のセッション
- ポスターセッション
- Patent(特許タスク)のセッション
- Breakout sessions
- NTCIR-7 program committee meeting
があった。
招待講演セッションでは座長を務めた。
欧州のCLEFと米国のTRECの最新動向に関する話。
CLEFにおいて言語横断検索の検索有効性が単言語検索の90%以上出ているのに対し、言語横断質問応答の成績が単言語質問応答の60%程度、というのはNTCIRのケースととても似ていると思った。
ランチ/ポスターセッションではEVIAで発表した自分の論文とポスターをもう一度発表した。
自分のポスターはこんな感じ↓。ランチはカレー。
Breakout sessionとはタスク毎に今後どうするかを話し合うもので、Swing Out Sisterを歌うバンドのセッションではない。
私はNTCIR-7向けに提案しているUser Satisfaction Task (USAT)のセッションを企画し、座長を務めた。
参加者は6名と極めて少なかったが、Douglas Oardがたくさんアドバイスをくれたので救われた。
検索結果に対するUser Satisfactionは、絶対値でなく相対値で測定することで落ち着いた。
また、過去の日本語新聞記事テストコレクションだけでなく、できればNTCIR-7の新しい検索タスクで出来てくるテストコレクションについてもUser Satisfactionを収集するという話になった。
最後はNTCIR-7 Program Committee Meeting。次回のNTCIR-7でやるタスクをどうするか決定する会議である。
本来メンバは10名だが、今回の出席者(私を除く)はこのとおり↓。
立っているのが、左からMark Sanderson (EVIAのco-chairをやってくれた)、Doug Oard、藤井先生、森先生、
座っているのがFred Gey、そして「NTCIRのおねえさん」神門先生。
提案されていた8つのタスクを統廃合してとりあえず3~4個にした。
自分の提案したUser Satisfaction Taskは…現在、生き霊のような状態。
タスクオーガナイザ(主催者)があれもこれも全部決めて、タスク参加者はこれに従って粛々と実験するという形にはしたくなかったので、わざといい加減なタスク提案にしておいたのだが、本当にいい加減なタスクだと思われてしまったかも。
明日は最終日。今日は帰りが遅かったが意地になって書いた。



