« NTCIR-6二日目:口頭発表とバンクエット | メイン | NTCIR-6最終日:NTCIR-7の新しいタスクは!? »

NTCIR-6三日目:NTCIR-7に向けて23時まで会議

今日は


  • 招待講演セッション
  • CLQA(言語横断質問応答タスク)のセッション
  • ポスターセッション
  • Patent(特許タスク)のセッション
  • Breakout sessions
  • NTCIR-7 program committee meeting

があった。

招待講演セッションでは座長を務めた。
欧州のCLEFと米国のTRECの最新動向に関する話。
CLEFにおいて言語横断検索の検索有効性が単言語検索の90%以上出ているのに対し、言語横断質問応答の成績が単言語質問応答の60%程度、というのはNTCIRのケースととても似ていると思った。

ランチ/ポスターセッションではEVIAで発表した自分の論文ポスターをもう一度発表した。
自分のポスターはこんな感じ↓。ランチはカレー。
EVIApostersatNTCIR.JPG


Breakout sessionとはタスク毎に今後どうするかを話し合うもので、Swing Out Sisterを歌うバンドのセッションではない。
私はNTCIR-7向けに提案しているUser Satisfaction Task (USAT)のセッションを企画し、座長を務めた。
参加者は6名と極めて少なかったが、Douglas Oardがたくさんアドバイスをくれたので救われた。
検索結果に対するUser Satisfactionは、絶対値でなく相対値で測定することで落ち着いた。
また、過去の日本語新聞記事テストコレクションだけでなく、できればNTCIR-7の新しい検索タスクで出来てくるテストコレクションについてもUser Satisfactionを収集するという話になった。

最後はNTCIR-7 Program Committee Meeting。次回のNTCIR-7でやるタスクをどうするか決定する会議である。
本来メンバは10名だが、今回の出席者(私を除く)はこのとおり↓。
NTCIR-7PC.JPG
立っているのが、左からMark Sanderson (EVIAのco-chairをやってくれた)、Doug Oard、藤井先生、森先生、
座っているのがFred Gey、そして「NTCIRのおねえさん」神門先生

提案されていた8つのタスクを統廃合してとりあえず3~4個にした。
自分の提案したUser Satisfaction Taskは…現在、生き霊のような状態。
タスクオーガナイザ(主催者)があれもこれも全部決めて、タスク参加者はこれに従って粛々と実験するという形にはしたくなかったので、わざといい加減なタスク提案にしておいたのだが、本当にいい加減なタスクだと思われてしまったかも。

明日は最終日。今日は帰りが遅かったが意地になって書いた。


トラックバック

このエントリーのトラックバックURL:
http://mvt.fresheye.com/mt/mt-tb.cgi/597

コメントを投稿

(いままで、ここでコメントしたことがないときは、コメントを表示する前にこのブログのオーナーの承認が必要になることがあります。承認されるまではコメントは表示されません。そのときはしばらく待ってください。)

2008年04月

    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30      

プロフィール


「ニューズウォッチ」「フレッシュアイ」の名付け親。情報検索の研究者。工学博士。
2000年~2001年、英ケンブリッジ大学客員研究員。TOEICスコア985点。
2007年1月(株)東芝を退職。2月より(株)ニューズウォッチ自然言語処理研究室室長。
個人ホームページ
フレッシュアイ 社長ブログ