• お店のレジでお金を払うときや、エレベータで人と乗り合わせたときなどは、
  相手の目を見て感じよく"Hi."というべし。
  

英語がうまい人でも意外とこれができていない人がいる。
日本(東京?)では「相手の目をみない、挨拶をしない、関係ない」がデ・ファクト・スタンダード(注1)になっているが、少なくとも欧米ではこの調子だと非常に印象が悪い。

(注1) de facto standard。何かの本に"defect standard"とわざわざ英語表記が書いてあったが、まさに欠陥本…

ただし、こちらから"Hi."と言っても「なんだ、日本人か」という顔をされて無視される場合もあるので、必要以上に愛想をふりまく必要はない。

もちろん、非英語圏では現地の言葉で挨拶するほうが望ましい。
特にフランスでは、英語で挨拶すると逆効果かも知れない。

• 旅行者オーラは最小限に。
  

一番多いのは、ところかまわず写真をとって現地の人に顰蹙を買うパターン。
ガイドブックを丸出しにしてきょろきょろするのも極力避けたほうがよい。
"I'm a tourist. Mug me!" (旅行者です。私を襲ってください。)と言っているようなもの。
常に周囲には気を配ったほうがよい。

私は普段、海外の街中では旅行者としての気配を極力消して歩いているので、道を聞かれることがとても多い。
どことなくいい人そうだからかも知れないが。
昨日も車に乗った白人女性に道を聞かれたが、教えられるわけがない。

と言っても気配を消せるのは一人旅の時だけ。
Edinburgh(エジンバラ)を妻と歩いていたとき、現地の乞食にすれ違いざま"F???ing tourists!"と罵られたことがある。
乞食には腹も立たなかったが、それでもこういう経験は忘れられるものではない。

余談だが(というかブログなんてほぼ全部余談だよな)、英Cambridgeに留学中、日本人旅行者とすれ違い様に「あ、日本人だ。」と言われたことがある。
動物園で「あ、カメだ。」と言うくらいのテンションで。
振り返って「ソーデス、私、日本人をやっておりマース、あなたと同じネー！」とでも言ってあげるべきだったか。

え?RIAO旅行記はどうしたって?
いや、今日はたいしたイベントがなかったので…
ディナーが出たがまずかった。ブロッコリが出なかったのが救いか。
酒が一滴も出ないので盛り上がらなかった。
主催者の方針なのだと思うが、今回は非常に淡白な国際会議である。

発表無事終了。
25分間の発表中にWindows VistaのPCが3回凍ったが、まあ適度に笑いがとれて良かった。
東芝時代にやって引き継いできた研究内容なので、「質問があったら東芝の元同僚にしてね」と軽いジョークで締めくくった。

他の発表でおもしろかったのは、録音、蓄積したシャチの音声データを分析するシステム。
シャチの言語の効率的な解読に役立ちそうだ。Orca(シャチ=killer whaleの学名)の音声archiveなのでその名もORCHIVE。うまい。

発表会場(CMUのUniversity Center)の前の広場にこんな不思議なオブジェが↓。ちなみに芝生の上に立っているのもオブジェの一部。

晩飯はShadysideという地域まで一人で歩いて行って中華料理。
と言っても、最近、豚化(とんか)傾向にあるので、完全ノンオイルのメニューにしてみた。
これが間違いだった。また大きなブロッコリがたくさん出た。
一回くらいはおいしいものが食べたいなあ。

とにかく天気が良い。夜8時でまだこの明るさ↓。Cathedral of Learningというところ。

朝5時起き。成田からまずChicagoへ。
もちろんcoach(エコノミークラス)。
機内で映画を4本鑑賞。
幼児がいるため、普段映画を全然見に行っていないので嬉しかった。
以下の順で鑑賞した。

• Rocky Balboa (ロッキー・ザ・ファイナル)
  
• The Holiday (ホリデイ)
  
• Dreamgirls (ドリームガールズ)
  
• Deja Vu (デジャ・ヴ)
  

まずは前から見たいと思っていたThe Holidayを見ようと思ったのだが、手が勝手にRocky Balboaを選択した。
妻に鼻で笑われそうだ。
ロッキー・ザ・ファイナルという邦題しか知らなかったが、原題は全然ファイナルだと保証していないじゃないか。
次回作はRocky Resurrectionでどうか。頭韻も踏んでるし。Rockyが遺伝子技術により蘇る話。

いや、Rockyなかなか良かったですよ。
<ネタバレ危険度+1>
仕事を辞めた息子に対してRockyが「これから、どないすんねん？」と聞くと、「I'd rather be with you.(父さんと一緒にいようかな)」と答えるシーン。
</ネタバレ危険度+1>
ワイン3本(もちろん小瓶)飲んだ直後だったからかも知れないが、今回の「映画祭」で一番泣きそうになった。

The Holidayも期待通りなかなか。
Cameron Diazが引用符を使ってフレーズ検索をしたのには驚いた。
クエリは"vacation spots"。検索エンジンはもちろん…
ときに、Four Weddings And A Funeral(注1)といい、Notting Hill(ノッティングヒルの恋人)といい、
英国・米国間のロマンスというのにあちらの人達はそんなに憧れているのだろうか。
Love Actually(ラブ・アクチュアリー)ではさえない英国人男性が米国に行くととたんにモテまくるというエピソードもあった。

(注1)フォー・ウェディングという邦題は私は認めません。
百歩譲ってフォー・ウェディングズ。

Dreamgirlsは飛行機の中での鑑賞には不適。高音質環境が望まれる。
個人的にはあの話題総ナメの人よりビヨンセのボーカルのほうが好き。

Deja Vuもめちゃくちゃでなかなか良かった。Minority Report(マイノリティ・リポート)風。

Chicagoでの乗り継ぎは5時間待ち。きつかった。
時間をつぶすために成田空港で慌てて買った文庫本(何故か高田純次の「適当論」)は30分で読み終わってしまったので、残りは瞑想。

ということでやっとPittsburghに到着。これが今回のホテルの部屋↓。悪くない。

窓からの眺めもよいほうだろう↓。

しかし、相変わらずシャワーは…欧米か。これでいったいどこをどう洗えと言うのか↓。

学会のregistrationを終えたあと、晩飯は一人でこのレストランで食べた↓。
銀座東芝ビルに勤務するものとして、入らないわけにはいかなかった。
例えどんなに怪しい店構えでも…

でも結果はオーライ。でかいブロッコリの天婦羅などが出た。

最近買った携帯電話がちゃんと海外で使えることも確認した。便利になったものだ。

さて明日はいきなり発表だ。そろそろ発表練習しないと…

極めてメイニアックで申し訳ありませんが、EVIA2007(5/15),NTCIR-6言語横断検索セッション(5/16)で使った発表資料を載せておきます。

VistaマシンのPowerPoint 2007で作成、古いPowerPoint形式で保存したものを、
(Acrobatで変換するために)XPマシンの古いPowerPointで表示したらレイアウトがおかしくなっていました…

EVIAのNew Asian IR Initiativesのセッションで用いた、中国・ベトナム・インド・タイの情報検索評価プロジェクト比較表

EVIAのregular paperの口頭発表資料 (On Penalising Late Arrival of Relevant Documents in Information Retrieval Evaluation with Graded Relevance)

EVIAのposter (User Satisfaction Task: A Proposal for NTCIR-7)

NTCIR-6 言語横断タスクの東芝／ニューズウォッチチームの口頭発表資料 (Toshiba BRIDJE at NTCIR-6: The Head Lead Method and Graded Relevance Feedback)

ときに、EVIAとNTCIRの論文は全てオンラインで公開されています。

EVIA 2007 Online Proceedings

NTCIR-6 Online Proceedings

問題: 「検索」を英訳すると?

検索メイニアックでなければsearch、検索メイニアックであればretrievalという人が多いのではないだろうか。
情報検索はinformation retrievalの訳語だが、どちらも正解。
ではどう違うのか?

英語ではsearch and retrieve(動詞)とかsearch and retrieval(名詞)という表現を使う(注1)。
つまり両者の意味は異なる。
Searchは、探索という訳語もあるが、とりあえず探してみること。
見つかるかどうかはわからない。
Retrieveは、見つかった場合に、それを取り出してユーザに提供すること。
狩猟において獲物を口にくわえてご主人様に持っていくのがretriever(リトリーバー)の仕事である。

(注1)ときに、try(動詞) and error(名詞)というのはやめましょう。
trial and errorが正解というのは多くの人がご存知でしょう。
でも実は動詞で揃えてtry and errという手もあります。
errという動詞はカタカナだと「アー」。志村けんになったつもりで言うとうまく発音できます。

ということで日本語の「検索」はsearchの意味にもretrievalの意味にも使われる。
Search and retrieveは「検索と検索」と訳すわけにもいかず、「検索と提示」くらいになるのだろうか。

さて英国留学時代、検索エンジンLycosのTVコマーシャルを見て衝撃を受けた。

風が強い崖の上で、何故かスコットランドの男性がキルト姿でバグパイプを吹いている。
キルトが今にもまくれそうだが、その下はもちろんすっぽんぽんである。
スコットランド人はバグパイプで両手が塞がっていて困っている。

そこに颯爽と黒い犬が登場する。Lycosのretrieverである。
スーパーマーケットかどこかににさっと走っていって、スコットランド人にブリーフを買ってきてくれる。
ようするに欲しいものがすぐにretrieveできるというコマーシャルだった。

そういうわけで検索エンジンとは犬のはずなのだが、研究レベルで有名な検索システムには犬ではない動物が多い。
Okapi(オカピ。英語ではオカーピー)。私は英国でこれを使っていた。
Lemur(キツネザル。リーマーと発音)、Indri(インドリ、ようするにでかいキツネザル)。

ちなみにOkapiで有名なSteve Robertsonは新しいシステム・実験環境をImpala(インパラ。インパーラーと発音)と名づけようとして、思いとどまったそうだ。
犬は文書をくわえてもってきれくれるが、インパラだとぴょんぴょん跳んでどこかに行ってしまうからかも知れない。

最終日。

• Mark Sanderson<の招待講演
  
• Opinion(意見分析タスク)のセッション
  
• ポスターセッション
  
• MuST(Multimodal Summarization for Trend Information)のセッション
  
• Advisory Committee Meeting
  

Mark Sandersonの招待講演は一時間もあったがpresentationがうまくて飽きなかった。
なにしろスライド中の文字数が少ない。見て欲しい↓。見習いたい。
Stephen Robertsonの最近の講演内容を引用したものである。

自分の言語横断検索タスクのポスターはこんな感じ↓。口頭発表用のスライドを貼っただけ。

昨日23時までNTCIR-7 Program Committeeで話し合った結果がこれ↓。

結局、User Satisfaction Taskは消滅したが、本日NTCIR-7 Program Committeeよりも大人数でやったAdvisory Committee Meetingでは、生き残ったタスクの全ての検索サブタスクについて私がオーガナイザをやるという説が出てきた。
ときに、全タスクの内容がずいぶん自然言語処理系に傾いてきたが、NTCIRというからにはタスク名のどこかにはIR(情報検索)という名前は残しておいたほうがよいだろう。
次回はEVJFならぬEVJK(Evaluating Japanese Karaoke)を企画してくれという話が出たが、そういうジョークを言われると日本人は真に受けて本当に企画しますよ。

今回のNTCIRは、海外の情報検索評価の大家が複数来てくれたおかげで議論が例年よりもかなり充実していたのではないかと思う。

今月末はRIAOで発表だ。
Mark達にもまた会える。

今日は

• 招待講演セッション
  
• CLQA(言語横断質問応答タスク)のセッション
  
• ポスターセッション
  
• Patent(特許タスク)のセッション
  
• Breakout sessions
  
• NTCIR-7 program committee meeting
  

招待講演セッションでは座長を務めた。
欧州のCLEFと米国のTRECの最新動向に関する話。
CLEFにおいて言語横断検索の検索有効性が単言語検索の90%以上出ているのに対し、言語横断質問応答の成績が単言語質問応答の60%程度、というのはNTCIRのケースととても似ていると思った。

ランチ／ポスターセッションではEVIAで発表した自分の論文とポスターをもう一度発表した。
自分のポスターはこんな感じ↓。ランチはカレー。

Breakout sessionとはタスク毎に今後どうするかを話し合うもので、Swing Out Sisterを歌うバンドのセッションではない。
私はNTCIR-7向けに提案しているUser Satisfaction Task (USAT)のセッションを企画し、座長を務めた。
参加者は6名と極めて少なかったが、Douglas Oardがたくさんアドバイスをくれたので救われた。
検索結果に対するUser Satisfactionは、絶対値でなく相対値で測定することで落ち着いた。
また、過去の日本語新聞記事テストコレクションだけでなく、できればNTCIR-7の新しい検索タスクで出来てくるテストコレクションについてもUser Satisfactionを収集するという話になった。

最後はNTCIR-7 Program Committee Meeting。次回のNTCIR-7でやるタスクをどうするか決定する会議である。
本来メンバは10名だが、今回の出席者(私を除く)はこのとおり↓。

立っているのが、左からMark Sanderson (EVIAのco-chairをやってくれた)、Doug Oard、藤井先生、森先生、
座っているのがFred Gey、そして「NTCIRのおねえさん」神門先生。

提案されていた8つのタスクを統廃合してとりあえず3～4個にした。
自分の提案したUser Satisfaction Taskは…現在、生き霊のような状態。
タスクオーガナイザ(主催者)があれもこれも全部決めて、タスク参加者はこれに従って粛々と実験するという形にはしたくなかったので、わざといい加減なタスク提案にしておいたのだが、本当にいい加減なタスクだと思われてしまったかも。

明日は最終日。今日は帰りが遅かったが意地になって書いた。

今日は

• 神門さんによるNTCIR-6全体のOverview
  
• QAC(質問応答タスク)のセッション
  
• CLIR(言語横断検索タスク)のセッション
  
• Banquet(宴)
  

神門さんのスライド↓によれば、NTCIRの参加チーム数はすこ～しだけ減ったようだが、まあ誤差の範囲だろう。

CLIRのセッションでは自分の発表をした。
冒頭で昨日の日本食評価のワークショップの会計報告をしたが、すべり気味。
しかしTRECのオーガナイザであるNISTのIan Soboroffがたくさん質問してくれた。
神門さんのスライド↓で、今回のCLIRタスクにおける代表的アプローチとしてquery expansion (クエリ拡張) techniques(より具体的には擬似適合性フィードバック) のところで挙げられているのが私の手法。

NTCIR-6コレクションでシステムの検索有効性を測ると、NTCIR-3,4,5で測った場合よりだいぶん値が低くなるのだが、その原因は今のところCLIRのオーガナイザである岸田先生にも心当たりがないそうだ。
NTCIR-6の検索課題はNTCIR-3,4を再利用したもので、NTCIR-6の文書はNTCIR-5を再利用したものなのに。
何故こんなに結果が違うのか?

次回のNTCIR-7向けに提案されているタスクは神門さんのスライド↓の8件。

Banquet(注１)の会場は学士会館。
国立情報学研究所の中でやった前回よりもだいぶん良かった。
結構飲んだ。
議題は、日本におけるウェブを通じた犯罪、米国の銃社会、イラク戦争、など。
私は国際会議では政治について極力語らないようにしているのだが、中国人と米国人がかなりフランクな意見を交わしていた。

(注1)宴会、ちなみにバンケットではなくバンクエットもしくはバンクイット。
ときに、ubiquitousはユビキタスではなくユビクイタスだと前世紀から言い続けているのに世の中は「指、来たっすネ」などという意味不明なことになってしまった。
ちなみにユビキタスはラテン語ではなく、ラテン語を語源とした英語である。
Ubiquitous computingについてはこちら。

最近まで国際論文誌ACM TALIPの編集長をやっていた香港中文大学のKam-Fai Wongと私↓。

明日は朝っぱらから招待講演セッションの座長を務めなければならない。
今からもう少しアルコールを補給しよう。

情報アクセス評価ワークショップEVIA(Evaluating Information Access)2007と日本食評価アクセスワークショップEVJF(Evaluating Japanese Food)2007が無事終了。
両方のチェア(座長)を務めたのでやたら疲れた。
疲れたが、国際会議関連についてはなるべくリアルタイムに書こうと誓ったのでとりあえず何か書いておこう。

EVIAの聴衆はおそらく80名程度。
前回のNTCIR-5 Open Submission Sessionよりもだいぶん増えたことは確か。
私が座長を務めたNew Asian IR InitiativesのセッションをDoug OardやFred Geyが盛り上げてくれたのは非常に有難かった。
中国、ベトナム、インド、タイの情報検索評価プロジェクトの話。

自分でも論文とポスターを一件ずつ発表したので忙しかった。
東芝時代の後輩も来てくれたがあまり喋る時間がなかった。
ポスターセッションでは、NTCIR-7向けにUser Satisfaction Task (USAT)という新しいタスクを提案したところ、多くの方から非常に有益なコメントをいただいた。
それでいて、タスク運営は人格者でないとできないと悟った。どうしよう。

EVIA全体としては、Mark Sandersonという稀有なパーソナリティをco-chairに迎えることができたために辛うじてうまくいったと言えるだろう。
もちろん全ては神門さんの手のひらの上での話だが。

しかし、EVIAよりEVJFのほうがずっと大変だった。
EVIAはMarkと一緒にやっていたので楽だったが、EVJFは全面的に私の責任だった。
結局17名が参加。6～7か国はカバーしていたはず。
一人はユダヤ教徒で、これは想定の範囲内だったが、よく聞いてみるとベジタリアンが二人もいた。
メインディッシュはすき焼きだったので、あわててサラダを追加注文した。

幸いお店の人たちがとても優しく、少し癒された。
「いろんな国からいらしてるんですか？大変ですね～」と言ってくれた。
個人的にまた行きます。
外国人がびっくりする料理が出てくるのでSurprise Language ExercisesならぬSurprise Food Exercisesではないかと言われたが気にしない。

明日は自分の言語横断検索タスクの発表だ。

全くおもしろくないはずだが、まず以下の拙文を見ていただこう。

もし君にシソーラス・ナビゲイション(注1)ができ、
各クエリ・タームに適切な重みを与えることができ、
あらゆる検索式に対して集合を検索でき、
文書をスコアと日付により順位付けできるなら…

もし君にトランザクションを記録・分析することができ、
単語に対し強いもしくは弱いステミング(注2)を行うことができ、
フィードバック(注3)の反復によりタームを抽出し、
質問者が求める文献情報を見つけられるなら…

もし君にデッドロックや衝突(注4)をうまく裁きつつ、
自分の陥ったボトルネックをさらすことなく、
再現率と精度を笑顔で迎えつつ、
両者の妥協点を見つけることができるなら…

もし君が厳しい評価に耐え、
気の合うインタフェースを維持することができるなら、
君は手にするだろう、
無限の情報と、データベースのその向こうに広がる世界への鍵を！

(注1)シソーラス・ナビゲイション(thesaurus navigation): キーワードの上位・下位語などにユーザを導くこと。
例えば、「パソコン」と「ウイルス」という検索キーワードを入力したユーザに対して、「パソコンの上位概念にはコンピュータがありますよ」と教えてあげれば、ユーザは最終的に「コンピュータ」と「ウイルス」というキーワードを用いてより有用な検索結果を得ることができるかも知れない。

(注2)ステミング(stemming): 英語テキストなどに対して、検索などの目的で語尾の変化を吸収すること。
例えば文書中のsingingという語のおしりのingを除去し、singにした上でデータベースに登録する。
ユーザがsingerで検索した場合、これもerの除去によりsingにすれば、singingを含む文書を検索できる。
また、accessibilityという語は弱いステミングによればaccessibilになり、強いステミングによればaccessになるかも知れない。

(注3)フィードバック(feedback): レレバンス・フィードバックのこと。

(注4)衝突(collision): デッドロックと同様にデータベース用語。データベースを書き換えようとする複数の矛盾する操作がほぼ同時に要求されてしまうこと。
例えば、二人のユーザが同時に同じデータをそれぞれ書き換えようとするケース。

頭がおかしい検索メイニアックの戯言だと思うであろう。
実はこれは、英City大学のSusan JonesさんがStephen Robertsonに捧げた下記の詩を私が無理矢理訳したものである。
Susanさんと面識はないのだが、「好きなように使っていいわよ」とメイルで許可をいただいた上でここから転載した。
Thank you Susan and Steve!

If you can do thesaurus navigations,
Give every query term its proper weight,
Retrieve a set for all search formulations,
Then rank the documents by score and date --

If you can log and analyse transactions,
Perform word-stemming (either strong or weak),
And follow feed-back loops with term extractions
To find the reference enquirers seek --

If you can handle deadlock and collision
But not betray the bottleneck you're in,
And learn to balance recall with precision
Whilst greeting both impostors with a grin --

If you can stand a tough evaluation,
Maintaining a congenial interface,
Yours is the key to boundless information,
And worlds that lie beyond the database!

何が言いたかったかというと、韻を踏む(rhymeする)のは美しいということである。
ご存知の通り、中国語も韻を踏むことができるが、日本語は基本的に韻を楽しめる言語ではない。

韻を踏むとはすなわち発想支援である。
韻を踏もうと思って文章を考えていると、何かしら書けてしまう。
深層心理が浮かび上がってくる。
私が英語で作詞をする理由のひとつはこれである。
書きやすいからである。

日本の洋楽ロックの雑誌には、歌詞を深読みしすぎた論評が載っていることがある。
単に韻を踏むためにノリで書いたと思われる歌詞について、インタビューで問い詰めたり。
洋楽ロックを語るなら、(しばしば不正確な)和訳ばかり見ていないで、少しでもよいから原文を眺めてみて欲しい。

なお、Susan Jonesさんによれば、英語の詩に韻が登場したのは800年ほど前だそうである。
詳しい方ならすぐわかるだろうが、この彼女の詩はKiplingのIfという有名な詩のパロディである。

ときに、「検索」と「メイニアック」は意識的に少し韻を踏んでいるのにお気づきだろうか。

子育てのためすっかり遠ざかっていたサウンドルームを久々に予約し、少しギターを弾いて声を出した。

試しに二歳の娘を連れていって、私が一時間絶叫している間、自由に遊ばせてみた。
彼女がもっと小さいころにもこの「子連れシンガー」方式を試しことはあったが、そのときは「パパ遊んで」状態になって音楽が全くできず、ストレスがたまった。
しかし、彼女もだいぶん大人になり、一人でパズルや読書をしたり、ソファからソファに飛び移ったりして遊んでくれるようになったので、今回はこの方式で成功であった。
こうすれば奥さんも少し家事を進めることができる。
今日撮ったサウンドルームの様子である。楽譜と絵本とプーさんのパズルが写っている。

ちなみにサウンドルーム使用中には、ドアの上の「ON AIR」という表示が点灯する。
ちょっと違うような気がするが…

ギタリストNに「デモテープ」を早くよこせと言われているので、とりあえずサンヨーの新しいICレコーダを購入した。
(東芝さんすみません。)
先日、日経新聞に載っていたやつである。

これがPCのUSBの穴に直接つきささる。

PCMモードで試し録りしてPCで聴いてみた。確かにいい音!
音楽活動を再開する気が10%くらい湧いてきたぞ。

情報検索入門シリーズ。
意外なことに、現時点では日本語版Wikipediaにrelevance feedback(レレバンス・フィードバック、適合性フィードバック)のエントリは存在しないようである。
私自身はWikipediaの執筆に参加したこともないし今のところする予定もないが、relevance feedbackについて言及せずに検索技術を語ることは不可能なので、簡単に紹介しておく。
以下、私が人工知能学会誌Vol.13 No.1 (1998年)に書いた用語解説「レレバンスフィードバック」からの引用である。

レレバンスフィードバックとは，一言でいうと，とりあえず検索を行ってみて結果をユーザに評価してもらい，この評価情報を利用して検索式を修正する処理のことである．
修正をうまく行って再検索をすれば，よりユーザの要求に近い検索結果が得られるはずである．
さらに，この検索，評価，修正のサイクルを繰り返せば，ユーザの欲しい情報が段階的に得られる可能性がある．
<中略>
ユーザが検索を行う際，あらかじめ検索対象に関する知識を持っていることはまれであり，また検索要求が事前には明確に定まらない場合もある．
たとえ検索要求が明確であても，それを検索システムに可読な形で表現するにはシステムに関する知識が必要となる．
レレバンスフィードバックはこれらの問題に対処するための一手法といえる…

もともとはユーザが「この文書とこの文書は正解。こういうのをもっと検索して」と明示的にシステムに教えるものであった。
しかしこれではユーザも大変なので、例えばWeb検索において、検索結果一覧の中でユーザがクリックした文書や長時間閲覧した文書があれば、これらを正解と見なしてフィードバックを行うことも考えられる。
このようにユーザに意識させないものをimplicit (relevance) feedbackと呼び、従来型をexplicit (relevance) feedbackと呼んで区別することもある。

Explicitであれimplicitであれ、relevance feedbackはユーザからなんらかのフィードバック情報を取得する。
これに対し、ユーザの助けを全く借りずに自動的にフィードバックを行う手法もある。
これをpseudo-relevance feedback(擬似適合性フィードバック、スード・レレバンス・フィードバック)という。
別名、blind (relevance) feedback、local feedback。
検索結果の上位10件くらいを全て正解であると勝手に仮定してしまい、これをもとに検索条件を勝手に変更して、再検索を行うという無茶なやり方である。
もともと1970年代に考案された手法だが、1990年代のTRECにおける大規模検索実験により初めて、これにより検索有効性が平均的には格段に向上することが示された。
ただし、検索課題毎に調べてみると、全検索課題の4分の1くらいについてはフィードバック適用前よりも検索有効性が下がってしまう。
実用性はまだまだである。
いろいろ取り組みはあるが、擬似適合性フィードバックがうまくいくか否かを自動判定するという研究課題は未解決であると言っていいだろう。

なおTRECやNTCIRなどの検索タスクにおける上位チームは皆なんらかの形でpseudo-relevance feedback (PRF)を行っている。
そろそろ、PRFくらい効果のある新しいbreakthroughが欲しいなあ。

情報検索の国際会議としてACM SIGIRの次くらいに有名なものに、RIAO(リアオ)がある。
RIAOの主催国がどこかはIR(information retrieval)のIとRがひっくり返っているところを見れば想像がつくかも知れない。

RIAOはComputer Assisted Information Retrievalに相当するフランス語(アクセント、というかアクサンがめんどくさいので書かないが、上記リンク参照)の頭文字。
Computerを意地でもOrdinateurと呼ぶフランス人の気位は見習いたいが、
最近、会社の若い女性に「計算機」と言ったら話が通じなくてへこんだ。

気を取り直そう。
RIAOはフランスのC.I.D.という機関が主催している国際会議で、基本的に3年に一度開催される。
開催地はフランスと他国を行ったり来たり。
今回のRIAO 2007は5/30-6/1、米Pittsburghにて開催される。
私に届いた採録通知によれば、フルペイパー採択率は25.5%であったそうである。
SIGIRほどではないがやはり競争は激化している。
なお、SIGIRとは違い、ポスター論文はフルペイパーにもれたものから選ばれる。
RIAOはSIGIRよりもマルチメディア志向なので、こちらのほうがおもしろいという人もいるだろう。

ときに、RIAO 2007のチェアのDavid A. Evansの会社Clairvoyance Corporation(ジャストシステムの
子会社)は、JustSystems Evans Research, Inc.という名前に変わったらしい。
Davidは日本語もできるかっこいいおじさんである。

私はRIAO 2007で、東芝時代にやっていたTV番組の話題分割システムについて発表する。
日頃の行いが幸いして一番手(招待講演除く)なので、あとは気楽に遊べそう、いや、動向調査が出来そうである。
Pittsburghは行ったことがないので楽しみ。

前回のRIAO 2004では質問応答システムについて発表してきた。
開催地は仏Avignon。
城壁に囲まれたとても美しい町だった。
歴史ある石畳が犬のフンだらけであることを除けば…

次回のRIAOは2010年。
そのとき私は、あなたは、ニューズウォッチはどうなっているでしょう。

来週(5/15)、NTCIR-6の第一日目に第一回情報アクセス技術評価に関する国際ワークショップEVIA(エヴィア)を開催するが、もうひとつ、裏のイベントを企画している。

EVIAの正式名称はThe First International Workshop on Evaluating Information Access。
一方、同日19時から開催予定のこのイベントはThe First International Workshop on Evaluating Japanese Food (EVJF)。
ようするに宴会である。神保町の居酒屋をぐるなびで予約した。飲み放題つき。

EVIAの発表者およびNTCIRのタスクオーガナイザにCall for Participation(参加案内)を送付したところ、現時点で12名の方から参加表明をいただいている。
国籍を見ると、米国、英国、中国、イタリア、オランダ、日本。まさに国際ワークショップ。
うち一名はユダヤ教の方で、そこらへんのものは食べられないので、弁当持込である。
ユダヤ教の食事規定についてはこちら。
彼には酒の評価を担当していただこう。

日本はユダヤ教徒にとって不便な国らしいが、広尾のJewish Centerというところでは食べ物がゲットできるそうなので、彼が来日したらまずはここに案内しようと思っている。
私は細かい気配りが出来ない人間だが、国際会議を運営しようとすると、各国の文化や宗教などにも配慮が必要で大変らしい。
以前、全く別件でイスラム教徒を横浜に連れて行ったことがあるが、このときにもレストランの選定では苦労した。
せっかく日本に来たのだから食べられるものでなるべくおいしいものを、と思ったのだが、「食べ物には興味がない。ロッテリアでいいよ。」と言われて拍子抜け。

前回のNTCIR-5でも、EVJFと同様のイベントをゲリラ的に開催した。
参加国はロシア、米国、中国、日本(私)。
「What is this made from?」
「Japanese sweet potatoes!」
などと叫びながらみんなで焼酎をかなり飲んで、翌日、二日酔い状態で招待講演をやっていた人もいた。
米国代表は「あんなに大量のアルコールを一度に摂取したのは初めてだ」と言っていた。

EVJFの成果については別途報告予定。

情報検索入門シリーズ。
テストコレクション(test collection)とは、評価用データセットのこと。
特に、様々な研究機関が共有し、異なる研究環境間でも評価結果の比較ができるようしたものを
自前の評価用データと区別するために標準テストコレクション(standard test collection)と呼ぶこともある。

情報検索のテストコレクションは通常、検索対象である文書セットと、検索課題セットと、各検索課題に対する正解(適合文書)セットから構成される。
検索システムを評価する際には、各検索課題をシステムに与えて得られた検索結果に対し平均精度などの評価指標を計算し、さらに評価指標の検索課題セットに関する平均などを算出する。

テストコレクションは歴史的に数百～数千件の文書を扱うものが多かったが、1992年に米国の評価型ワークショップTREC(Text Retrieval Conference)が始まって以来、文書の規模は一気に数十万以上になった。
そのわりに検索課題の数はいまだに50件程度である。
本来は実験の信頼性を高めるために検索課題の桁数も増やすべきだが、人手による正解判定が追いつかないためこのようなバランスの悪い状況になっている。
このためTRECでは、正解判定で手抜きをするかわりに検索課題の数を一万くらいにする(実際の評価に用いるのは千くらい)という試みが始まっている。
ちなみにこの検索タスクの名前はMillion Query Track。なんでやねん。
日本でも何か新企画をやるならとりあえず大風呂敷を広げるに限るな。

さて、TRECの出現に危機感を抱いた日本人のボランティア検索メイニアックたちは、日本初の情報検索用日本語テストコレクションを作成した。
600文書のBMIR-J1(1996年公開)およ5,080文書のBMIR-J2(1998年公開)である。
BMIRは規模こそ小さかったものの、正解判定に多値適合性(高適合・適合)を採用し、検索システムに要求される機能の観点から検索課題を予めグループ化しているというなかなかユニークなものであった。

現在ニューズウォッチの取締役である三池さんはBMIR-J1を作成したボランティアの一人であったが、ニューズウォッチ設立に伴い東芝の研究所を離れたため、BMIR-J2の作成から私が引き継いだ。
そういうわけで、BMIRに関しては以下の文献をご覧いただきたい。
連名になっているのが企業や大学からのボランティアの方々である。BMIR-J1からずっとやられていた方々が多い。

酒井, 小川, 木谷, 石川, 木本, 中渡瀬, 芥子, 豊浦, 福島, 松井, 上田, 徳永, 鶴岡, 安形, 神門:
情報検索システム評価のためのテストコレクション,
Computer Today, Vol.9, No.87, pp.31-35, サイエンス社, 1998.

Sakai, T., Kitani, T., Ogawa, Y., Ishikawa, T., Kimoto, H.,Keshi, I., Toyoura, J., Fukushima, T., Matsui, K., Ueda, Y.,Tokunaga, T., Tsuruoka, H., Nakawatase, H., Agata, T.and Kando, N.:
BMIR-J2: A Test Collection for Evaluation of Japanese Information Retrieval Systems,
ACM SIGIR Forum, Vol.33, No.1, pp.13-17, 1999.

なお、BMIR-J2公開と同じころに発足したNTCIR(再来週開催!)もTRECと同様に数十万以上の文書を扱っているため、今やBMIRの存在意義はかなり薄れたと言っていい。
ただ、NTCIRやTRECのテストコレクションがプーリング(pooling)により作成されたおそらくincompleteなテストコレクションであるのに対し、BMIRは文書集合が小さいだけに正解がより網羅的に列挙されている可能性が高い。
ここでプーリングとは、多数の検索システムによる検索結果を収集し、これらに含まれる文書(の一部)のみに対して正解判定を行うことである。

さて、プーリングの何が悪いのか?
例えば、検索タスクに参加した10チームによる検索結果を全てプールし、これらに含まれる全文書を対象に徹底的に検査して正解データを作成したとしよう。
このあと11番目のチームが現れ、情報検索技術上のとてつもないブレイクスルーを実現したとする。
このチームはブレイクスルーにより、上記10チームが全く検索できなかった適合文書をたくさん検索できている。
ところが、これらの適合文書は上記10チームの検索結果をもとに作成した正解データには含まれていないため、不正解扱いになってしまう。
従って、11番目のシステムの検索有効性は実力よりも相当低く見積もられてしまうのである。

プーリングなどに参加していない未知のシステムに対してもある程度正当な評価を下すテストコレクションは再利用可能(reusable)であるという。
テストコレクションが不完全(incomplete)でない、すなわち完全(complete)であるならば、それは再利用可能なはずである。
適合文書が完璧に網羅されているからである。
一方、不完全であっても再利用可能なテストコレクションは存在しうる。
すなわち、適合文書が網羅されているわけではないが、おおかたの検索システムの評価には役に立つものである。
NTCIRやTRECのテストコレクションの多くはこのような位置づけであろう。
しかし真のブレイクスルーを実現した検索システムに対して、これらのテストコレクションがどの程度役に立つかは…ブレイクスルーが実現されない限り厳密にはわからないだろう。

検索メイニアックを読んで会社に突然電話をかけて来た男と飲みに行った。

と言っても大学時代に一緒にオリジナルバンドをやっていた友人である。
彼はギターで私は作詞作曲ボーカル。サークルで数少ない私の音楽の理解者だった。
音信不通になっていたので「酒井哲也」で検索したという。
ずっと北海道にいると思っていたら4月から新橋に赴任したということで、銀座で飲んだ。
就職してから一回は会ったが、それ以来何年ぶりか考えるのが面倒くさいくらい久しぶりだった。

2次会ではカラオケを歌った。
(ちなみに英語ではkaraokeをキャリオウキーのように発音する。oにアクセント。)
最近、音楽活動は完全にシャットアウトしていたのだが、少しだけ音楽のおもしろさを思い出した。
ギタリストはBilly Joelやら演歌やら幅広く歌っていたが、私が歌ったのは、

The Reflex / Duran Duran
Too Shy / Kajagoogoo
Africa / Toto

など…。ようするに私の中のミュージックシーンは80年代で止まっているらしい。
しかも基本的に自分がロンドンに居た時代で止まっている。

音楽活動を休止しているのは、エネルギー全開の2歳児がいる家では基本的に何もできないからである。
うちのマンションには共用施設に「サウンドルーム」という防音室(ようするにカラオケルーム)があり、
ライブが近づくとここで毎週思い切り声を出していたのだが、最近はすっかりご無沙汰である。
転職活動のため忙しかったのも一因である。
作詞作曲も、最近ではごくたまに友人の結婚式のためにうけ狙いでやるくらいになっている。

しかし、ギタリストとの劇的な再会を通じ、神の意思を感じた。
音楽活動を再開する気が5%くらい出てきた。
というか、ギタリストから有無を言わさずデモテープ(死語?)を送れと言ってきた。
とりあえず黄金週間中にサウンドルームでの声出しは再開しよう。

2歳の娘の話が出たついでに、親バカトークをひとつ。
彼女が「おみせやさんごっこしよう」というので、
「ごめんくださ～い」と言ってやると、
「このおみせに『ごめん』はないので～す」と返された。
むむ、おぬしやるな。