Is Relevance Relevant? (coiera_iamia_2008)

Is Relevance Relevant? User Relevance Ratings May Not Predict the Impact of Internet Search on Decision Outcomes, ENRICO W. COIERA, VICTOR VICKLAND, Journal of the American Medical Informatics Association Volume 15 Number 4 July / August 2008

目的

  • 利用者が判断したdocumentの関連度と検索語のdecision outcomeは相関するかどうかを調べる

実験デザイン

  • 実験参加者:227名の学生
  • 課題:ランダムに割り当てられた4つのconsumer health questions(Yes/Noで答える課題)
    • q1:従来の低エネルギー、低脂肪ダイエットよりも低糖質、高タンパクの方がよいという証拠はありますか?>>答えはNo
    • q2:家族に乳がん歴がある女性の乳がん発症率が多いという証拠はありますか?>>答えはYes
    • q3:風邪の予防にビタミンCが効くということを示すを証拠はありますか?>>答えはNo
    • q4:蚊に刺されてAISDになることを示す証拠はありますか?>>答えはNo
  • 検索システム:インタフェースは同じで性能の異なる2つのシステムからランダムに選ばれた1つ
    • clinical search engine:健康情報の検索用に最適化されたサーチエンジン、高性能
    • general search engine:一般的な教材検索用のサーチエンジン、低性能
  • 手続き:検索前にまず課題に答え、検索後にまた課題に答える
  • 尺度:検索したdocumentの関連度,各課題に対する事前事後の答え
  • 分析:ROC,AUCを計算して弁別力を分析

結果

  • documentの関連度は以下を予測することができなかった。
  • 利用者が正しい答えを見つけられるかどうか
  • 性能に有意な違いがあるシステムの差別
  • 利用者が課題に対する知識を多く持つ場合だけ、関連度は予測力を持った。

結論

  • 関連度は一般的な目的で使われる検索エンジンの設計にはあまり役立たない。
  • より自然な尺度は利用者が課題を達成する正確さかもしれない。
    Category: [論文] - 13:49:15


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-04-13 (火) 20:50:44 (2775d)