オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出

Abstract

アンケートにおいて，なるべく楽に早くタスクを完了しようとする「Satisficing（努力の最小限化）」という態度により，結果の信頼性が低下する問題がある．より正確な結果を得るためには，Satisficingを検出して分析対象から除外するなどの前対処が必要となる．これまでに，回答時間に基づく検出手法や，指示違反や矛盾を問う質問群を追加する手法が考案されてきた．しかし，前者では回答時間を故意に水増しした回答を適切に除外することができない．また，後者は回答者を疑ってスクリーニングするようなものであり，回答者のモチベーションを損ねてSatisficingを助長してしまう原因となる．そこで我々は，回答時間だけでなく回答中の画面操作を利用することで，より高精度にSatisficingが検出可能になるのではないかという仮説を立てた．しかしながら，（1）画面操作が記録可能なアンケートシステムが存在しない，（2）記録できたとしてどのような特徴がSatisficingと関連しているのか不明であった．そこで，我々は世界中で利用されているLimeSurvey用の画面操作記録プラグインを開発し，多人数（5692人）の様々な画面操作ログを収集して，機械学習によるSatisficing検出を行なった．Leave One Out交差検証による評価の結果，検出率は85.9%を達成し，同様のタスクに取り組んだ先行研究の検出率55.6%を大幅に上回るものとなった．また，本稿で新たに提案した特徴量の中では，スクロールに関連する特徴の寄与率が高い一方で，テキストの削除に関する特徴の寄与率は低い結果となった．

Links

BibTeX (Download)

@conference{gogami-interaction2021,
title = {オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出},
author = {後上 正樹，松田 裕貴，荒川 豊，安本 慶一},
year  = {2021},
date = {2021-03-10},
booktitle = {第25回一般社団法人情報処理学会シンポジウム・インタラクション2021},
abstract = {アンケートにおいて，なるべく楽に早くタスクを完了しようとする「Satisficing（努力の最小限化）」という態度により，結果の信頼性が低下する問題がある．より正確な結果を得るためには，Satisficingを検出して分析対象から除外するなどの前対処が必要となる．これまでに，回答時間に基づく検出手法や，指示違反や矛盾を問う質問群を追加する手法が考案されてきた．しかし，前者では回答時間を故意に水増しした回答を適切に除外することができない．また，後者は回答者を疑ってスクリーニングするようなものであり，回答者のモチベーションを損ねてSatisficingを助長してしまう原因となる．そこで我々は，回答時間だけでなく回答中の画面操作を利用することで，より高精度にSatisficingが検出可能になるのではないかという仮説を立てた．しかしながら，（1）画面操作が記録可能なアンケートシステムが存在しない，（2）記録できたとしてどのような特徴がSatisficingと関連しているのか不明であった．そこで，我々は世界中で利用されているLimeSurvey用の画面操作記録プラグインを開発し，多人数（5692人）の様々な画面操作ログを収集して，機械学習によるSatisficing検出を行なった．Leave One Out交差検証による評価の結果，検出率は85.9%を達成し，同様のタスクに取り組んだ先行研究の検出率55.6%を大幅に上回るものとなった．また，本稿で新たに提案した特徴量の中では，スクロールに関連する特徴の寄与率が高い一方で，テキストの削除に関する特徴の寄与率は低い結果となった．},
keywords = {mental health},
pubstate = {published},
tppubtype = {conference}
}