スマホの操作挙動からテキトウ回答を探る

荒川研究室では、行動認識の一環で、ウェアラブルIoTデバイスを用いて計測したデータから、メンタルヘルスを推定する研究を進めてきました。

そのときに問題になったのが、質問票への回答信頼度です。授業アンケートなどでも、面倒くさいなと思って、テキトウに回答した経験があるかもしれません。人間は、目標に対して最小限の行動を取るという心理があり、状況によっては、早く終わらせることが目標となることがあります。この行為は、Satisifice(サティシファイス)と呼ばれており、これまでにいくつかの検知手法が提案されています。

従来の検出方式

  1. 回答時間が極端に短い[1]
  2. スクリーニング質問[2]
    1. DQS:回答指示違反
    2. ARS:同じ内容の質問対への回答の矛盾
  3. 回答パターンが怪しい[3]
[1] NTTコムオンライン・マーケティング・リサーチ株式会社, http://research.nttcoms.com/service/qpolicy4.html. 
[2] Maniaci et al., “Caring about carelessness: Participant inattention and its effects on research.” J. Res. Pers., 2014.
[3] 尾崎ら, ”機械学習による不適切回答者の予測,” 行動計量学, 2019.

回答時間に関しては、アンケートの慣れやスマートフォン操作のスキルによってばらつき、必ずしもある閾値で切り分けることが出来ません。また、スクリーニング質問を追加すると、質問数が増えるとともに、回答者が懐疑的になる可能性があるという問題があります。また、回答パターンにテキトウに回答している人と真面目に回答している人が似てしまうパターンも有りえます。

そこで、我々は、回答途中の操作挙動に世界で初めて着目しました(特許出願中)。通常のアンケートでは、最終的に選択されたもの、記入されたものしか、記録として残りませんが、我々のシステムを用いると、回答途中の選択肢変更や、書き直し、逆スクロールによる再確認動作、といったものが記録されます。しかも、世界で幅広く利用されているLime Surveyがそのまま利用可能で、ユーザ側には何もインストールする必要がありません。

このシステムの有効性を評価するために、5692人に対して、既存手法であるARSとDQSを組み込んだアンケートを実施し、スクリーニング質問に対する性能を検証しました。その結果、操作挙動を見るだけで、従来方式で検出可能なテキトウ回答ユーザのうち、85.9%のユーザを検出可能であることを明らかにしました。

Masaki Gogami; Yuki Matsuda; Yutaka Arakawa; Keiichi Yasumoto

Detection of Careless Responses in Online Surveys Using Answering Behavior on Smartphone Journal Article

In: IEEE Access, vol. 9, pp. 53205 - 53218, 2021, ISSN: 2169-3536.

Abstract | Links | BibTeX

後上 正樹,松田 裕貴,荒川 豊,安本 慶一

オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出 Conference

第25回一般社団法人情報処理学会シンポジウム・インタラクション2021, 2021.

Abstract | BibTeX

後上 正樹,松田 裕貴,荒川 豊,安本 慶一

オンラインアンケートにおける不適切回答自動検出に向けた回答操作ログ分析 Conference

第13回データ工学と情報マネジメントに関するフォーラム, 2021.

BibTeX

後上 正樹; 松田 裕貴; 荒川 豊; 安本 慶一

オンラインアンケートの回答信頼性検証に向けた回答時画面操作ログ取得システム Conference

情報処理学会ヒューマンコンピュータインタラクション(HCI)研究会, vol. 2020-HCI-186, no. 35, 2020, ISBN: 2188-8760.

Links | BibTeX

後上 正樹; 谷 優里; 松田 裕貴; 荒川 豊; 安本 慶一

オンラインアンケートの回答信頼性に影響する指標の調査検討- アンケート形式とスマートフォン操作状況の観点から – Conference

情報処理学会関西支部大会, 2019.

Links | BibTeX