荒川研究室では、行動認識の一環で、ウェアラブルIoTデバイスを用いて計測したデータから、メンタルヘルスを推定する研究を進めてきました。
そのときに問題になったのが、質問票への回答信頼度です。授業アンケートなどでも、面倒くさいなと思って、テキトウに回答した経験があるかもしれません。人間は、目標に対して最小限の行動を取るという心理があり、状況によっては、早く終わらせることが目標となることがあります。この行為は、Satisifice（サティシファイス）と呼ばれており、これまでにいくつかの検知手法が提案されています。
従来の検出方式
- 回答時間が極端に短い[1]
- スクリーニング質問[2]
- DQS：回答指示違反
- ARS：同じ内容の質問対への回答の矛盾
- 回答パターンが怪しい[3]
[1] NTTコムオンライン・マーケティング・リサーチ株式会社, http://research.nttcoms.com/service/qpolicy4.html.
[2] Maniaci et al., “Caring about carelessness: Participant inattention and its effects on research.” J. Res. Pers., 2014.
[3] 尾崎ら, ”機械学習による不適切回答者の予測,” 行動計量学, 2019.
回答時間に関しては、アンケートの慣れやスマートフォン操作のスキルによってばらつき、必ずしもある閾値で切り分けることが出来ません。また、スクリーニング質問を追加すると、質問数が増えるとともに、回答者が懐疑的になる可能性があるという問題があります。また、回答パターンにテキトウに回答している人と真面目に回答している人が似てしまうパターンも有りえます。
そこで、我々は、回答途中の操作挙動に世界で初めて着目しました（特許出願中）。通常のアンケートでは、最終的に選択されたもの、記入されたものしか、記録として残りませんが、我々のシステムを用いると、回答途中の選択肢変更や、書き直し、逆スクロールによる再確認動作、といったものが記録されます。しかも、世界で幅広く利用されているLime Surveyがそのまま利用可能で、ユーザ側には何もインストールする必要がありません。
このシステムの有効性を評価するために、5692人に対して、既存手法であるARSとDQSを組み込んだアンケートを実施し、スクリーニング質問に対する性能を検証しました。その結果、操作挙動を見るだけで、従来方式で検出可能なテキトウ回答ユーザのうち、85.9%のユーザを検出可能であることを明らかにしました。
Sorry, no publications matched your criteria.