スマホの操作挙動からテキトウ回答を探る - ヒューマノフィリックシステム研究室 (HumanoPhilic Systems Lab.)

荒川研究室では、行動認識の一環で、ウェアラブルIoTデバイスを用いて計測したデータから、メンタルヘルスを推定する研究を進めてきました。

そのときに問題になったのが、質問票への回答信頼度です。授業アンケートなどでも、面倒くさいなと思って、テキトウに回答した経験があるかもしれません。人間は、目標に対して最小限の行動を取るという心理があり、状況によっては、早く終わらせることが目標となることがあります。この行為は、Satisifice（サティシファイス）と呼ばれており、これまでにいくつかの検知手法が提案されています。

従来の検出方式

回答時間が極端に短い[1]
スクリーニング質問[2]
1. DQS：回答指示違反
2. ARS：同じ内容の質問対への回答の矛盾
回答パターンが怪しい[3]

[1] NTTコムオンライン・マーケティング・リサーチ株式会社, http://research.nttcoms.com/service/qpolicy4.html. 
[2] Maniaci et al., “Caring about carelessness: Participant inattention and its effects on research.” J. Res. Pers., 2014.
[3] 尾崎ら, ”機械学習による不適切回答者の予測,” 行動計量学, 2019.

回答時間に関しては、アンケートの慣れやスマートフォン操作のスキルによってばらつき、必ずしもある閾値で切り分けることが出来ません。また、スクリーニング質問を追加すると、質問数が増えるとともに、回答者が懐疑的になる可能性があるという問題があります。また、回答パターンにテキトウに回答している人と真面目に回答している人が似てしまうパターンも有りえます。

そこで、我々は、回答途中の操作挙動に世界で初めて着目しました（特許出願中）。通常のアンケートでは、最終的に選択されたもの、記入されたものしか、記録として残りませんが、我々のシステムを用いると、回答途中の選択肢変更や、書き直し、逆スクロールによる再確認動作、といったものが記録されます。しかも、世界で幅広く利用されているLime Surveyがそのまま利用可能で、ユーザ側には何もインストールする必要がありません。

このシステムの有効性を評価するために、5692人に対して、既存手法であるARSとDQSを組み込んだアンケートを実施し、スクリーニング質問に対する性能を検証しました。その結果、操作挙動を見るだけで、従来方式で検出可能なテキトウ回答ユーザのうち、85.9%のユーザを検出可能であることを明らかにしました。

Masaki Gogami; Yuki Matsuda; Yutaka Arakawa; Keiichi Yasumoto

Detection of Careless Responses in Online Surveys Using Answering Behavior on Smartphone Journal Article

In: IEEE Access, vol. 9, pp. 53205 - 53218, 2021, ISSN: 2169-3536.

Abstract | Links | BibTeX

@article{9387296,

title = {Detection of Careless Responses in Online Surveys Using Answering Behavior on Smartphone},

author = {Masaki Gogami and Yuki Matsuda and Yutaka Arakawa and Keiichi Yasumoto},

doi = {10.1109/ACCESS.2021.3069049},

issn = {2169-3536},

year  = {2021},

date = {2021-03-26},

journal = {IEEE Access},

volume = {9},

pages = {53205 - 53218},

abstract = {Some respondents make careless responses due to the “satisficing,” which is an attempt to complete a questionnaire as quickly and easily as possible. To obtain results that reflect a fact, detecting satisficing and excluding the responses with satisficing from the analysis targets are required. One of the devised methods detects satisficing by adding questions that check violations of instructions and inconsistencies. However, this approach may cause respondents to lose their motivation and prompt them to satisficing. Additionally, a deep learning model that automatically answers these questions was reported. This threatens the reliability of the conventional method. To detect careless responses without inserting such screening questions, machine learning (ML) detection using data obtained from answer results was attempted in a previous study, with a detection rate of 55.6%, which is not sufficient from the viewpoint of practicality. Therefore, we hypothesized that a supervised ML model with a higher detection rate could be constructed by using on-screen answering behavior as features. However, (1) no existing questionnaire system can record on-screen answering behavior and (2) even if the answering behavior can be recorded, it is unclear which answering behavior features are associated with satisficing. We developed an answering behavior recording plug-in for LimeSurvey, an online questionnaire system used all over the world, and collected a large amount of data (from 5,692 people) in Japan. Then, a variety of features were examined and generated from answering behavior, and we constructed ML models to detect careless responses.We call this detection method the ML-ABS (ML-based answering behavior scale). Evaluation by cross-validation demonstrated that the detection rate for careless responses was 85.9%, which is much higher than the previous ML method. Among the various features we proposed, we found that reselecting the Likert scale and scrolling particularly contributed to the detection of careless responses.},

keywords = {},

pubstate = {published},

tppubtype = {article}

}

Some respondents make careless responses due to the “satisficing,” which is an attempt to complete a questionnaire as quickly and easily as possible. To obtain results that reflect a fact, detecting satisficing and excluding the responses with satisficing from the analysis targets are required. One of the devised methods detects satisficing by adding questions that check violations of instructions and inconsistencies. However, this approach may cause respondents to lose their motivation and prompt them to satisficing. Additionally, a deep learning model that automatically answers these questions was reported. This threatens the reliability of the conventional method. To detect careless responses without inserting such screening questions, machine learning (ML) detection using data obtained from answer results was attempted in a previous study, with a detection rate of 55.6%, which is not sufficient from the viewpoint of practicality. Therefore, we hypothesized that a supervised ML model with a higher detection rate could be constructed by using on-screen answering behavior as features. However, (1) no existing questionnaire system can record on-screen answering behavior and (2) even if the answering behavior can be recorded, it is unclear which answering behavior features are associated with satisficing. We developed an answering behavior recording plug-in for LimeSurvey, an online questionnaire system used all over the world, and collected a large amount of data (from 5,692 people) in Japan. Then, a variety of features were examined and generated from answering behavior, and we constructed ML models to detect careless responses.We call this detection method the ML-ABS (ML-based answering behavior scale). Evaluation by cross-validation demonstrated that the detection rate for careless responses was 85.9%, which is much higher than the previous ML method. Among the various features we proposed, we found that reselecting the Likert scale and scrolling particularly contributed to the detection of careless responses.

後上正樹，松田裕貴，荒川豊，安本慶一

オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出 Conference

第25回一般社団法人情報処理学会シンポジウム・インタラクション2021, 2021.

Abstract | BibTeX

@conference{gogami-interaction2021,

title = {オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出},

author = {後上 正樹，松田 裕貴，荒川 豊，安本 慶一},

year  = {2021},

date = {2021-03-10},

booktitle = {第25回一般社団法人情報処理学会シンポジウム・インタラクション2021},

abstract = {アンケートにおいて，なるべく楽に早くタスクを完了しようとする「Satisficing（努力の最小限化）」という態度により，結果の信頼性が低下する問題がある．より正確な結果を得るためには，Satisficingを検出して分析対象から除外するなどの前対処が必要となる．これまでに，回答時間に基づく検出手法や，指示違反や矛盾を問う質問群を追加する手法が考案されてきた．しかし，前者では回答時間を故意に水増しした回答を適切に除外することができない．また，後者は回答者を疑ってスクリーニングするようなものであり，回答者のモチベーションを損ねてSatisficingを助長してしまう原因となる．そこで我々は，回答時間だけでなく回答中の画面操作を利用することで，より高精度にSatisficingが検出可能になるのではないかという仮説を立てた．しかしながら，（1）画面操作が記録可能なアンケートシステムが存在しない，（2）記録できたとしてどのような特徴がSatisficingと関連しているのか不明であった．そこで，我々は世界中で利用されているLimeSurvey用の画面操作記録プラグインを開発し，多人数（5692人）の様々な画面操作ログを収集して，機械学習によるSatisficing検出を行なった．Leave One Out交差検証による評価の結果，検出率は85.9%を達成し，同様のタスクに取り組んだ先行研究の検出率55.6%を大幅に上回るものとなった．また，本稿で新たに提案した特徴量の中では，スクロールに関連する特徴の寄与率が高い一方で，テキストの削除に関する特徴の寄与率は低い結果となった．},

keywords = {},

pubstate = {published},

tppubtype = {conference}

}

後上正樹，松田裕貴，荒川豊，安本慶一

オンラインアンケートにおける不適切回答自動検出に向けた回答操作ログ分析 Conference

第13回データ工学と情報マネジメントに関するフォーラム, 2021.

BibTeX

後上正樹; 松田裕貴; 荒川豊; 安本慶一

オンラインアンケートの回答信頼性検証に向けた回答時画面操作ログ取得システム Conference

情報処理学会ヒューマンコンピュータインタラクション（HCI）研究会, vol. 2020-HCI-186, no. 35, 2020, ISBN: 2188-8760.

Links | BibTeX