メンタルヘルスチェックやクラウドソーシングなど，オンラインアンケートシステムは様々なところで使われていますが，回答者や回答状況によっては，テキトウな回答（論文中ではSatisficeと呼ぶ）も多くなるという問題が知られています．テキトウな回答なのか，真剣に考えた回答なのかを区別する方法は，１）回答速度や２）引っ掛け問題，が考えられてきましたが，検出率が完全でない上に問題数が増えるという問題がありました．そこで，少なくとも問題数を増やすことなく，同等の検出ができないかと考えて，回答挙動（選択肢の変更やスクロール具合など）との関係性からテキトウ回答を検出できないか検討を重ねてきました．
本論文は，約6000名に対するアンケート実験を敢行し，提案システムによる検出精度を評価したものとなります．結論から言うと，問題数を増やすことなく，85.9%の精度でSatisficeを検出可能であることが明らかになりました．
Masaki Gogami; Yuki Matsuda; Yutaka Arakawa; Keiichi Yasumoto Detection of Careless Responses in Online Surveys Using Answering Behavior on Smartphone Journal Article IEEE Access, pp. 1-1, 2021, ISSN: 2169-3536. @article{9387296, title = {Detection of Careless Responses in Online Surveys Using Answering Behavior on Smartphone}, author = {Masaki Gogami and Yuki Matsuda and Yutaka Arakawa and Keiichi Yasumoto}, doi = {10.1109/ACCESS.2021.3069049}, issn = {2169-3536}, year = {2021}, date = {2021-01-26}, journal = {IEEE Access}, pages = {1-1}, abstract = {Some respondents make careless responses due to the “satisficing,” which is an attempt to complete a questionnaire as quickly and easily as possible. To obtain results that reflect a fact, detecting satisficing and excluding the responses with satisficing from the analysis targets are required. One of the devised methods detects satisficing by adding questions that check violations of instructions and inconsistencies. However, this approach may cause respondents to lose their motivation and prompt them to satisficing. Additionally, a deep learning model that automatically answers these questions was reported. This threatens the reliability of the conventional method. To detect careless responses without inserting such screening questions, machine learning (ML) detection using data obtained from answer results was attempted in a previous study, with a detection rate of 55.6%, which is not sufficient from the viewpoint of practicality. Therefore, we hypothesized that a supervised ML model with a higher detection rate could be constructed by using on-screen answering behavior as features. However, (1) no existing questionnaire system can record on-screen answering behavior and (2) even if the answering behavior can be recorded, it is unclear which answering behavior features are associated with satisficing. We developed an answering behavior recording plug-in for LimeSurvey, an online questionnaire system used all over the world, and collected a large amount of data (from 5,692 people) in Japan. Then, a variety of features were examined and generated from answering behavior, and we constructed ML models to detect careless responses.We call this detection method the ML-ABS (ML-based answering behavior scale). Evaluation by cross-validation demonstrated that the detection rate for careless responses was 85.9%, which is much higher than the previous ML method. Among the various features we proposed, we found that reselecting the Likert scale and scrolling particularly contributed to the detection of careless responses.}, keywords = {}, pubstate = {published}, tppubtype = {article} } Some respondents make careless responses due to the “satisficing,” which is an attempt to complete a questionnaire as quickly and easily as possible. To obtain results that reflect a fact, detecting satisficing and excluding the responses with satisficing from the analysis targets are required. One of the devised methods detects satisficing by adding questions that check violations of instructions and inconsistencies. However, this approach may cause respondents to lose their motivation and prompt them to satisficing. Additionally, a deep learning model that automatically answers these questions was reported. This threatens the reliability of the conventional method. To detect careless responses without inserting such screening questions, machine learning (ML) detection using data obtained from answer results was attempted in a previous study, with a detection rate of 55.6%, which is not sufficient from the viewpoint of practicality. Therefore, we hypothesized that a supervised ML model with a higher detection rate could be constructed by using on-screen answering behavior as features. However, (1) no existing questionnaire system can record on-screen answering behavior and (2) even if the answering behavior can be recorded, it is unclear which answering behavior features are associated with satisficing. We developed an answering behavior recording plug-in for LimeSurvey, an online questionnaire system used all over the world, and collected a large amount of data (from 5,692 people) in Japan. Then, a variety of features were examined and generated from answering behavior, and we constructed ML models to detect careless responses.We call this detection method the ML-ABS (ML-based answering behavior scale). Evaluation by cross-validation demonstrated that the detection rate for careless responses was 85.9%, which is much higher than the previous ML method. Among the various features we proposed, we found that reselecting the Likert scale and scrolling particularly contributed to the detection of careless responses. |
関連論文
後上 正樹，松田 裕貴，荒川 豊，安本 慶一 オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出 Conference 第25回一般社団法人情報処理学会シンポジウム・インタラクション2021, 2021. @conference{gogami-interaction2021, title = {オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出}, author = {後上 正樹，松田 裕貴，荒川 豊，安本 慶一}, year = {2021}, date = {2021-03-10}, booktitle = {第25回一般社団法人情報処理学会シンポジウム・インタラクション2021}, abstract = {アンケートにおいて，なるべく楽に早くタスクを完了しようとする「Satisficing（努力の最小限化）」という態度により，結果の信頼性が低下する問題がある．より正確な結果を得るためには，Satisficingを検出して分析対象から除外するなどの前対処が必要となる．これまでに，回答時間に基づく検出手法や，指示違反や矛盾を問う質問群を追加する手法が考案されてきた．しかし，前者では回答時間を故意に水増しした回答を適切に除外することができない．また，後者は回答者を疑ってスクリーニングするようなものであり，回答者のモチベーションを損ねてSatisficingを助長してしまう原因となる．そこで我々は，回答時間だけでなく回答中の画面操作を利用することで，より高精度にSatisficingが検出可能になるのではないかという仮説を立てた．しかしながら，（1）画面操作が記録可能なアンケートシステムが存在しない，（2）記録できたとしてどのような特徴がSatisficingと関連しているのか不明であった．そこで，我々は世界中で利用されているLimeSurvey用の画面操作記録プラグインを開発し，多人数（5692人）の様々な画面操作ログを収集して，機械学習によるSatisficing検出を行なった．Leave One Out交差検証による評価の結果，検出率は85.9%を達成し，同様のタスクに取り組んだ先行研究の検出率55.6%を大幅に上回るものとなった．また，本稿で新たに提案した特徴量の中では，スクロールに関連する特徴の寄与率が高い一方で，テキストの削除に関する特徴の寄与率は低い結果となった．}, keywords = {}, pubstate = {published}, tppubtype = {conference} } アンケートにおいて，なるべく楽に早くタスクを完了しようとする「Satisficing（努力の最小限化）」という態度により，結果の信頼性が低下する問題がある．より正確な結果を得るためには，Satisficingを検出して分析対象から除外するなどの前対処が必要となる．これまでに，回答時間に基づく検出手法や，指示違反や矛盾を問う質問群を追加する手法が考案されてきた．しかし，前者では回答時間を故意に水増しした回答を適切に除外することができない．また，後者は回答者を疑ってスクリーニングするようなものであり，回答者のモチベーションを損ねてSatisficingを助長してしまう原因となる．そこで我々は，回答時間だけでなく回答中の画面操作を利用することで，より高精度にSatisficingが検出可能になるのではないかという仮説を立てた．しかしながら，（1）画面操作が記録可能なアンケートシステムが存在しない，（2）記録できたとしてどのような特徴がSatisficingと関連しているのか不明であった．そこで，我々は世界中で利用されているLimeSurvey用の画面操作記録プラグインを開発し，多人数（5692人）の様々な画面操作ログを収集して，機械学習によるSatisficing検出を行なった．Leave One Out交差検証による評価の結果，検出率は85.9%を達成し，同様のタスクに取り組んだ先行研究の検出率55.6%を大幅に上回るものとなった．また，本稿で新たに提案した特徴量の中では，スクロールに関連する特徴の寄与率が高い一方で，テキストの削除に関する特徴の寄与率は低い結果となった． |
後上 正樹，松田 裕貴，荒川 豊，安本 慶一 オンラインアンケートにおける不適切回答自動検出に向けた回答操作ログ分析 Conference 第13回データ工学と情報マネジメントに関するフォーラム, 2021. @conference{gogami-deim2021, title = {オンラインアンケートにおける不適切回答自動検出に向けた回答操作ログ分析}, author = {後上 正樹，松田 裕貴，荒川 豊，安本 慶一}, year = {2021}, date = {2021-03-01}, booktitle = {第13回データ工学と情報マネジメントに関するフォーラム}, keywords = {}, pubstate = {published}, tppubtype = {conference} } |
後上 正樹; 松田 裕貴; 荒川 豊; 安本 慶一 オンラインアンケートの回答信頼性検証に向けた回答時画面操作ログ取得システム Conference 情報処理学会ヒューマンコンピュータインタラクション（HCI）研究会, 2020-HCI-186 (35), 2020, ISBN: 2188-8760. @conference{weko_202591_1, title = {オンラインアンケートの回答信頼性検証に向けた回答時画面操作ログ取得システム}, author = {後上 正樹 and 松田 裕貴 and 荒川 豊 and 安本 慶一}, url = {http://id.nii.ac.jp/1001/00202497/}, isbn = {2188-8760}, year = {2020}, date = {2020-01-08}, booktitle = {情報処理学会ヒューマンコンピュータインタラクション（HCI）研究会}, volume = {2020-HCI-186}, number = {35}, pages = {1 -- 6}, institution = {奈良先端科学技術大学院大学, 奈良先端科学技術大学院大学, 九州大学, 奈良先端科学技術大学院大学}, keywords = {}, pubstate = {published}, tppubtype = {conference} } |
後上 正樹; 谷 優里; 松田 裕貴; 荒川 豊; 安本 慶一 オンラインアンケートの回答信頼性に影響する指標の調査検討- アンケート形式とスマートフォン操作状況の観点から – Conference 情報処理学会関西支部大会, 2019. @conference{gogami-kansai-2019, title = {オンラインアンケートの回答信頼性に影響する指標の調査検討- アンケート形式とスマートフォン操作状況の観点から \textendash}, author = {後上 正樹 and 谷 優里 and 松田 裕貴 and 荒川 豊 and 安本 慶一}, url = {http://arakawa-lab.com/wp-content/uploads/2019/12/D-09.pdf}, year = {2019}, date = {2019-09-23}, booktitle = {情報処理学会関西支部大会}, keywords = {}, pubstate = {published}, tppubtype = {conference} } |