注意確認問題の入れ方と除外の基準｜読まずに答えた回答を見分ける

オンラインのアンケートでは、質問を読まずに回答する人がどうしても一定数います。こうした回答が混ざると、尺度の信頼性が下がったり、条件の差が見えにくくなったりします。この記事では、読まずに答えた回答を見分ける方法と、除外するときの決め方を説明します。

不適切な回答のパターン

• 同じ選択肢を選び続ける: すべての項目に「3」をつけるなど、内容に関係なく同じ列を選ぶ（ストレートライン）
• でたらめに選ぶ: 選択肢をばらばらに選ぶので、一見すると普通の回答に見える
• 極端に速い: 質問を読めないほどの速さで最後まで進む

1 つの方法ですべてを見分けることはできないため、いくつかの方法を組み合わせます。

方法	見分けやすい回答	気をつけること
注意確認問題	指示と違う選択肢を選んだ回答	尺度の途中に入れる。2〜3 問まで
同じ回答の続き	同じ選択肢を選び続ける回答（ストレートライン）	逆転項目のない尺度では、まじめな回答でも同じ値が続く
自由記述の中身	意味のない文字列、どの質問にも同じ文	自由記述の質問があるときだけ使える

方法 1: 注意確認問題を入れる

注意確認問題は、質問文を読んでいれば答えが 1 つに決まる質問です。尺度の項目の間に混ぜて使います。

• 「この項目では『あまりあてはまらない』を選んでください」
• 「この質問には『2』と回答してください」

指示と違う選択肢を選んだ回答は、質問を読まずに答えた可能性が高いと判断できます。

入れるときは次の点に気をつけます。

• 尺度の途中に入れる: フォームの最初に置くと、まだ集中している段階なのでほとんどの人が正解します。回答に慣れて読み飛ばしが起きやすい、尺度の中ほどや後半に入れます
• 見た目をほかの項目と揃える: 注意確認問題だけ形式が違うと、読まなくても目立ってしまいます
• 入れすぎない: 何問も続くと回答者が不快に感じます。長いフォームでも 2〜3 問が目安です
• 研究の説明で触れておく: 謝礼のある調査では、注意確認問題の結果で謝礼を変えるかどうかを、事前に説明しておきます

方法 2: 同じ回答の続きを見る

多くの項目が並ぶマトリックス形式の質問では、同じ選択肢を選んだ割合や、回答のばらつき（標準偏差）を見ることでストレートラインを見つけられます。ただし、逆転項目を含まない尺度では、まじめに答えても同じ値が続くことがあります。逆転項目のある尺度で使うと、見分けやすくなります（「逆転項目の処理と尺度得点の計算」）。

方法 3: 自由記述の中身を見る

自由記述の質問に、意味のない文字列や、どの質問にも同じ文が入っている回答は、読まずに進めた可能性があります。

除外の基準は回答を見る前に決める

いちばん大事なのは、どの回答を除外するかの基準を、データを見る前に決めておくことです。結果を見てから基準を変えると、都合のよい結果を選んだと受け取られかねません。

図 1　除外の基準は回答を見る前に決め、研究計画に書いておく

• 注意確認問題を 1 問でも間違えたら除くのか、2 問以上なのか
• 同じ回答が何割以上続いたら除くのか
• 除外した人数と理由を、論文の方法の節にどう書くか

研究計画や事前登録に基準を書いておき、分析ではその基準をそのまま当てはめます。除外した回答のデータも消さずに残しておくと、あとで基準の妥当性を確かめるときに役立ちます。

Psynaut で設定する場合

Psynaut では、質問ごとに「除外条件」を設定できます。条件に当てはまった回答は、書き出す CSV の「分析対象」の列に「除外」と記録されます。回答そのものは消さないので、基準を変えて確かめ直すこともできます。

• 選択肢: 注意確認問題で、指示と違う選択肢を選んだ回答を除外する
• 数値: 指定した値と違う、指定した範囲から外れる、などの条件で除外する
• マトリックス全体: 同じ値の割合、平均、標準偏差、最大と最小の差を条件にする。「同じ値の割合が 80% 以上」でストレートラインを除外できます
• 自由記述: 文字のパターンで条件を作れます

除外条件は回答を集める前に設定しておけるので、「基準をデータを見る前に決める」ことがそのままフォームの設定として残ります。