社会調査では代理回答が起こっていることが分かっている。
- 雄太郎花田, 海人仲田, & 寧佐藤. (2014). Ce5-3 郵送調査における代理回答分析と有効回答率の再定義: 内閣府の郵送世論調査の結果から(一般セッション 社会(2)). 日本行動計量学会大会抄録集, 42, 384–385. https://doi.org/10.20742/pbsj.42.0_384
郵送調査は高い有効回収率が実現できる手法として、自治体やマスコミでの活用が広がっている。反面、調査対象者と顔を合わせて確認ができる調査員調査とは異なり、代理者による回答を直接的に防ぐことができないことが問題視されることもある
一番思い浮かべやすいのは、夫が働き、妻が専業主婦の過程で、夫を対象とした郵送調査が来た時に、夫が忙しいからと妻が代わりに回答して、郵送するといったパターンであろうか。
代理回答をしたと自己申告した票が2325票のうちの61票と2.6%あった。住基台帳からサンプルを選んであるため、性別・年齢はあらかじめ判明している。性別と年齢が間違っている票が43票、無回答が30票あった。無回答は匿名性の担保になると思った可能性があるため、43票の回答が本人が行ったが疑わしいと言える。
代理回答の信頼性
Alwinの論文より。
- Alwin, D. F., & Duane, F. (2010). How good is survey measurement? Assessing the reliability and validity of survey measures. Handbook of Survey Research, 2, 405–434.
調査データに対してよく言われる不満のひとつは、調査データが求める自己報告が本質的に信頼できないというものである。自己報告には限界があるが、回答者は他者に関する情報よりも自分自身に関する情報を報告する方が優れている。代理報告は自己報告と同程度に優れていると主張する人もいる（Sudman, Bradburn, & Schwarz, 1996, p.243）が、我々の最も優れたエビデンスによれば、平均して自己報告の方が代理報告よりも信頼性が高い。例えば、Alwin (2007, pp. 152-153)は、同じ回答者が自己と他者について報告した、同じまたは類似の内容を含む小さな変数の対照比較を報告している。その結果、自己報告は代理情報提供者による二次報告よりも信頼できる傾向があるという結論が補強された。とはいえ、含まれる事実情報の種類については、代理報告もそれほど信頼できないものではなかった。(p.423)
One complaint often lodged against survey data is that the self-reports they request are intrinsically unreliable. While self-reports have limitations, respondents are better at reporting information on themselves than about others. Some have argued that proxy reports are as good as self-reports (Sudman, Bradburn, & Schwarz, 1996, p. 243), but our best evidence indicates that on average self-reports are more reliable than proxy reports. Alwin (2007, pp. 152–153), for example, reported a controlled comparison of a small set of variables involving the same or similar content in which the same respondents reported for self and others. Its results reinforced the conclusion that self-reports tend to be more reliable than second-hand reports by proxy informants. Nonetheless, for the types of factual information included, the proxy reports were not all that unreliable.
情報の種類によって代理回答の信頼性は変わるようだ。
- Sudman, S., Bradburn, M. M., & Schwarz, N. (1996). Thinking about answers: The application of cognitive processes to survey methodology. San Francisco, CA: Jossey-Bass.
Alwin(2007)の方をみてみよう。
- Alwin, D. F. (2007). Margins of error: A study of reliability in survey measurement. Wiley-Interscience.
7.2 代理報告
調査研究において、代理人によるデータ収集はよくあることである。調査の回答者は、配偶者や子供、時には友人や同僚など、他の人について質問されることが多い。他人の特性について報告するプロセスと、より一般的な自己報告法には違いがあるため、代理報告と自己報告では測定誤差の性質が異なることが予想される(Blair, Menon and Bickart, 1991)。しかし、最近の証拠によると、「多くの行動やいくつかの態度についてさえ、代理報告は自己報告よりも有意に正確性が低いわけではない」ことが示唆されている(Sudman, Bradburn and Schwarz, 1996, p. 243)。というのも、すべてのケースで自己報告が得られることはめったになく、代理人がその人に関する唯一の情報源（たとえば世帯主）であることが多いからである。しかし、このトピックに関する広範な文献では、代理人による報告の質に関して一貫性のない結果が示されていることに注意すべきである（Moore, 1988参照）。
我々の研究は、測定の信頼性に関して、自己報告か代理報告か、また測定誤差の問題に取り組むことができる。例えば、回答者の学歴と配偶者の学歴のように、質問の内容が同一で、同じ人がそれぞれのケースで、通常は質問票の異なる場所で報告している場合である。これらの結果を表7.2に示す。事実上すべてのケースで、自己報告式測定は代理報告式測定よりも信頼性が高い。6つの変数の平均では、その差は約0.90であり、リストワイズ・プレゼンテーションの結果では30であった。それにもかかわらず、この差の統計的検定（6つのケースに基づく）はわずかに有意であり（p< .02）、ケースの数が少ないことを考えると注目に値する。アリソンモデルを用いた場合、得られた差はわずかに小さく、差の系統的な性質はあまり明らかではないが、全体として2つの結果はほぼ一致している。このことから、代理報告は自己報告よりも有意に信頼性が低いと結論づけられる。しかし、この結論のより広範な推論的根拠を得るためには、さらなる研究が必要である。(pp. 152-153)
7.2 PROXY REPORTS
Gathering data by proxy in survey research is commonplace. Respondents to surveys are often asked questions about other people, including their spouses and children, and sometimes, their friends and coworkers. Because of differences in the process of reporting about the characteristics of others and the more common self-report method, one would expect that the nature of measurement errors might be different for proxy vs. self-reports(Blair, Menon and Bickart, 1991).Recent evidence,however, suggests that “for many behaviors and even for some attitudes, proxy reports are not significantly less accurate than self-reports (Sudman, Bradburn and Schwarz, 1996, p. 243). If true, this is an encouraging result because it is seldom possible to obtain self-reports in all cases and the proxy is frequently the only source of information on the person in question, e.g., the head of household. We should note, however, that the broader literature on this topic presents inconsistent results regarding the quality of reporting by proxies (see Moore, 1988).
Our study can address the issue of self- versus proxy reporting and measurement error with respect to the reliability of measurement. We compared six measures involving self-reports with six measures involving proxy reports (in this case reports on spouses) where the content of the questions was identical,e.g., respondent’s education versus spouse’s education, and the same person is reporting in each case, usually at a different place in the questionnaire.These results are shown in Table 7.2. In virtually every case the self-report measure is higher in reliability than the proxy-report measures. On average across the six variables, the difference is approximately .90 versus 30using the listwise-present results, which, if based on a larger sample of measures, would certainly be considered a substantively meaningful difference. The statistical test of this difference (based on six cases) is nonetheless marginally significant (p< .02),which is remarkablegiven the small number of cases. Thedifferenceobtained is slightly smaller using the Allison model, and the systematic nature of the difference is less apparent, but overall the two sets of results are largely consistent. This leads us to conclude that proxy reports are significantly less reliable than are self-report measures, which is consistent with both theory and experience. Further research is necessary, however, to create a broader inferential basis for this conclusion.
