网站首页 > 社会心理> 文章内容

认知心理学视角下社会调查中的无应答问题与解决方法

※发布时间:2020-10-28 11:53:31   ※发布作者:habao   ※出自何处: 

  本文梳理了认知心理学指导下的社会调查方法的相关文献,总结了在认知心理学对“应答”新定义的基础上,社会调查周期中的无应答误差和测量误差的认知心理致因与处理方法,探讨了拒访、访员效应和社会期望偏差的认知心理基础。文章进一步分析亚洲晴雨表中国部分最近三波的一手调查数据,呈现了中国社会调查中选项无应答的分布以及成因。回归分析表明,除了性别与城乡属性这些个人客观特征之外,主观因素,包括对的兴趣、信息的获取以及顾虑对选项无应答有比较稳健和显著的影响。针对认知心理因素对无应答和测量误差的影响以及数据的发现,文章提出了降低误差、提查质量的具体。

  项目基金:本文受到上海市浦江人才计划项目“地方领导干部绩效激励模式的比较与优化对策研究”(项目批准号:17PJC021)和复旦大学社会科学高等研究院2018年度主题项目的资助。

  作者简介:左才,学博士,复旦大学国际关系与公共事务学院副教授,复旦大学社会科学高等研究院2018年驻院研究员(上海 200433)。

  社会调查是以系统的科学方法收集信息以构建出对研究总体特征的定量描述。中国当代社会调查始于20世纪70年代末以后社会学和学的恢复。1986年10月和12月先后成立了第一家学术性调查与研究机构——中国人民大学研究所和第一家民营的社会调查机构——中国社会调查所。①自80年代初,不同的主体,包括部门、群团组织、学术机构、以及调查企业,开展了一系列的社会调查,掀起了一场新的中国社会调查运动。②“社会调查方致力于识别与社会调查成本和质量相关的调查设计、调查数据收集和分析的一系列原则。这意味着社会调查方关注如何在维持成本不变的情况下提查质量,或者在质量不变的情况下降低调查成本。”③因此,社会调查方中天然地存在一种权衡:提高质量往往意味着更高的调查成本,因此在成本和现实可行性等因素的下,研究人员在设计社会调卷时需要决定哪些方面可以做出适当的,从而一定的调查质量。而对社会调查方法的研究就是明确不同类型的误差如何影响调查质量,从而帮助研究人员做出上述决定并在成本约束下干预误差的导致因素以提查质量。

  传统的应答(response)理论认为,个人对不同议题拥有明确态度或偏好,对态度等主观态度问题的应答反映的是受访人对于某个议题的固定偏好。近二十年来,伴随着认知心理学的发展,社会科学家认为,大多数情况下,人们对议题不存在明确的态度或偏好,对社会调查中问题的应答不过是在个人潜在回答分布中的随机提取。④比如约翰·扎勒(John Zaller)的RAS理论模型(Reception-Acceptance-Sampling)认为,⑤对问卷中问题的回答其实是采访当下受访人脑中闪过的即时显著(immediately salient)的观点,并没有经过仔细考虑。社会调查中的回答并不反映偏好,而只是观点陈述(opinion statements),是个人关于某个议题的观点或倾向中的一个随机提取的样本而已。由于不同情境下在受访人脑中获得显著地位的观点不一样,同一个人对同一个问题在不同时间点的回答也会不一样。

  对“应答”的这种重新定义将访员与受访人的互动以及受访人的情绪等偶然因素纳入到了调查质量的考察之中,包括受访人在回答某些题目时产生焦虑以及使用满意化策略(satificing)。⑥这些考量催生了对采访过程因素等并行数据的采集和分析。通过收集和分析包括受访者社区、家庭、采访时是否有外人在场、受访者参与访问的兴趣、配合程度以及理解能力、受访者对调查的疑虑等方面的并行数据,可以对问卷数据的可信性进行评估。⑦这里的因素既包括采访场所访员与受访人互动的,也包括采访发生时的社会热点与新闻。个理大致上包括认知、态度和情感意志等。采访中的问题,包括题干内容和提问方式会传递出相应的信息,而因素通过影响受访人对这些信息的处理,而对认知、态度和情感意志这三个方面产生影响,从而影响受访人的最终回答。

  最近三十余年,在分析调查环节不同类型误差的致因方面,越来越多的研究人员开始关注认知心理因素对无应答误差和测量误差的影响,并在问卷设计、访员培训、并行数据的采集和分析等方面提出具体的改进。本文将梳理和回顾认知心理理论对社会调查研究方法的贡献和,呈现社会调查方法基于认知心理因素分析上的新发展,为国内社会调查相关研究提供知识储备。接下来首先对社会调查误差中的认知心理归因与处理进行梳理,然后聚焦一个具体案例,分析在中国开展的若干社会调查中的选项无应答现象,呈现无应答的分布情况以及导致无应答的主观因素。最后基于前两部分的分析进行总结和提出。

  在社会调查周期的所有误差中,⑧无应答误差与测量误差,与其他类型的无应答误差相比,更多地受到因素以及受访人主观心理因素的影响。本节将分析导致无应答误差和测量误差的认知心理因素以及如何针对这些主观因素采取相应措施以降低误差。

  无应答包括在调查的数据采集过程中,无法获得某个选中受访人的任何一项回答,即单元无应答(UNR,unit nonresponse)以及选中受访人对具体某个或某些问题不作出回答,即选项无应答(INR,item nonresponse),包括“不知道”“回答”“没有观点”等情况。无应答误差指由于无应答的存在使得基于调查得出的参数估计与样本总体参数之间存在不一致。

  拒访指的是合格的受访对象缺乏参与调查的意愿。罗伯特·格罗夫斯和他的合作者提出了受访人参与社会调查的理论,他们认为受访人参与社会调查的动机主要包括:互惠、对权威的尊重、渴求自己的声音被听到、认可调查主持机构等。⑨而拒访的原因则大致包括对调查缺乏兴趣、对访员缺乏信任、担心个人数据的泄露、认为调查没有意义和耽误时间等。受访对象个人特征、项目设计、访员特征、田野执行情况、社会和文化氛围等因素都会影响受访对象的配合程度。⑩约翰·布雷姆(John Brehm)提出了一个分析受访人参与社会调查的分析模型,其中影响受访人参与某项社会调查的因素主要是受访人与访员的关系、受访人的状态(包括健康、情绪)等。(11)研究者总结了以下拒访致因:(1)社会因素,大城市的拒访率较高,多人住户的拒访率低于单人住户;(2)个人因素,在美国,非白人群体的拒访率高于白人群体,高拒访率人群的社会参与程度也较低,并且男性的拒访率高于女性;(3)访员因素,比较有经验的访员采访时拒访率更低;(4)社会调查设计,包括访问的长度和采访附加的物质激励等。(12)社会调查的开展机构属性也会影响回答率。由于公共部门的权威,部门开展的社会调查的回答率一般高于其他机构开展的社会调查。而社会调查在一个国家的普及程度以及总的社会,包括对社会调查的信任程度,也对拒访率有直接的影响。比如在伊斯兰世界,人们对社会调查的信任程度普遍比较低,(13)这无疑会提高拒访率。

  社会心理学的相关理论有助于我们了解拒访发生的心理机制,比如杠杆作用显著理论(Leverage Salience Theory)、经济交换理论(Economic Exchange Theory)、社会交换理论(Social Exchange Theory)、认知失调理论(Cognitive Dissonance Theory)。以杠杆作用显著理论为例,不同受访人有不同的特质组合,比如有些人对某类调查的主题更感兴趣,有些人对调查持续的时长更,有些人对调查的物质激励更,这些特质是采访人员事先无法获悉的;访员在一开始接触受访对象介绍调查项目时,会强调不同的方面,比如调查的主持机构和主题,这使得某些受访对象,比如认可主持机构和对主题感兴趣的,更有可能同意参与调查。在这个理论的指导下,访员需要尽快找到受访对象显著关心的方面并依此对介绍内容做出迅速的调整。同时,并行数据也有助于及时对受访人的意愿进行干预,比如“通过联系结果的记录和实时回传,给不同类型的拒访者寄送项目宣传手册、基于项目数据的出版物、礼品等,对受访者拒访的意愿进行逆转,降低拒访率”。(14)

  其次,较多研究表明恰当给予物质激励,通过作用于受访对象的心理,能在一定程度上降低各类社会调查的拒访率,即便是在对社会调查有较多怀疑的国家。(15)物质激励给予的方式、时间点以及调查的方式对物质激励的效果有影响:调查前支付物质激励的方式比完成调查后给予物质励能带来更高的调查合作率;现金形式的物质激励比礼物、彩票或慈善捐助的形式对合作率的积极影响更大。(16)通过总结分析40多个实验研究,研究人员发现与其他方式相比,邮寄问卷调查中预先支付物质激励的方式能给合作率带来最大的回报。(17)并且与其他群体相比,收入水平和受教育水平较低、年轻人、少数族裔群体更容易受到物质激励的刺激而参与社会调查。(18)也有研究者对使用物质激励的做法提出了质疑:尽管能够提高应答率,但可能会降低回答的质量。由于物质刺激才参与某项调查而对调查本身缺乏实质动力和兴趣有可能会增加敷衍了事草率答题的行为,从而影响回答的质量。虽然这个观点还没有得到数据的支持。

  访员的行为是影响调查质量的重要因素。比如访员臆答(即对问卷中的某些问题不提问受访者而自填答案)或者在访问过程中、催促受访者等访员行为都会导致测量误差。但测量误差的这些致因与认知心理学的关联不大。相反地,认知心理学强调的社会调查中的访员效应主要体现在访员的某些特质在问一些题目时导致受访对象的焦虑,从而影响答题质量,导致测量误差。受访人到的采访员的社会阶层、教、种族,以及性别取向都会对受访人回答某些问题产生影响,这些影响统称为采访员效应。

  数据显示,美国黑人群体普遍认为美国白人对他们持有一些负面的,比如认为他们更容易犯罪、违禁药品、更愿意依靠救助而不出去工作、水平低、懒惰、愚蠢,并且黑人群体的这种认知并不因为性别、年龄、受教育程度或收入水平不同而呈现出差异。(19)这种普遍的认知在回答一些类型的问题时,容易引起一定程度的焦虑,从而影响答题质量。比如实验研究发现,在回答知识型问题中,非洲裔美国人被美国白人访员采访与被非洲裔美国访员采访,答错率更高:这种差异并不是来自性别或受教育程度的不同,而是出于“”(stereotype threat)。由于知识类问题容易被认知为是在进行知识及智力水平的测试,因此非洲裔美国受访人被美国白人访员采访这类问题时,着访员(非洲裔美国人的知识水平低)的以及急于证明这种不成立的压力,在回答问题时紧张和焦虑的程度更高,导致答题出错率提高。(20)因此在开展调查前,需要根据问卷题目,对访员群体的教、种族,以及性别结构进行合理配置;而在接触到受访对象后,则需要及时依据受访对象的个人特征对采访人员进行相应调整。

  测量误差指的是真实测量值与受访人回答之间的不一致,包括由于问题本身含混不清而产生歧义导致受访人对问题的理解出现偏差,以及受访人故意隐藏自己的真实想法等情况。比较常见的例子就是由于社会期望偏差(social desirability bias)导致的测量误差。社会期望偏差是在测量社会行为时经常出现的问题。当询问的问题涉及社会普遍希望或不希望的行为倾向时,受访对象往往倾向于隐藏真实情况或态度,不承认自己进行过社会不希望的行为或虚假报告自己做过社会希望的行为,使得关于某项行为发生频率或某个态度认可程度的调查结果出现系统性的偏差。(21)比如询问关于受访人使用违禁药品的情况,由于社会压力,受访人极有可能低报和隐瞒实情,导致测量误差。在学领域,比如回答、贿选,与性别、种族歧视相关的问题时,以直接询问的方式会导致受访人回答或者是低报瞒报真实情况;而在询问个人是否在选举中投票,询问公司是否遵守劳工法或进行社会捐献等被认为是或公司职责这些问题时,受访对象倾向于高报发生频率。

  针对询问问题时存在的社会偏差效应,研究者发现改变社会调查的执行方式,比如采用计算机辅助下的自填问卷(CASI,computer-assisted self-administration interview)相比面对面由访员采访这种执行方式,能有效提高受访对象承认做过某些社会不认可行为的意愿。(23)除了改变调查的执行方式,实验人员运用列举实验(list experiment)的方法来间接询问问题,以此获得更加准确的行为发生频率的估计。具体来说,通过将某个问题嵌套到问题中的选项,让受访人通过回答发生了多少项而非具体发生了什么来规避社会期望偏差的问题。

  伊齐基尔·冈萨雷斯(Ezequiel Gonzalez-Ocantos)和他的合作者们在关于尼加拉瓜贿选问题的研究是列举实验的经典研究案例。(24)直接询问贿选较难获得受访人的真实回答。因此,研究人员将贿选的测量问题嵌套到问题的回答选项中。列举实验方法被运用在研究种族、教、同性恋婚姻、选举投票、激进行为、、行为等研究议题上,提供了更加准确的测量。具体地,列举实验的结果更准确地展现了在美国南方白人的种族、白人对平权法案的厌恶、对当总统的有限反对以及对女总统的较大反对。(25)关于列举实验方法的局限性,在较长时间,只能描述不同组别群体在回答问题上的组际差别以及是否存在社会期望偏差效应,无法开展行为或态度的多变量分析,即到底哪些因素或什么样特征的人群更倾向隐藏自己的真实态度或行为。随着贝叶斯方法的发展以及与列举实验方法的结合,研究人员现在主要通过贝叶斯—马尔科夫链—门特卡罗分析法进行列举实验的多变量分析。(26)

  认可实验是另一种以间接方式询问问题的方式,其往往用来测量人们对某项政策的支持。实验参与人群同样被随机分成控制组和实验组。实验组接收到的干预是关于某个存在争议、比较的主体也支持该项政策的陈述(即一种微妙的暗示,subtle cues),而控制组没有介绍到关于这个主体支持该政策的暗示,然后比较实验组和控制组在政策支持程度上是否存在显著差异。如果存在,则可以推断出对这个有争议主体的支持程度。比如,有研究人员曾运用认可实验来测量阿富汗普什图人占领区域的居民对由北约主导的阿富汗国际安全援助部队的支持程度,或巴基斯坦居民对激进组织和武装的支持程度。(27)

  列举实验和认可实验方法的核心是通过间接提问或者微妙的信息暗示,来影响受访对象的主观心理和认知因素,从而避免直接提问时造成的心理上的负担和压力,减少社会期望偏差,以此获得更加准确的行为和态度的估计。而这些方法的具体运用以及发展,比如列举实验过程中如何识别和避免“天花板效应”和“地板效应”,也都考虑了心理和认知的因素。(28)

  长期以来,社会调查研究人员关注的是那些自己没有态度或想法的受访对象在受访员的询问下随意表达一个态度,这个态度有可能是别人的、社会上常见的或者是在采访当下想到的,这被称为虚假观点表达。(29)而且不同国家的受访人在如实承认不知道或没有态度方面存在文化差异。(30)对那些有实质态度和想法,但是因为各种原因隐藏起自己的真实态度和想法的情况,直到最近二十多年才开始关注。

  针对选项无应答(INR),现有文献关注的成因可以归为背景因素和个人因素两类。亚当·柏云斯基(Adam Berinsky)通过考察观点形成过程和观点表达过程中的背景因素来考察调查中INR的成因,这些背景因素包括问题的难易程度、明晰程度,与问题相关的主流话语(elite discourse),问题涉及的社会期望压力,访员效应等。(31)其他背景因素还包括对题目的感兴趣程度以及情感卷入程度、对自身形成观点和理解主题能力的自信程度、形成观点的功用、调查方式(数据采集的方式)和问题所在问卷的等。(32)在影响INR的个人因素中强调得比较多的是受访人的认知水平、动机和社会地位。女性、少数族裔、经济收入较低、受教育水平低以及效能感低的人群由于感觉被边缘化而更倾向回答“不知道”。(33)由于教育程度影响着认知水平,低教育水平被认为是导致INR的主要因素;但也有实验研究发现,较低教育水平的群体,为了颜面、不被访员认为自己很,更有可能在调查中营造观点,避免承认“不知道”。(34)

  已有研究显示回答“不知道”与“知道”的两类被访者经常在态度上存在显著的差异,回答“不知道”的受访人并不是真的在某个问题上没有态度。比如亚当·柏云斯基和他的合作者对俄罗斯态度调查中选择“不知道”的受访人进行详细的分析,发现他们更倾向于反对市场而支持再分配;在美国种族政策、社会福利政策和战争政策方面,回答“不知道”的受访人的态度与其他受访人相比存在系统的差异。(35)通过设计一系列追问问题,有助于发现那些回答“不知道”的受访对象的线)在分析中简单忽略无应答有可能产生估计偏差。事先了解无应答样本的分布特征和成因有助于在调查设计阶段制定相应的采访实施方案和采集相应的辅助信息,也有助于在事后进行相应的处理。对无应答的处理及其发展建立在对无应答分布和成因分析的基础之上。

  以下将通过分析最近三波公开的亚洲晴雨表调查中国部分数据(2008,2011,2015),来呈现和分析“选项无回答”的分布及成因。之所以选择亚洲晴雨表调查,是因为在较多问卷问题上保持了措辞的一致,便于进行比较。表1呈现了在三次调查中选项无回答率位列前五的问题。每道题目后面括号的数字表明了具体的无应答率。不难看出,历年来无应答率最高的题目主要是关于对其他国家程度的评价以及国内情况的相关问题。

  关于中国社会调查选项无应答原因的研究发现认知、兴趣和担忧是选项无应答的三大致因。受教育水平、城乡、年龄、地域属性等个人特征是影响无应答水平的关键因素。(37)但是对于“担忧”是不是导致一些问题无应答的原因,研究者得出的结论不尽一致。(38)以下在分析无应答的相关因素时,会借助亚洲晴雨表2008年调查的中国数据对其进行直接检验。由于不同类型题目无应答的影响因素有可能不尽相同,因此在分析总体选项无应答率之后,将题目分成态度和评价、行为、经济态度和评价,以及国际关系方面的态度及评价四大类,分别探讨这四类问题无应答的影响因素。

  分析中的被解释变量是一个二元变量。如果受访人的选项无应答率高于该题在调查总体样本中的无应答量的中位数值,则编码为“1”,即表示这位受访人在回答这类问题时无应答率处于偏高水平。比如,在2008年调查的所有336道题目中,个人无应答题量的最高值是274,最低值是0,中位数值是27,即一半的受访人无应答题目的数量在27道以上,另一半在27道以下,那么就将总无应答题量超过27道的受访人的Y值赋值为“1”,不到27道的受访人的Y值赋值为“0”。分析中的自变量包括个人的特征变量,包括性别、年龄、城乡、受教育年限、面貌和地域属性,以及对生活的满意程度、对的感兴趣程度、接触信息频率、效能感以及谈论顾虑程度。回归分析中还加入了采访时是否有第三人在场这一背景变量以控制其对选项无应答率的影响。

  回归分析的结果表明,男性相比女性、城市居民相比农村居民,无应答男人冬泳 打一食品率更低。西部省份的居民与中部省份相比,无应答率更高。除了个人特征,兴趣、信息以及顾虑也是影响无应答率的比较稳定和重要的因素。较高的兴趣、较频繁的信息接触以及较低的顾虑能在一定程度上降低不同类型题目的无应答率。其他因素,比如受教育水平、面貌、生活满意度、有无第三人在场的采访背景变量,以及效能感并不是影响无应答率的稳健因素。这些发现为我们在问卷设计方面给予了一些,是否可以对不同性别以及城市居民和农村居民在某些高无应答风险的问题上采取不同的措辞,对女性或农村居民多提供一些追问或后续问题来识别他们的隐藏态度。而与兴趣、信息,以及顾虑方面相关的题目宜放在问卷靠前,通过这三个变量识别出高倾向无应答人群之后,给他们提供不同的问卷问题。

  注:***p<0.05,**p<0.01,*p<0.001。自变量除了年龄以及受教育年限之外,其余变量均为二元变量。接触信息频率这个变量“1”指的是至少每天一次收听、收看或者阅读方面的新闻;效能感测量1指的是同意或非常同意“我觉得自己很有能力参与”的说法;效能感测量2指的是不同意或非常不同意“像我这样的人,对的决定没有任何影响力”的说法;效能感测量3指的是不同意或非常不同意“总体上,对像我这样的人而言太复杂很难理解”的说法。

  受访人在回答态度类问题时的认知过程包括以下四个环节:第一,理解提出的问题;第二,从记忆中提取所有相关信息;第三,将信息整合,形成一个总的判断和估计;第四,将形成的判断尽可能清楚和准确地表达出来。(39)在这四个环节中,调查当下的诸多因素都会作用在不同环节上。问题本身的明晰程度和程度、调查的可信度以及受访人感兴趣的程度、采访当下发生的显著的事件和、访员与受访人互动的情况、采访(包括访员种族特性以及第三人在场等因素)都会给受访对象造成各种压力,从而影响他们的信息提取、整合、判断以及最终是否如实表达出观点。

  忽视这些主观心理和认知因素在受访人回答中的重要作用,容易导致无应答误差和测量误差。在前期调查准备期间,应该格外注意问卷设计。问卷结构,包括问题的顺序,是影响受访人回答的重要因素。邻近问题会对接下来问题的理解和信息的提取产生影响。比如在理解问题环节,尤其是一些不太为人熟知的议题(比如货币管理法案),在问题前提供一些相关信息(比如通货膨胀的题目),有助于让受访人认为两者之间存在关联(货币管理法案是控制通货膨胀的主要手段),从而降低对这个问题的无应答率。(40)居前问题对后面问题回答中的信息提取也会产生影响,这通常被称为启动效应(priming effect),比如关于女权的问题会影响到后面堕胎议题的回答。由于前面的问题启动了受访人关于女性的意识和信息提取过程,这种激活效应会传递到与女性紧密相关的其他意识和信息,比如支持堕胎,这使得在回答后面堕胎相关问题时,支持堕胎的信息更容易被提取出来。(41)而在应对一些由信息或认知产生的问题,比如针对回忆过往发生事情时的误差,给予一些相应的信息提示和线索来帮助受访对象更加准确地回忆也尤为重要。针对不同无应答倾向值的人群,应该设计不同的问题并运用不同程度的追问来了解他们的隐藏态度。而对于问题,可以尝试运用一些实验研究设计。

  除了问卷设计,前期访员的培训也可以有意识地强调受访对象认知心理因素的重要性。培养访员在敲门入户时能迅速发掘潜在受访对象对调查的态度和关注方面,以便有针对性地提供相应信息,降低拒访率。针对一些问题或者访员身份会给受访对象带来压力的问题,可以通过机器辅助下的自填问卷方式来消减压力或期望效应偏差。除了强调访员行为的标准化,并行数据的使用将为监督访员、实时干预访员和受访对象的互动,以及估计访员效应对调查质量影响等方面提供新的机会。

  ⑦关于并行数据的讨论,可参见丁华、任莉颖、严洁:《基于并行数据的调查质量管理》,《统计与决策》2016年第20期。

  ⑩孙妍等:《调查中的拒访行为分析——以中国家庭动态调查为例》,《社会学研究》2011年第2期。

  (14)丁华、任莉颖、严洁:《基于并行数据的调查质量管理》,《统计与决策》2016年第20期。

  (37)严洁:《项目无回答的成因与降低其水平的途径》,《华中师范大学学报》(人文社会科学版)2006年第6期。