重返“真实”:对线上实验法的应用

重返“真实”:对线上实验法的应用

引  言

实验法是社会科学中探索因果关系的重要方法。相较其他方法,实验法的最大优势是使得研究者不再拘泥于自然产生的数据所呈现的相关性,能够以更加科学的方式解答某些因果问题。此外,由于社会科学的学科属性,实验法对于情境性的要求也在不断提高。伴随互联网的普及和数字化时代的到来,在社会科学领域应运而生的线上实验法(online experiments),通过以自然发生的网络世界为田野,利用互联网、线上平台作为实验室开展实验研究,相比于传统的实验室实验,这较大程度上呈现了行为发生的真实情境,表现出较高的外在效度。

本次给大家推荐的是“Fighting COVID-19 misinformation on social media: Experimental evidence for a scalable accuracy-nudge intervention[1]该研究以疫情期间关于COVID-19(新型冠状病毒)的信息为对象,探讨了社交媒体上虚假信息的传播以及判断传播内容的准确性对于信息传播本身的影响,是一篇较为典型的运用线上实验法的范例。

01

研究背景

在新冠蔓延期间,有关新冠的错误信息以各种形式不断出现。这类信息可能会导致人们转向无效甚至有害的预防或救助措施,反应过度或是产生更危险的行为(如无意中传播病毒)等。由此,理解人们为什么相信和分享与新冠相关的虚假或真实信息,并为其制定干预措施以提高人们在线分享的信息质量,显得尤为重要。该文将研究目标做了拆解,在探讨公众评估新闻标题时,分析了标题的准确性判断与分享意图间的关系,并进一步关注突出信息的准确性是否会提高民众在线分享信息的质量。

02

研究设计

实验1:信息准确性与信息分享间的相关性[2]

首先筛选出与COVID-19有关的30条(真假各半)来自主流媒体的新闻标题,将其以Facebook帖子的形式呈现出来。后将每位参与者随机分配到两个问题中。1)在准确性问题中,参与者被问及:上述标题中的说法是否准确(是/否);2)在分享性问题中,参与者被问到:你会考虑在网上(例如,通过FacebookTwitter)分享它吗(是/否)。是/否选项的顺序和标题的顺序都为随机呈现。之后定义参与者的辨别力,即真假标题之间准确性判断(或分享意愿)的差异。辨别力得分越高,表明对于真实信息的敏感度越高。为对干扰因素进行排查,在执行新闻标题评价任务之前,要求参与者回答两个关于COVID-19的问题,一是您对COVID-19(新型冠状病毒)的关注度如何(完全不关注极度关注,0-100),二是您多久会主动查看有关COVID-19(新型冠状病毒)的新闻(从不非常频繁,1-5)。

实验过程中,要求参与者进行附加测试,一是认知反思测试,以对其反思直觉倾向进行测量,问题例如:如果你正在跑步,并超过了排在第二位的人,你在什么位置?二是一般科学知识测验,作为对参与者的一般科学知识背景的测量,包括17个关于基本科学事实的问题,例如,抗生素杀死病毒及细菌。三是关于参与者在多大程度上寻求医疗服务的问题。四是人口统计学问题,以及参与者的政治态度。最后是穿插注意力测试,即在准确性问题、分享性问题之前以及每一项测试之后,都会增加注意力测试的问题,以保证参与者的参与度和样本代表性。

实验2:信息准确性对信息分享的影响[3]

每位参与者被随机分配到两个小组。在控制组中,参与者执行像研究1中的新闻分享任务;在处理组中,参与者在开始新闻分享任务之前,对标题(与COVID-19无关,政治中立的)进行准确性评价(作为预测试)。参与者看到与研究1相同的标题,并(与研究1的分享条件一样)被问及他们是否愿意在社交媒体上分享这些标题。问题设置为:如果您在社交媒体上看到了上述内容,您有多大可能会分享它(极不可能极有可能,1-6)。最后要求参与者进行和研究1相同的附加测试和注意力测试。

实验3[4]:真实情境下的信息分享  

Twitter用户中选取曾公开分享过发布误导性或虚假新闻内容网站(Breitbart.comInfowars.com)链接的用户5,482名。对用户进行与上述调查实验处理条件下的相同干预,干预过程在研究者通过Twitter服务条款、学校伦理委员会等伦理审查后,由计算机自动完成,用户被随机分配到接收处理信息(处理组中由机器人账号向受试者用户发送私人信息,要求他们对单一非政治性标题的准确性进行评价)和不接收处理信息两组的日期。在每个24小时中,研究者可以比较在该时间段开始后被随机分配到接收处理信息的用户所共享的链接和所有尚未收到信息的用户所共享的链接(并因此作为对照)。然后,研究者将各日期的估计值合并,以得出一个综合的实验效果。

事实上,以上三个实验内部存在自洽的逻辑关系。一方面,前两个实验对招募式样本进行调查式实验,其情境性体现在实验数据的呈现基于在线社交平台、调查询问时受访者处于注意力集中状态,实验三对抓取式样本进行实验,实验过程中研究者处于隐匿状态,这也使得实验进行类似于受试者日常生活情境。另一方面,实验一侧重于相关性探讨,即相对于直接被问及信息准确性,参与者决定他们在社交媒体上分享何种内容时,分辨真假信息的能力如何;实验二侧重于因果性解释,即研究开始时有无信息准确性提醒,参与者在之后分享信息时对虚假信息辨识水平的差别;实验三对因果性的进一步探讨是将研究问题置于真实生活状态下,进一步降低了之前实验情境的噪音。

03

小结与讨论

毋庸置疑,互联网正在不断复制或创造新的人类行为,每一位互联网用户都是潜在的实验受试者,互联网突破时空限制的能力为研究者提供了巨大的便利,大规模信息交互技术也为实验的干预实施和结果反馈与分析提供了强有力的支持。

我们认为,线上实验对于实验过程在营造真实情境以及提升外在效度方面的贡献,主要包括以下三点:1)传统的实验室实验选取样本多为招募,而招募样本以及实验过程中与研究者的接触会直接带来主试者效应;线上实验选取样本有招募和抓取两种方式,抓取式可以较好地规避主试者效应,而线上平台提供了研究者与受试者之间的时空距离,招募式也能削弱该效应。2)对于实验过程的监督和把控,传统的实验室实验需要研究者介入,而线上实验可以借助计算机程序的设置规避研究者参与研究过程。3)线上实验扩大了异质性样本的规模,通过筛选和设置资格标准,可以使受试者来源更趋随机。故实验可以优化为在众多参与者中进行一个或少数的目标试验,而不是在少数参与者中进行大量的目标试验。

04

参考文献及注释

[1] Pennycook G, Mcphetres J, Zhang Y, et al. Fighting COVID-19 misinformation on social media: experimental evidence for a scalable accuracy-nudge intervention[J]. Psychological Science, 2020, 31(7):770-780.

[2]在lucid平台在线招募1,000名参与者,剔除没有使用Facebook或Twitter的参与者、未完成实验者,最终样本853名。
[3]在lucid平台在线招募1,145名参与者,剔除没有使用Facebook或Twitter的参与者、未完成者,最终样本856名。
[4]Pennycook G, Epstein Z, Mosleh M, et al. Understanding and reducing the spread of misinformation online[R]. PsyArXiv Preprints, 2020.[5]Ben Howell. Online psychology experiments: everything you need to know. Psychstudio, 2020.

作者 | 耿应祥、张忠继 ( 浙江大学社会学系硕士研究生)

校对 | 范晓光(浙江大学社会学系副教授);程凡玲(美国纽约州立大学欧本尼分校博士研究生)

编辑 | 周航  谭欢

重返“真实”:对线上实验法的应用

原文始发于微信公众号(定量群学):重返“真实”:对线上实验法的应用