心理科学进展 ›› 2022, Vol. 30 ›› Issue (6): 1367-1376.doi: 10.3724/SP.J.1042.2022.01367
收稿日期:
2021-08-09
出版日期:
2022-06-15
发布日期:
2022-04-26
通讯作者:
汪光炜
E-mail:wgw2020@qq.com
基金资助:
WEI Xuhua, WANG Guangwei(), CHEN Yi
Received:
2021-08-09
Online:
2022-06-15
Published:
2022-04-26
Contact:
WANG Guangwei
E-mail:wgw2020@qq.com
摘要:
虽然操纵检验是保证实验构念效度的重要方式, 但国内管理心理学者对其方法层面的探讨较少。基于此, 本研究在归纳了操纵检验主要用途的基础上, 对国内2020年《心理学报》、《心理科学》、《管理世界》、《南开管理评论》这4本期刊中涉及管理心理实验的49篇论文、144项实验进行了编码分析, 从操纵检验的关键设计环节总结了国内管理心理领域操纵检验的使用现状、问题及其应对策略。研究发现, 国内操纵检验实施形式单一, 以自我报告式操纵检验为主, 很少关注辨别式操纵检验和指导式操纵检验, 且对操纵检验的位置设计、实施时机和分析策略重视度不够。未来研究者应当注重通过非干预形式减少操纵检验对实验进程的干扰, 实施误差控制策略排除无效检验和竞争性解释, 根据操纵检验特性决定其在实验材料中的位置, 借助事前和事后操纵检验实现检验时机的灵活性, 开展操纵强度和中介分析提升实验内外部效度, 从而提升实验操纵检验的规范性。
中图分类号:
卫旭华, 汪光炜, 陈义. (2022). 国内管理心理实验中的操纵检验: 现状、问题与建议. 心理科学进展 , 30(6), 1367-1376.
WEI Xuhua, WANG Guangwei, CHEN Yi. (2022). Manipulation checks in the managerial psychology experiment in China: Current status, problems, and suggestions. Advances in Psychological Science, 30(6), 1367-1376.
操纵检验类型 | 含义 | 用途 |
---|---|---|
直接操纵检验 | 测量预期变量水平 | 检验实验操纵是否激活了预期变量的问题 |
辨别式操纵检验 | 测量竞争性解释变量 | 检验和控制实验操纵所引发的竞争性解释 |
指导式操纵检验 | 通过客观题目测验被试是否认真填答 | 排除失真数据 |
表1 操纵检验的用途
操纵检验类型 | 含义 | 用途 |
---|---|---|
直接操纵检验 | 测量预期变量水平 | 检验实验操纵是否激活了预期变量的问题 |
辨别式操纵检验 | 测量竞争性解释变量 | 检验和控制实验操纵所引发的竞争性解释 |
指导式操纵检验 | 通过客观题目测验被试是否认真填答 | 排除失真数据 |
关键环节 | 使用现状 | 存在的问题 | 应对策略 |
---|---|---|---|
实施形式 | 国内操纵检验实施形式单一, 以自我报告为主 | 自我报告式操纵检验可能会引发被试对实验目的的解读和思考, 干扰实验进程 | 使用外部观察或客观指标等低干预性操纵检验形式 |
误差控制 | 仍有相当比例研究未使用成熟量表, 未使用辨别式操纵检验排除竞争性解释, 且使用指导式操纵检验等新兴操纵检验策略排除无效样本的比例较低 | 单一或不成熟的操纵检验题项和被试不认真填答会引发测量误差, 竞争性解释会引发系统误差, 进而产生有偏的实验结论 | 采用成熟多题项量表, 或者使用表述足够具体且清晰的单题项量表, 引入规范的无效样本排除策略(如指导式操纵检验), 使用辨别式操纵检验排除竞争解释 |
位置设计 | 只有部分学者注意到操纵检验位置对实验的影响, 多数实验将操纵检验置于因变量前 | 操纵检验前置会引发被试反思和猜测实验目的, 干扰实验进程, 改变被试填答策略 | 若操纵检验对实验结果无负面影响, 可放因变量前, 反之需置于因变量后; 若操纵持续时间短, 需置于因变量前, 反之可置于因变量后 |
实施时机 | 多数实验是在实验过程中完成操纵检验, 通过实验前的预实验形式或者实验后的定性编码形式开展操纵检验的比例较低 | 在实验过程中开展操纵检验会干扰实验进程, 预实验中操纵成功并不代表正式实验也成立, 实验后开展操纵检验受过程材料完备度和编码者的影响 | 事前操纵检验需要保证预实验与正式实验在参与对象和实验环境的同质性, 事后操纵检验需要保证过程材料的完整性和编码者的素质 |
分析策略 | 操纵检验数据的使用率较低, 仅限于自变量组间方差分析, 忽视了实验操纵强度、操纵中介分析等分析策略 | 操纵检验方差分析并不能保证实验外部效度, 并不能保证实验操纵是通过启动预期效应进而影响实验结果, 并不能保证不存在竞争性解释 | 利用操纵强度分析、操纵中介分析等新方法分析操纵检验数据, 为实验提供更翔实的证据 |
表2 国内管理心理实验操纵检验的现状、问题与应对策略
关键环节 | 使用现状 | 存在的问题 | 应对策略 |
---|---|---|---|
实施形式 | 国内操纵检验实施形式单一, 以自我报告为主 | 自我报告式操纵检验可能会引发被试对实验目的的解读和思考, 干扰实验进程 | 使用外部观察或客观指标等低干预性操纵检验形式 |
误差控制 | 仍有相当比例研究未使用成熟量表, 未使用辨别式操纵检验排除竞争性解释, 且使用指导式操纵检验等新兴操纵检验策略排除无效样本的比例较低 | 单一或不成熟的操纵检验题项和被试不认真填答会引发测量误差, 竞争性解释会引发系统误差, 进而产生有偏的实验结论 | 采用成熟多题项量表, 或者使用表述足够具体且清晰的单题项量表, 引入规范的无效样本排除策略(如指导式操纵检验), 使用辨别式操纵检验排除竞争解释 |
位置设计 | 只有部分学者注意到操纵检验位置对实验的影响, 多数实验将操纵检验置于因变量前 | 操纵检验前置会引发被试反思和猜测实验目的, 干扰实验进程, 改变被试填答策略 | 若操纵检验对实验结果无负面影响, 可放因变量前, 反之需置于因变量后; 若操纵持续时间短, 需置于因变量前, 反之可置于因变量后 |
实施时机 | 多数实验是在实验过程中完成操纵检验, 通过实验前的预实验形式或者实验后的定性编码形式开展操纵检验的比例较低 | 在实验过程中开展操纵检验会干扰实验进程, 预实验中操纵成功并不代表正式实验也成立, 实验后开展操纵检验受过程材料完备度和编码者的影响 | 事前操纵检验需要保证预实验与正式实验在参与对象和实验环境的同质性, 事后操纵检验需要保证过程材料的完整性和编码者的素质 |
分析策略 | 操纵检验数据的使用率较低, 仅限于自变量组间方差分析, 忽视了实验操纵强度、操纵中介分析等分析策略 | 操纵检验方差分析并不能保证实验外部效度, 并不能保证实验操纵是通过启动预期效应进而影响实验结果, 并不能保证不存在竞争性解释 | 利用操纵强度分析、操纵中介分析等新方法分析操纵检验数据, 为实验提供更翔实的证据 |
[1] | 段锦云, 郭昭君. (2019). 实验法在人力资源管理研究中的应用. 人力资源管理评论, (1), 23-35. |
[2] | 方杰, 温忠麟. (2018). 三类多层中介效应分析方法比较. 心理科学, 41(4), 962-967. |
[3] | 葛林洁, 王丹, 郭一蓉, 张昱城. (2021). 实验室实验与现场实验在组织行为学中的应用. 中国人力资源开发, 38(2), 42-56. |
[4] | 李小平, 闫鸿磊, 云祥. (2014). 权力感的启动对内隐和外显暴力态度的影响. 应用心理学, 20(4), 323-331. |
[5] | 李晓倩, 马亮. (2021). 公共管理实验研究中的实验报告: 现状与评价--以国际期刊论文为例. 公共管理与政策评论, 10(1), 55-65. |
[6] | 柳武妹, 黄河清, 叶富荣. (2020). 消费者行为研究中的田野实验: 概念、操作介绍与开展建议. 外国经济与管理, 42(3), 35-56. |
[7] | 刘咏梅, 陈思璇, 卫旭华. (2015). 诱导效应的影响机制--产品感知风险的调节作用. 心理科学, 38(6), 1425-1431. |
[8] | 王阳, 温忠麟. (2018). 基于两水平被试内设计的中介效应分析方法. 心理科学, 41(5), 1233-1239. |
[9] | 卫旭华, 张亮花. (2019). 单题项测量: 质疑、回应及建议. 心理科学进展, 27(7), 1194-1204. |
[10] | Abbey J. D., & Meloy M. G. (2017). Attention by design: Using attention checks to detect inattentive respondents and improve data quality. Journal of Operations Management, 55(1), 63-70. |
[11] |
Bless H., & Burger A. M. (2016). A closer look at social psychologists' silver bullet: Inevitable and evitable side effects of the experimental approach. Perspectives on Psychological Science, 11(2), 296-308.
doi: 10.1177/1745691615621278 URL |
[12] |
Campbell D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297-312.
doi: 10.1037/h0040950 URL |
[13] |
Chester D. S., & Lasko E. N. (2021). Construct validation of experimental manipulations in social psychology: Current practices and recommendations for the future. Perspectives on Psychological Science, 16(2), 377-395.
doi: 10.1177/1745691620950684 URL |
[14] |
Curran P. G. (2016). Methods for the detection of carelessly invalid responses in survey data. Journal of Experimental Social Psychology, 66(1), 4-19.
doi: 10.1016/j.jesp.2015.07.006 URL |
[15] | Ejelöv E., & Luke T. J. (2020). "Rarely safe to assume": Evaluating the use and interpretation of manipulation checks in experimental social psychology. Journal of Experimental Social Psychology, 87, 103937. |
[16] |
Fayant M. P., Sigall H., Lemonnier A., Retsin E., & Alexopoulos T. (2017). On the limitations of manipulation checks: An obstacle toward cumulative science. International Review of Social Psychology, 30(1), 125-130.
doi: 10.5334/irsp.102 URL |
[17] | Festinger. (1953). Research methods in the behavioral sciences. New York: Holt, Rinehart & Winston. |
[18] |
Fiedler K., Schott M., & Meiser T. (2011). What mediation analysis can (not) do. Journal of Experimental Social Psychology, 47(6), 1231-1236.
doi: 10.1016/j.jesp.2011.05.007 URL |
[19] | Haslam S. A., & McGarty C. (2014). Research methods and statistics in psychology. London: Sage. |
[20] |
Hauser D. J., Ellsworth P. C., & Richard G. (2018). Are manipulation checks necessary?. Frontiers in Psychology, 9, 998.
doi: 10.3389/fpsyg.2018.00998 pmid: 29977213 |
[21] | Hauser D. J., & Schwarz N. (2015). It's a trap! Instructional manipulation checks prompt systematic thinking on "tricky" tasks. SAGE Open, 5(2), 1-6. |
[22] |
Hoprekstad L., Hetland J., Bakker A. B., Olsen O. K., Espevik R., Wessel M., & Einarsen S. V. (2019). How long does it last? Prior victimization from workplace bullying moderates the relationship between daily exposure to negative acts and subsequent depressed mood. European Journal of Work and Organizational Psychology, 28(2), 164-178.
doi: 10.1080/1359432X.2018.1564279 |
[23] | Kassam K. S., Berry M. W., & Tom D. (2013). The effects of measuring emotion: Physiological reactions to emotional situations depend on whether someone is asking. Plos One, 8(6), 649-659. |
[24] |
Keltner D., Ellsworth P. C., & Edwards K. (1993). Beyond simple pessimism: Effects of sadness and anger on social perception. Journal of Personality and Social Psychology, 64(5), 740-752.
pmid: 8505705 |
[25] |
Kotzian P., Stoeber T., Hoos F., & Weissenberger B. E. (2020). To be or not to be in the sample? On using manipulation checks in experimental accounting research. Accounting Research Journal, 33(3), 469-482.
doi: 10.1108/ARJ-06-2019-0128 URL |
[26] |
Kühnen. (2010). Manipulation checks as manipulation: Another look at the ease-of-retrieval heuristic. Personality and Social Psychology Bulletin, 36(1), 47-58.
doi: 10.1177/0146167209346746 URL |
[27] |
Kyriazos T. A., & Stalikas A. (2018). Applied psychometrics: The steps of scale development and standardization process. Psychology, 9(11), 2531-2560.
doi: 10.4236/psych.2018.911145 URL |
[28] |
Lench H. C., Taylor A. B., & Bench S. W. (2014). An alternative approach to analysis of mental states in experimental social cognition research. Behavior Research Methods, 46(1), 215-228.
doi: 10.3758/s13428-013-0351-0 URL |
[29] |
Lerche V., & Voss A. (2018). Speed-accuracy manipulations and diffusion modeling: Lack of discriminant validity of the manipulation or of the parameter estimates?. Behavior Research Methods, 50(6), 2568-2585.
doi: 10.3758/s13428-018-1034-7 URL |
[30] |
Oppenheimer D. M., Meyvis T., & Davidenko N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867-872.
doi: 10.1016/j.jesp.2009.03.009 URL |
[31] |
Paas L. J., Dolnicar S., & Karlsson L. (2018). Instructional manipulation checks: A longitudinal analysis with implications for MTurk. International Journal of Research in Marketing, 35(2), 258-269.
doi: 10.1016/j.ijresmar.2018.01.003 URL |
[32] |
Parigi P., Santana J. J., & Cook K. S. (2017). Online field experiments: Studying social interactions in context. Social Psychology Quarterly, 80(1), 1-19.
doi: 10.1177/0190272516680842 URL |
[33] |
Prentice D. A., & Miller D. T. (1992). When small effects are impressive. Psychological Bulletin, 112(1), 160-164.
doi: 10.1037/0033-2909.112.1.160 URL |
[34] | Rogers J., & Révész A. (2019). Routledge handbook of research methods in applied linguistics. New York: Routledge. |
[35] |
Schäfer T., & Schwarz M. A. (2019). The meaningfulness of effect sizes in psychological research: Differences between sub-disciplines and the impact of potential biases. Frontiers in Psychology, 10, 813.
doi: 10.3389/fpsyg.2019.00813 pmid: 31031679 |
[36] | Schwarz N., & Strack F. (2014). Does merely going through the same moves make for a "direct" replication? Concepts, contexts, and operationalizations. Social Psychology, 45(4), 305-306. |
[37] | Sigall, Harold, Mills, & Judson. (1998). Measures of independent variables and mediators are useful in social psychology experiments: But are they necessary?. Personality and Social Psychology Review, 3(2), 218-226. |
[38] | Webb E. J., Campbell D. T., Schwartz R. D., & Sechrest L. (1966). Unobtrusive measures: Nonreactive research in the social sciences. Chicago: Rand McNally. |
[39] | Wilson T. D., Aronson E., & Carlsmith K. (2010). The art of laboratory experimentation. In S. T. Fiske, D. T. Gilbert, & G. Lindzey (Eds.), Handbook of social psychology (pp. 51-81). Hoboken: Wiley. |
[40] |
Word C. O., Zanna M. P., & Cooper J. (1974). The nonverbal mediation of self-fulfilling prophecies in interracial interaction. Journal of Experimental Social Psychology, 10(2), 109-120.
doi: 10.1016/0022-1031(74)90059-6 URL |
[1] | 方俊燕, 温忠麟. 追踪研究中的内生性问题:来源与应对[J]. 心理科学进展, 2023, 31(4): 507-518. |
[2] | 黄顺森, 陈豪杰, 来枭雄, 代欣然, 王耘. 多元宇宙样分析:简介及应用[J]. 心理科学进展, 2023, 31(2): 196-208. |
[3] | 陈新文, 李鸿杰, 丁玉珑. 探究事件相关脑电/脑磁信号中的神经表征模式:基于分类解码和表征相似性分析的方法[J]. 心理科学进展, 2023, 31(2): 173-195. |
[4] | 包寒吴霜 王梓西 程曦 苏展 杨盈 张光耀 王博 蔡华俭. 基于词嵌入技术的心理学研究:方法及应用[J]. 心理科学进展, 0, (): 0-0. |
[5] | 朱训, 顾昕. 变量相对重要性评估的方法选择及应用[J]. 心理科学进展, 2023, 31(1): 145-158. |
[6] | 方杰, 温忠麟. 纵向数据的调节效应分析[J]. 心理科学进展, 2022, 30(11): 2461-2472. |
[7] | 翟宏堃, 李强, 魏晓薇. 结构方程模型统计检验力分析:原理与方法[J]. 心理科学进展, 2022, 30(9): 2117-2130. |
[8] | 王阳, 温忠麟, 王惠惠, 管芳. 第二类有中介的调节模型[J]. 心理科学进展, 2022, 30(9): 2131-2142. |
[9] | 温忠麟, 谢晋艳, 方杰, 王一帆. 新世纪20年国内假设检验及其关联问题的方法学研究[J]. 心理科学进展, 2022, 30(8): 1667-1681. |
[10] | 温忠麟, 陈虹熹, 方杰, 叶宝娟, 蔡保贞. 新世纪20年国内测验信度研究[J]. 心理科学进展, 2022, 30(8): 1682-1691. |
[11] | 温忠麟, 方杰, 谢晋艳, 欧阳劲樱. 国内中介效应的方法学研究[J]. 心理科学进展, 2022, 30(8): 1692-1702. |
[12] | 方杰, 温忠麟, 欧阳劲樱, 蔡保贞. 国内调节效应的方法学研究[J]. 心理科学进展, 2022, 30(8): 1703-1714. |
[13] | 王阳, 温忠麟, 李伟, 方杰. 新世纪20年国内结构方程模型方法研究与模型发展[J]. 心理科学进展, 2022, 30(8): 1715-1733. |
[14] | 刘源, 都弘彦, 方杰, 温忠麟. 国内追踪数据分析方法研究与模型发展[J]. 心理科学进展, 2022, 30(8): 1734-1746. |
[15] | 林浇敏, 李爱梅, 周雅然, 何军红, 周蕾. 眼动操纵技术在决策研究中的应用前景:改变决策行为[J]. 心理科学进展, 2022, 30(8): 1794-1803. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||