首页 期刊介绍 编 委 会 投稿指南 期刊订阅 联系我们 English

, ,

What is the minimum number of effect sizes required in meta-regression? An estimation based on statistical power and estimation precision

, ,

School of psychology, South China Normal University, Guangzhou 510631, China

 基金资助: 义务教育质量关键影响因素监测框架构建项目.  538-670329

Abstract

Meta-regression is the most frequently used technique for identifying moderators in meta-analysis. In this study, main principles and basic models of meta-analysis and meta-regression were briefly introduced first. Then a Monte Carlo simulation was conducted to investigate the minimum number of the effect size required in meta-regression based on statistical power and estimation precision. The results showed that (1) the Wald-type z test was prone to type I error in meta-regression; (2) at least 20 effect sizes were needed to meet parameter estimation requirements; (3) and inclusion of proper moderators could reduce the number of effect size required. Therefore, it is suggested that (1) meta-analysts should be careful when using the CMA software and the Wald-type z test; (2) at least 20 or more effect sizes are generally needed based on different situations; (3) exploration of moderators is necessary; (4) reviewers can value a meta-analysis research according to the minimum number of effect size required.

Keywords： meta-analysis ; meta-regression ; effect size ; minimum number requirement

FANG Junyan, ZHANG Minqiang. (2020). What is the minimum number of effect sizes required in meta-regression? An estimation based on statistical power and estimation precision. Advances in Psychological Science, 28(4), 673-680

1 引言

2.2 元分析模型

2.2.1 基本模型

$y_{i}=\theta+e_{i}(i=1\cdots k)$

$y_{i}=\beta_{0}+ u_{i}+ e_{i} \quad (i=1\cdots k)$

2.2.2 元回归

$y_{i}= \beta_{0}+\beta_{1}x_{i1}+…\beta_{p}x_{ip}+ u_{i}+ e_{i} \quad (i=1\cdots k)$

2.3 元分析计算原理

2.3.1 基本模型的计算原理：加权求均值

2.3.2 元回归的计算原理：估计和检验回归系数

3.2 研究设计

(1)分析模型。选择心理学元分析研究中最常用的元回归模型为研究对象。已有的模拟研究只关注包含一个调节变量的简单元回归模型(López- López et al., 2017; Steel & Kammeyer-Mueller, 2002; Viechtbauer et al., 2015), 考虑到在实证研究中往往能识别出两个或两个以上有显著解释作用的调节变量, 假设调节效应只存在一个来源是不现实的, 因此有必要对调节变量个数进行拓展。对多个调节变量组合进行考虑不仅能够分离不同调节变量对研究间异质性的贡献, 而且能较好地避免虚假效应(Steel & Kammeyer-Mueller, 2002)。本研究将分别考虑包含一个调节变量的简单模型和包含两个调节变量的复杂模型。

(2)自变量。①效应量个数k：参考前人研究(López-López et al., 2017; Steel & Kammeyer- Mueller, 2002; Viechtbauer et al., 2015), 令k = 20, 40, 60, 80, 100, 120; ②回归系数真值 $β 1$ $β 2$ ：模型一中令 $β 1$ = 0, 0.2, 0.5, 分别代表零、较小、较大的回归系数值(Viechtbauer et al., 2015); 模型二中令 $β 1 = β 2 = 0 , β 1 = β 2 = 0.2 , β 1 = β 2 = 0.5 , β 1 = 0.2 &$ $β 2$ = 0.5; ③剩余异质性 $τ 2$ ：剩余异质性被认为会影响模型达到预期参数估计要求时所需的效应量个数(López-López et al., 2017; Viechtbauer et al., 2015), 参考前人研究, 令 $τ 2$ = 0.08, 0.32, 分别表示较小、较大的剩余异质性(Viechtbauer et al., 2015)。三种自变量不同水平的组合能够获得共6 × (3 + 4) × 2 = 84种不同的模拟条件;

(3)其他控制变量。①效应量观测值 $y i$ 和抽样变异 $e i$ ：选取的效应量形式是Fisher的Zr, 其描述了变量间的相关程度, 在心理学元分析实证研究中得到了广泛应用。 $y i$ 的取值通过上述模型公式得到。抽样变异 $e i$ 随机生成自正态分布 $N ( 0 , v i )$ , 其中 (Borenstein et al., 2009), 这里的n指原始研究中的样本量, 取值随机生成自对数正态分布LN (0, 0.9), 乘以100, 取整后将小于25的值转换为25, 大于1000的值转换为1000。 $τ 2$ 为上述自变量之一, 取值为0.08或0.32; ②模型截距 $β 0$ ：令 $β 0$ = 0; ③调节变量 $x i$ ：对效应量具有实质性调节作用的变量多数是连续型的(Borenstein et al., 2009; Steel & Kammeyer-Mueller, 2002), 因此这里调节变量均为连续型变量, 取值随机生成自标准正态分布。通过对以上变量的控制来生成不同形态的数据集。

(4)结果变量。在不同的模拟条件下, 利用元回归模型(模型一、模型二)对数据集进行估计, 获得回归系数的估计值 $β ̂ 1$ $β ̂ 2$ 。每种模拟条件重复循环10, 000次以获得较稳定的参数估计结果。

(5)参数估计方法和检验方法。参数估计选择常用的加权最小二乘法; 参数显著性检验同时采用Wald-type z检验方法和Knapp and Hartung检验方法, 前者是元分析实证研究常用软件CMA中内置的方法, 后者由Knapp和Hartung (2003)提出, 该方法被证实适用于多数元分析情境(Viechtbauer et.al., 2015)。

4.2 置信区间宽度

β为0 β(均)较小 β(均)较大 β一个较大, 一个较小
β = 0 β = (0, 0) β = 0.2 β = (0.2, 0.2) β = 0.5 β = (0.5,0.5) β = (0.2,0.5)
Knha-test 20 20 20 20 20 20 20
z-test 23 25 23 25 23 25 25

β为0 β(均)较小 β(均)较大 β一个较大, 一个较小
β = 0 β = (0,0) β = 0.2 β = (0.2,0.2) β = 0.5 β = (0.5,0.5) β = (0.2,0.5)
Knha-test 38 38 38 38 38 38 38
z-test 43 43 43 43 43 43 43

4.3 统计功效

τ2 = 0.08 τ2 = 0.32
β(均)较小 β(均)较大 β一个较大

β(均)较小 β(均)较大 β一个较大

β = 0.2 β = (0.2, 0.2) β = 0.5 β = (0.5, 0.5) β = (0.2, 0.5) β = 0.2 β = (0.2, 0.2) β = 0.5 β = (0.5, 0.5) β = (0.2, 0.5)
Knha-test 30 30 20 70 70 20 20 50
z-test 38 38 30 80 80 20 20 52

4.4 I类错误率

β(均)为0 20 20 38 38
β(均)较小 30 30 70 70
β(均)较大 20 20 38 38
β1较小β2较大 —— 20 —— 50

β(均)为0 23 25 43 43
β(均)较小 38 38 80 80
β(均)较大 23 25 43 43
β1较小β2较大 —— 30 —— 52

5.4 参数检验方法的比较

López-López等人(2017)对仅包含一个调节变量的简单元回归模型进行研究, 结果表明了Wald- type z检验方法对I类错误率的控制能力较差, 本研究通过拓展调节变量的个数, 得到基于复杂元回归模型的研究结果, 进一步证实了Wald-type z检验方法在控制I类错误率方面的不足。目前国内心理学元分析研究者多使用CMA软件, 而该软件仅支持Wald-type z检验方法, 考虑到Wald- type z检验方法犯I类错误的概率往往偏大, 已发表的元分析研究中许多显著结果是有待进一步商榷的。未来的元分析研究者也应慎重使用CMA软件。

6.1 结论

(1)元回归模型能够较好地适应Fisher的Zr这一效应量;

(2)为达到参数估计要求, 元回归分析至少需要20个效应量, 且应当根据实际情况进一步增加。纳入合适的调节变量能降低对效应量的个数需求;

(3)效应量的最小个数需求在包含一个、两个调节变量的模型中差别不大;

(4) Wald-type z检验方法在元回归分析中易犯I类错误。

6.2 建议

(1)元回归模型可以成为整合和比较心理学领域研究结果的有效工具;

(2)实证研究者应慎重采用内嵌Wald-type z检验方法的CMA软件, 推荐使用R软件的metafor包及其中的Knapp and Hartung检验方法;

(3)实证研究至少需要20个效应量, 且应当根据实际情况进一步增加效应量个数。在研究开始前, 研究者应对回归系数的大小范围进行预估, 在研究过程中则需要探索合适的调节变量以降低剩余异质性。采用Knapp and Hartung检验方法的情况下, 当剩余异质性较小且回归系数(均)较小时需增至30个效应量; 当剩余异质性较大时, 效应量增至38个可满足要求, 此时若回归系数一个较大一个较小需增至50个效应量, 若回归系数(均)较小需增至70个;

(4)这几点建议可以对未来审稿人在评估一个元回归研究的质量时提供参考, 有助于考察该研究是否纳入了足够的效应量个数以获得稳定可信的结果。

附录1

k τ2 = 0.08 τ2 = 0.32
β = 0 β = 0.2 β = 0.5 β = 0 β = 0.2 β = 0.5
20 -0.0004 -0.0001 0.0003 -0.0012 0.0008 0.0056
40 0.0009 0.0004 -0.0001 -0.0031 -0.0011 -0.0009
60 0.0006 0.0000 -0.0009 0.0010 -0.0014 -0.0009
80 0.0004 -0.0003 -0.0003 0.0000 0.0003 -0.0005
100 -0.0007 0.0000 0.0002 -0.0006 0.0004 0.0000
120 0.0000 0.0000 -0.0004 0.0003 -0.0001 0.0002

k τ2 = 0.08 τ2 = 0.32
β = 0 β = 0.2 β = 0.5 β = 0 β = 0.2 β = 0.5
20 0.0000 0.0000 0.0003 0.0026 0.0005 -0.0009
40 0.0007 0.0004 -0.0009 0.0000 -0.0004 0.0003
60 -0.0003 0.0007 -0.0001 -0.0005 0.0000 0.0003
80 0.0000 0.0001 0.0008 0.0001 0.0013 0.0017
100 -0.0002 0.0001 -0.0001 0.0005 -0.0009 -0.0014
120 0.0001 0.0003 -0.0006 0.0007 0.0000 0.0002

k τ2 = 0.08 τ2 = 0.32
β = (0, 0) β = (0.2, 0.2) β = (0.5, 0.5) β = (0.2, 0.5) β = (0, 0) β = (0.2, 0.2) β = (0.5, 0.5) β = (0.2, 0.5)
20 -0.0008 0.0006 -0.0007 0.0003 0.0001 -0.0007 0.0003 -0.0005
40 0.0003 0.0006 -0.0001 0.0008 -0.0008 0.0001 -0.0017 -0.0005
60 0.0000 -0.0006 -0.0003 0.0000 0.0004 0.0001 0.0003 -0.0002
80 0.0001 0.0002 -0.0004 0.0001 0.0005 0.0005 0.0006 0.0001
100 -0.0002 0.0002 -0.0003 0.0001 0.0004 0.0006 -0.0003 0.0002
120 0.0000 0.0001 0.0001 -0.0001 -0.0003 0.0000 0.0002 0.0004

k τ2 = 0.08 τ2 = 0.32
β = (0, 0) β = (0.2, 0.2) β = (0.5, 0.5) β = (0.2, 0.5) β = (0, 0) β = (0.2, 0.2) β = (0.5, 0.5) β = (0.2, 0.5)
20 -0.0003 -0.0002 0.0009 0.0006 0.0005 -0.0002 0.0000 0.0000
40 -0.0008 -0.0001 0.0000 -0.0002 0.0002 -0.0002 0.0002 0.0010
60 0.0001 -0.0002 -0.0004 -0.0001 0.0010 0.0002 0.0005 0.0001
80 0.0000 -0.0003 -0.0001 0.0002 0.0005 -0.0002 -0.0001 0.0001
100 0.0001 0.0000 0.0000 0.0000 0.0006 -0.0003 0.0000 0.0002
120 0.0001 0.0002 0.0005 -0.0001 0.0005 0.0005 0.0000 0.0004

附录3

R语句

#以模型一(仅包含一个调节变量)为例#

install.packages ("metafor")

library (metafor)

K<-20 #设定效应量个数K, 有6种取值20, 40, 60, 80, 100, 120

β<-0.0 #设定回归系数真值, 有3种取值0, 0.2, 0.5

#需要生成两个回归系数时, 添加下标即可, 如β_m<-0, β_n<-0

tau2<-0.08 #设定剩余异质性, 有两种取值0.08, 0.32

output<-list(id = NULL, beta1 = NULL, beta2 = NULL, ci.lb2 = NULL, ci.ub2 = NULL)

for (i in 1:10000){

output$\$ $id<-append (output$\id, i)

nn<-rlnorm (K, meanlog = 1, sdlog = 0.9)

n<- round (nn*K) #生成被试量n

n[n<25]<-25

n[n>1000]<-1000

vv<-1/(n-3)

vi<-sqrt(vv)

e<-rnorm (K, mean = 0, sd = sqrt(vv + tau2))

xi<-rnorm (K) #生成调节变量x

yi<-0+xi*β+e #通过元回归模型一生成因变量y, 其中截距固定为0

#拟合元回归函数, 获得回归系数估计值

out<-rma.uni (yi, vi, mods = ~xi, tau2 = tau2, test = "knha", method = "DL") #test指定了检验方法

output$\$ $beta1<-append (output$\beta1, out$\$ $b[1]) output$\beta2<-append (output$\$ $beta2, out$\b[2])

output$\$ $ci.lb2<-append (output$\ci.lb2, out$\$ $ci.lb[2]) output$\ci.ub2<-append (output$\$ $ci.ub2, out$\ci.ub[2])

write.table (output, "D:/20-0.0-0.08.txt")

}

参考文献 原文顺序 文献年度倒序 文中引用次数倒序 被引期刊影响因子

R软件Metafor程序包在Meta分析中的应用

Stata在探索异质性来源—Meta回归分析中的应用

Borenstein M., Hedges L. V., Higgins J. P. T., & Rothstein H. R . ( 2009).

Introduction to meta-analysis

UK: John Wiley & Sons, Ltd., Publication.

Borenstein M., Hedges L. V., Higgins J. P.T., & Rothstein H. R . ( 2010).

A basic introduction to fixed-effect and random-effects models for meta-analysis

Research Synthesis Methods, 1( 2), 97-111.

Cafri G., Kromrey J. D., & Brannick M. T . ( 2010).

A meta-analysis: Empirical review of statistical power, type I error rates, effect sizes, and model selection of meta-analyses published in psychology

Multivariate Behavioral Research, 45( 2), 239-270.

Card N. A. (2012). Applied meta-analysis for social science research. New York: The Guilford Press.

Cheung, M. W. L., & Vijayakumar, R . ( 2016).

A guide to conducting a meta-analysis

Neuropsychology Review, 26( 2), 121-128.

Çoğaltay N., & Karadağ E. . ( 2015). Introduction to meta-analysis. In E. Karadağ (Eds.), Leadership and Organizational Outcomes (2nd ed, pp. 19-28). Switzerland: Springer International Publishing.

Cohn, L. D., & Becker, B. J . ( 2003).

How meta-analysis increases statistical power

Psychological Methods, 8( 3), 243-253.

Field, A. P . ( 2001).

Meta-analysis of correlation coefficients: A Monte Carlo comparison of fixed- and random-effects methods

Psychological Methods, 6( 2), 161-180.

Glass, G. V . ( 1976).

Primary, secondary, and meta-analysis of research

Educational Researcher, 5( 10), 3-8.

Huizenga H. M., Visser I., & Dolan C. V . ( 2010).

Testing overall and moderator effects in random effects meta-regression

British Journal of Mathematical and Statistical Psychology, 64, 1-19.

Knapp, G., & Hartung, G . ( 2003).

Improved tests for a random effects meta-regression with a single covariate

Statistics in Medicine, 22, 2693-2710.

López-López J. A., Noortgate W. V. D., Tanner-Smith E. E., Wilson S. J., & Lipsey M. W . ( 2017).

Assessing meta- regression methods for examining moderator relationships with dependent effect sizes: A Monte Carlo simulation

Research Synthesis Methods, 8( 4), 435-450.

Murphy, K. R . ( 2017).

What inferences can and cannot be made on the basis of meta-analysis?

Human Resource Management Review, 27( 1), 193-200.

Schmidt, F. L . ( 2017).

Statistical and measurement pitfalls in the use of meta-regression in meta-analysis

Career Development International, 22( 5), 469-476.

Steel, P. D., & Kammeyer-Mueller, J. D . ( 2002).

Comparing meta-analytic moderator estimation techniques under realistic conditions

Journal of Applied Psychology, 87( 1), 96-111.

Suchotzki K., Verschuere B., Bockstaele B. V., Ben-Shakhar G., & Crombez G . ( 2017).

Lying takes time: A meta-analysis on reaction time measures of deception

Psychological Bulletin, 143( 4), 428-453.

Valentine J. C., Pigott T. D., & Rothstein H. R . ( 2010).

How many studies do you need? A primer on statistical power for meta-analysis

Journal of Educational & Behavioral Statistics, 35( 2), 215-247.

Viechtbauer, W . ( 2010).

Conducting meta-analyses in R with the metafor package

Journal of Statistical Software, 36, 1-48.

Viechtbauer W., López-López J. A., Sánchez-Meca J., & Marín-Martínez F . ( 2015).

A comparison of procedures to test for moderators in mixed-effects meta-regression models

Psychological Methods, 20( 3), 360-374.