多层次研究的数据聚合适当性检验:文献评价与关键问题试解
朱海腾

Data aggregation adequacy testing in multilevel research: A critical literature review and preliminary solutions to key issues
ZHU Haiteng
表10 共享单位特性构念的信效度检验程序
步骤 推荐做法 不恰当的做法 补充说明
I.准备阶段 1.阐明共享单位特性构念所在的层次及理论依据
2.报告预先设定的各指标的划界值, 需简述理由或引用相关文献
1.忽视对构念所在层次的思考和讨论
2.固守陈旧的不合理的划界值; 无根据地任意选取划界值; 不明确报告划界值; 文献引用不当
对构念所在层次的阐述应置于理论模型构建部分(先于方法部分)
II.聚合适当性检验 1.报告拟使用的原分布(至少2种)及理由
2.分别报告各原分布下全样本的rWG均值、中位数、范围、达到划界值的组的比例、因不达标而被剔除的组的数量
1.只使用均等分布
2.无根据地选取原分布
3.结果报告不全, 如只报告rWG均值
4.对rWG值不达标的组不加处理
应检查每个样本组的rWG值, 将rWG值不达标和过高的组排除出后续分析; 如果不合格的组过多, 建议检查施测过程、补充数据
III.效度检验 1.报告ICC(1)值和方差分析的F检验结果
2.报告多层次验证性因子分析结果
把高层次构念与个体层次构念放在一起, 执行常规的单层次验证性因子分析 1.如果ICC(1)较小, 构念间的关系可能被低估, 应在文中讨论这种局限性
2.如果组数较少, 多层次验证性因子分析容易出现收敛困难或估计偏差
IV.信度检验 1.报告ICC(2)值(聚合信度)
2.如可以实现多层次验证性因子分析, 还应计算组间的Cronbach’s α或ω系数、H系数(心理测量学信度)
忽视组间结构, 以单层次的Cronbach’s α作为整体信度指标 当组内人数较多时, ICC(2)容易膨胀, 需确保ICC(1)足够大; 当组内人数较少时, 如果ICC(1)较大, 略小的ICC(2)亦可接受