도덕적 상기가 부정행위를 줄였다는 결과, 19개 재현에서는 0.11개 차이에 그쳤습니다

알려진 것

이번에 확인한 사전등록 재현 보고서는 Mazar, Amir, Ariely(2008)의 원 연구 결과를 이렇게 요약합니다.

When given the opportunity to cheat, participants given the moral-reminder priming task reported solving 1.45 fewer matrices than did those given a neutral prime (Cohen’s d = 0.48); moral reminders reduced cheating.

속일 기회가 주어진 상황에서, 도덕적 상기 과제를 받은 집단은 중립 과제를 받은 집단보다 매트릭스 문제를 1.45개 적게 풀었다고 보고했고, 효과 크기는 d=0.48이었습니다. 원 연구의 결론은 도덕적 상기가 부정행위를 줄였다는 것이었습니다.

실제로 확인한 것

같은 설계를 다시 돌린 사전등록 재현 보고서(Registered Replication Report on Mazar, Amir, and Ariely (2008), doi:10.1177/2515245918781032)의 주 분석 결과는 다음과 같습니다.

In the primary meta-analysis (19 replications, total n = 4,674), participants who were given an opportunity to cheat reported solving 0.11 more matrices if they were given a moral reminder than if they were given a neutral reminder (95% confidence interval = [−0.09, 0.31]).

19개 재현을 합친 주 메타분석(총 4,674명)에서, 도덕적 상기를 받은 집단은 중립 상기를 받은 집단보다 풀었다고 보고한 매트릭스 수가 0.11개 많았습니다. 95% 신뢰구간은 [−0.09, 0.31]로 0을 포함합니다.

둘의 차이

원 연구에서는 도덕적 상기 집단이 1.45개 적게 보고했고, 재현에서는 0.11개 많게 보고했습니다. 재현 쪽 차이는 부호가 반대일 뿐 아니라 신뢰구간이 0을 걸치고 있어, 두 집단이 보고한 수가 다르다고 말할 근거가 되지 않습니다. 원 연구가 부정행위 감소로 해석한 크기의 차이는 재현에서 나타나지 않았습니다.

그래서 무엇이 달라지는가

매트릭스 과제와 도덕적 상기 점화라는 이 설계의 대규모 직접 재현에서는, 도덕적 상기의 부정행위 억제 효과가 관찰되지 않았습니다.
이것은 효과가 없다는 확정이 아닙니다. 신뢰구간 [−0.09, 0.31]은 작은 억제 효과도, 작은 반대 방향 효과도 배제하지 않습니다. 재현에서 집단 차이가 0.11개 많았다는 것을 부정행위가 늘었다는 뜻으로 읽을 근거도 없습니다.
이 결과는 이 과제에 한정됩니다. 도덕 교육 전반이 소용없다거나 부정행위 방지 방법 일반에 대해 무언가를 말해 준다고 넓혀 읽을 근거는 이 보고서에 없습니다.

재현 보고서가 요약한 원 연구 결과는 “도덕적 상기가 부정행위를 줄였다"였고, 실제로 확인한 것은 “이 과제의 19개 재현에서는 부정행위 억제 효과가 관찰되지 않았다"입니다. 원 연구 하나의 결과를 인용할 때, 같은 설계의 재현이 어떤 수치를 냈는지까지 함께 보는 것이 이번 사례가 보여 준 지점입니다.