빨리 결정하면 더 기부한다던 경제 게임, 재현 보고서는 '시간 압박의 인과효과 부재에 부합한다'고 적었습니다
알려진 것: 빨리 결정하게 하면 더 냈다
Rand, Greene, Nowak는 2012년에 익명 4인 경제 게임 결과를 보고했습니다. 참가자들은 결정을 미루도록 강제받았을 때보다 빨리 결정하도록 요구받았을 때 공동 프로젝트에 더 많은 돈을 냈습니다. 이 결과를 다시 검증한 재현 보고서는 원 연구를 이렇게 요약합니다.
In an anonymous 4-person economic game, participants contributed more money to a common project (i.e., cooperated) when required to decide quickly than when forced to delay their decision (Rand, Greene & Nowak, 2012), a pattern consistent with the social heuristics hypothesis proposed by Rand and colleagues.
재현 보고서는 이 패턴이 Rand와 동료들이 제안한 사회적 휴리스틱 가설에 부합한다고 적었습니다. 다만 여기서 알려진 것은 이 게임의 시간 제약 조건에서 나온 결과입니다. 빠른 결정이나 직관 일반에 관한 이야기로 넓혀 읽을 근거는 이 글에 없습니다.
실제로 확인한 것: 같은 방식으로 분석하면 차이는 보였다
이 결과를 다시 확인한 문서가 「Registered Replication Report: Rand, Greene, and Nowak (2012)」입니다.
재현 보고서 저자들은 자료를 두 가지 방식으로 분석했습니다. 하나는 원 연구와 같은 방식으로, 시간 제한을 지킨 참가자의 자료만 넣는 분석입니다. 다른 하나는 무작위로 배정된 참가자 전원을 넣는 분석(intent-to-treat)입니다.
원 연구와 같은 방식의 결과는 이렇습니다. 시간 제한을 지킨 참가자만 분석했을 때 재현 보고서 저자들이 관찰한 기부 차이는 10.37%p였고, 원 연구의 차이는 15.31%p였습니다.
Analyzing the data as the original article did, including data only for participants who complied with the time constraints, the RRR observed a 10.37 percentage point difference in contributions compared with a 15.31 percentage point difference in the original study.
즉 원 연구의 분석 방식을 그대로 따르면 재현에서도 차이는 나타났습니다. 원 연구보다 작았을 뿐입니다.
둘의 차이: 누구를 분석에 남겼는가
저자들의 결론은 준수자 분석 하나에서 나오지 않았습니다. 두 분석을 합쳐서 읽었을 때 나왔습니다.
In combination, the results of the intent-to-treat analysis and the compliant-only analysis are consistent with the presence of selection biases and the absence of a causal effect of time pressure on cooperation.
저자들은 두 분석의 결과가 선택 편향의 존재, 그리고 시간 압박이 협력에 미치는 인과효과의 부재에 부합한다고 썼습니다. 표현은 ‘부합한다’이지 ‘확인했다’가 아닙니다.
그래서 무엇이 달라지는가
이 재현 보고서에서 가져갈 수 있는 것은 두 가지입니다.
- 시간 제한을 지킨 참가자만 분석하면 재현에서도 기부 차이는 10.37%p로 관찰됐고, 이는 원 연구의 15.31%p보다 작았습니다.
- 재현 보고서 저자들은 전원 분석과 준수자 분석을 합친 결과가 선택 편향의 존재와 시간 압박의 인과효과 부재에 부합한다고 해석했습니다.
같은 자료에서 나온 준수자 분석의 차이를 저자들은 시간 압박의 효과로 읽지 않았습니다. 조건을 지킨 사람만 남긴 실험 결과를 만나면, 무작위로 배정된 전원을 분석한 결과가 함께 실려 있는지부터 찾아보시기 바랍니다.
궁금한 점이나 틀린 내용이 있으면 pikanostudio@gmail.com으로 메일 주세요.