빨리 정하면 더 기여한다던 8.6%p 차이, 재현 보고서의 1차 계획 분석에서는 −0.37%p였습니다

알려진 것

재현 보고서는 원래 연구의 결과를 다음과 같이 요약합니다.

익명으로 진행한 4인 경제 게임에서 빨리 결정하도록 요구받은 참가자가 결정을 미루도록 강제된 참가자보다 공동 프로젝트에 더 많은 돈을 기여했다는 것입니다.

보고서는 이 패턴이 Rand와 동료들이 제안한 사회적 휴리스틱 가설과 맞아떨어진다고 적었습니다.

원래 데이터로 계산한 두 조건의 기여 차이는 8.6%p였습니다.

같은 보고서의 1차 계획 분석은 무작위로 조건에 배정되고 프로토콜 포함 기준을 충족한 참가자 전원의 데이터를 썼습니다.

이 분석에는 시간 제약을 지키지 않은 참가자도 들어 있습니다.

시간 압박 조건에서는 65.9%, 강제 지연 조건에서는 7.5%가 시간 제약을 지키지 않았고, 이들도 모두 분석에 포함됐습니다.

이 분석에서 관찰된 기여 차이는 −0.37%p였습니다.

두 숫자를 나란히 놓으면 8.6%p와 −0.37%p로, 크기만이 아니라 부호도 다릅니다.

8.6%p는 원래 데이터에서 계산한 값이고, −0.37%p는 재현 보고서의 1차 계획 분석에서 나온 값입니다.

시간 압박 조건에 배정된 참가자의 65.9%, 즉 셋 중 둘가량은 시간 제약을 지키지 않았는데도 이 분석에서는 시간 압박 조건으로 집계됐습니다.

반면 강제 지연 조건에서 시간 제약을 지키지 않은 참가자는 7.5%였습니다.

이 글이 확보한 발췌에는 유의성 검정이나 신뢰구간이 없습니다.

그래서 −0.37%p만 보고 효과가 없다거나 통계적으로 재현되지 않았다고 단정하지는 않겠습니다.

이 게임에서 빨리 결정하게 하면 기여가 늘었다고 인용하려면 8.6%p만 가져와서는 부족합니다.

같은 보고서의 1차 계획 분석 값 −0.37%p를 함께 적어야 합니다.

그 분석은 배정된 조건을 기준으로 집계했고, 시간 압박 조건 참가자의 65.9%가 시간 제약을 지키지 않은 채 포함됐다는 점도 밝혀야 숫자를 제대로 읽을 수 있습니다.

여기까지는 이 게임에서 시간 압박과 강제 지연을 비교한 결과에 대한 이야기입니다.

직관과 협력 전반이나 사회적 휴리스틱 가설 전체는 이 숫자 하나로 판단할 수 없습니다.