의지력이 바닥났다는 그 실험은 재현되지 않았습니다

결론부터 말씀드리면, 저녁에 참지 못한 것이 의지력이 바닥나서라는 설명은 근거가 남아 있지 않습니다. 정확히는 이렇습니다. 그 효과가 없다고 증명된 것이 아니라, 처음 주장했던 크기의 근거가 사라졌습니다.

이 글에서 다룰 것은 두 가지입니다. 1) 그 실험이 무엇이었고 숫자가 어떻게 줄어들었는지, 2) 그럼에도 남아 있는 반론은 무엇인지.

이 글은 제가 겪은 것이 아닙니다

먼저 밝혀둘 것이 있습니다. 앞선 글들은 제가 직접 막히고 직접 잰 것을 썼습니다. 이 글은 다릅니다. 저는 심리학 실험을 하지 않았고, 할 수도 없습니다.

제가 한 것은 알려진 이야기가 지금 어떤 상태인지 확인한 것뿐입니다. 그래서 이 글에 나오는 숫자는 전부 남의 것이고, 제 몫은 그 숫자들을 순서대로 늘어놓는 데까지입니다.

1998년 실험입니다. 참가자에게 초콜릿을 눈앞에 두고 참게 했습니다. 그다음 다른 과제를 줬더니, 초콜릿을 참았던 쪽이 더 빨리 포기했습니다.

해석은 자연스러웠습니다. 참는 데 뭔가를 썼고, 그래서 다음에 쓸 것이 모자랐다. 의지력을 배터리처럼 보는 그림이 여기서 나왔습니다.

이 그림은 강력했습니다. 설명력이 좋고, 무엇보다 자기 경험과 맞아떨어집니다. 하루 종일 참다가 저녁에 무너져 본 사람이라면 누구나 아는 감각이니까요.

메타분석이 나왔습니다. 관련 실험 198건을 모아 효과크기를 계산했더니 0.62가 나왔습니다.

심리학에서 0.62는 작은 숫자가 아닙니다. 중간에서 큰 쪽에 가깝습니다. 이 시점에 자아고갈은 “숫자까지 붙은 정설"이었습니다.

메타분석은 실험들을 모읍니다. 그러면 어떤 실험들이 모였는가가 결과를 좌우합니다.

여기에 오래된 문제가 있습니다. 효과가 나온 연구는 논문이 되고, 효과가 없었던 연구는 서랍에 남습니다. 그러면 모을 수 있는 것은 처음부터 효과가 나온 쪽으로 기울어 있습니다. 출판편향입니다.

출판편향을 걷어내는 보정을 넣자 효과는 0 아래로 내려갔습니다.

보정은 통계적 추정입니다. 그러니 답은 하나뿐입니다. 다시 해보는 것.

여러 연구실이 같은 절차로 동시에 실험했습니다. 한 번은 23개 연구실, 다른 한 번은 36개 연구실이었습니다.

2010 메타분석        d = 0.62
다중 연구실 재현      d = 0.04
다중 연구실 재현      d = 0.06

0.04와 0.06은 “작다"가 아닙니다. 이 크기는 없는 것과 구분되지 않습니다. 두 재현 모두 오차 범위가 0을 지나갔습니다.

반론이 있습니다. 그리고 이 반론은 반대편에서 온 것이 아니라, 분석을 한 저자들 자신이 남긴 것입니다.

0을 지나지 않은 분석도 있습니다. 어떤 방식으로 묶느냐에 따라 효과가 살아나는 경우가 있었습니다.

보정 방법이 새롭다는 지적도 있습니다. 출판편향을 걷어내는 방법 자체가 비교적 최근에 정립된 것이라, 그 방법이 과하게 깎아낼 가능성이 남아 있습니다.

그러니 “자아고갈은 없다"고 쓰는 것은 지금 자료가 허락하는 것보다 한 발 더 나간 말입니다. 정확한 문장은 이것입니다 — 0.62라는 크기의 근거가 남아 있지 않습니다.

저녁에 무너지는 경험 자체가 사라지는 것은 아닙니다. 그건 여전히 있습니다. 달라지는 것은 그 경험을 무엇으로 설명하느냐입니다.

배터리 그림은 하나의 처방을 낳습니다. 아꼈다가 중요한 데 쓰라는 것. 이 처방은 원 실험의 크기를 전제로 합니다. 그 전제가 흔들리면 처방도 같이 흔들립니다.

무엇이 대신 들어가야 하는지는 이 글이 답할 수 있는 범위 밖입니다. 제가 확인한 것은 여기까지입니다.

들어본 심리학 개념을 만나면 순서를 이렇게 두십시오. 원 실험이 무엇이었나, 메타분석이 있나, 출판편향 보정 후에도 남나, 그리고 여러 연구실이 다시 해봤나.

마지막 두 개를 통과한 것은 생각보다 적습니다.

유명하다는 것과 재현됐다는 것은 다른 말입니다.