마시멜로 실험을 다시 해보니: 1분 더 참은 아이의 차이는 0.1 표준편차였습니다

마시멜로 실험은 한 번쯤 들어보셨을 겁니다. 어린아이가 눈앞의 마시멜로를 먹지 않고 얼마나 오래 참는지를 재는 실험입니다.

이 실험에는 흔히 이런 이야기가 따라붙습니다. 어릴 때 잘 참는 아이가 청소년기에 공부도 잘하며, 만족을 미루는 능력이 학업 성취를 결정짓는 핵심 요인이라는 것입니다.

원문이 확인한 것

이 통념을 다시 검증한 연구가 있습니다. ‘Revisiting the Marshmallow Test: A Conceptual Replication’이라는 제목의 논문입니다.

연구진은 어머니가 대학을 마치지 않은 가정의 아이들에 집중해 분석했습니다.

결과부터 말씀드리겠습니다. 4세 때 1분을 더 기다린 것은 15세 때 학업 성취가 약 0.1 표준편차 높은 것과 연결됐습니다.

양의 상관은 관찰됐다는 뜻입니다. 다만 이것만으로는 참는 능력이 학업 성취를 결정짓는 요인인지 확인되지 않습니다.

문제는 크기입니다.

이 연구에서 나온 단순 상관은 원래 연구들이 보고한 크기의 절반에 그쳤습니다.

여기에 가정 배경, 초기 인지 능력, 가정 환경을 통제하자 이 상관은 다시 3분의 2가 줄었습니다.

통제를 넣자 상관이 크게 줄었다는 것은, 처음 보이던 상관의 상당 부분이 가정 배경이나 초기 인지 능력 같은 다른 요인과 겹쳐 있었다는 뜻입니다.

다만 이것이 참는 능력에 효과가 없다는 증명은 아닙니다. 통제 후 상관이 줄었다는 사실만으로는 인과가 있는지 없는지를 판정할 수 없습니다.

그래도 ‘결정짓는 핵심 요인’이라는 표현과 이 숫자 사이에는 분명한 거리가 있습니다.

이 연구에서 가져갈 것은 마시멜로 자체보다 읽는 법입니다. ‘A가 B를 좌우한다’는 주장이 상관에 기대고 있다면, 두 가지를 물어볼 만합니다.

첫째, 다시 재도 그 크기가 나오는가입니다. 이 연구에서는 단순 상관부터 원래 보고의 절반이었습니다.

둘째, 가정 배경 같은 다른 요인을 함께 놓아도 남는가입니다. 이 연구에서는 통제를 넣자 3분의 2가 줄었습니다.

마지막으로 범위도 봐야 합니다. 이 결과는 어머니가 대학을 마치지 않은 가정의 아이들을 중심으로 분석한 것이므로, 모든 아이에게 그대로 넓혀 읽을 수는 없습니다.

이번 표본에서 다시 잰 단순 상관은 원래 연구들이 보고한 크기의 절반이었고, 통제를 넣자 다시 3분의 2가 줄었습니다. 원문을 확인해서 드러난 것은 그 크기였습니다.