마시멜로 연구를 다시 해 보니, 기다린 시간의 예측력은 원 연구보다 작게 나왔습니다

어린 시절에 얼마나 오래 기다렸는지가 나중의 성적을 내다본다는 이야기가 있습니다. 출처는 유명한 마시멜로 연구입니다. 이 연구를 다시 해 본 논문을 원문으로 읽어 봤습니다. 결론부터 말씀드리면, 기다린 시간이 성적을 예측한다는 관찰 자체는 나왔습니다. 다만 그 크기가 원 연구보다 작았고, 다른 요인을 함께 보자 더 줄었습니다.

알려진 것

재현 논문은 원 연구를 이렇게 요약합니다. 원 연구는 학교에 들어가기 직전 아이의 만족 지연 능력이 두 가지와 강한 단순 상관을 보인 연구입니다. 하나는 청소년기의 학업 성취이고, 다른 하나는 사회정서적 행동입니다.

통념은 이 요약에 기대고 있습니다. 요지는 취학 직전 만족 지연 능력이 청소년기 학업 성취 및 사회정서적 행동과 강한 단순 상관을 보였다는 것입니다.

다시 해 보니

이번 논문은 원 연구를 재현하고 확장한 연구입니다. 분석은 어머니가 대학을 마치지 않은 아동에게 집중했습니다.

이 아동들에게서 4세 때 1분을 더 기다린 것은 15세 학업 성취가 약 0.1 표준편차 오르는 것을 예측했습니다. 여기까지만 보면 통념이 맞아 보입니다.

그런데 이 숫자는 다른 요인을 고려하지 않은 단순 상관입니다. 논문은 이 단순 상관이 원 연구에서 보고된 크기의 절반이었다고 적었습니다.

다른 요인을 넣자 더 줄었습니다. 가정 배경, 초기 인지 능력, 가정 환경을 통제하자 이 관련은 3분의 2가 줄었습니다.

두 가지 결과가 더 있습니다.

첫째, 청소년기 성취의 변동 대부분은 적어도 20초를 기다릴 수 있었는지에서 나왔습니다. 그러니 1분당 약 0.1 표준편차라는 숫자를 비례 법칙처럼 읽으면 안 됩니다. 기다린 시간이 길수록 성취가 고르게 늘어난다는 뜻으로 읽으면, 변동 대부분이 20초 문턱에서 나왔다는 결과와 어긋납니다.

둘째, 기다린 시간과 15세 행동 지표의 관련은 훨씬 작았고, 통계적으로 유의한 경우가 드물었습니다. 원 연구 요약에서 학업 성취와 함께 강한 상관을 보였다고 한 사회정서적 행동 쪽입니다.

둘의 차이

나란히 놓으면 이렇습니다.

• 원 연구(재현 논문의 요약): 학업 성취, 사회정서적 행동과 모두 강한 단순 상관을 보였습니다.
• 재현 연구의 학업 성취: 단순 상관은 원 연구의 절반 크기였고, 통제 후 3분의 2가 줄었습니다.
• 재현 연구의 행동 지표: 관련이 훨씬 작았고, 유의한 경우가 드물었습니다.

관련이 사라졌다는 이야기는 아닙니다. 단순 상관 단계에서 1분당 약 0.1 표준편차의 예측이 있었습니다. 통제 뒤의 결과도 3분의 2가 줄었다는 것이지 없어졌다는 것이 아닙니다. 달라진 것은 ‘강하다’는 수식어입니다.

그래서 무엇이 달라지는가

같은 ‘기다림이 성적을 예측한다’는 문장도 어느 숫자를 붙이느냐에 따라 무게가 달라집니다. 단순 상관으로 보면 1분당 약 0.1 표준편차입니다. 가정 배경, 초기 인지 능력, 가정 환경을 함께 보면 그 관련은 3분의 2가 줄어듭니다.

이 결과는 어머니가 대학을 마치지 않은 아동을 중심으로 한 분석에서 나왔습니다. 그 범위를 넘겨서 읽지 않는 것이 맞습니다.

이 연구를 읽을 때 손에 쥘 것은 하나입니다. 마시멜로 연구의 숫자를 보면, 그것이 통제 전 숫자인지 통제 후 숫자인지부터 확인하는 것입니다. 이 재현 연구에서는 그 차이가 3분의 2였습니다.