행동-문장 호환성 효과(ACE), 18개 연구실 사전 등록 재현에서 신뢰할 만한 효과가 나오지 않았다

이 글은 행동-문장 호환성 효과(action-sentence compatibility effect, ACE)를 보고한 Glenberg와 Kaschak의 2002년 논문의 문장과, 18개 연구실이 함께 그 효과를 직접 재현해 본 다른 논문의 문장을 원문으로 대조한 기록입니다. 두 발췌는 서로 다른 논문에서 가져온 것입니다.

원래 보고된 것

Glenberg와 Kaschak은 2002년 논문에서 참가자에게 문장이 말이 되는지를 판단하게 하고, 그 판단을 특정 방향의 반응으로 하게 했습니다. 두 사람은 문장이 함축하는 행동 방향과 반대 방향으로 반응해야 할 때 참가자가 판단을 어려워했다고 썼습니다.

When a sentence implied action in one direction (e.g., “Close the drawer” implies action away from the body), the participants had difficulty making a sensibility judgment requiring a response in the opposite direction.

번역하면, “서랍을 닫아라"처럼 몸에서 멀어지는 행동을 함축하는 문장이 주어졌을 때, 반대 방향의 반응이 필요한 적합성 판단을 참가자들이 어려워했다는 것입니다. 원문이 말하는 범위는 여기까지입니다. 반대 방향 반응이 어려웠다는 관찰이지, 문장 이해 전반의 속도 법칙을 세운 문장은 아닙니다.

실제로 확인한 것

18개 연구실 재현팀은 사전 등록한 설계로 이 효과의 직접 재현을 시도했습니다. 과제는 문장 적합성 판단이었고, 반응은 신체 방향 이동과 신체 반대 방향 이동으로 나뉘었습니다. 재현팀은 결과를 이렇게 썼습니다.

The results show that none of the 18 labs involved in the study observed a reliable ACE, and that the meta-analytic estimate of the size of the ACE was essentially zero.

참여한 18개 연구실 가운데 신뢰할 만한 ACE를 관찰한 곳은 없었고, 연구실 결과를 합친 메타분석에서 ACE 크기의 추정치는 사실상 0이었다는 것입니다.

둘의 차이

Glenberg와 Kaschak은 반대 방향 반응에서 판단이 어려워지는 현상을 보고했습니다. 18개 연구실 재현팀은 같은 종류의 문장 적합성 판단 과제에서 그 현상을 신뢰할 만하게 관찰한 연구실이 하나도 없었다고 보고했습니다. 한쪽은 효과를 보았고, 다른 쪽은 여러 연구실이 사전 등록 설계로 함께 찾았는데도 신뢰할 만한 ACE를 관찰하지 못한 것입니다.

여기서 조심할 것이 하나 있습니다. “사실상 0"은 메타분석 추정치에 대한 서술이지, 효과가 존재하지 않는다는 확정이 아닙니다. 재현팀의 문장도 “관찰하지 못했다"와 “추정치가 사실상 0이었다"까지만 말합니다. 이 글도 그 범위를 넘지 않습니다.

그래서 무엇이 달라지는가

이 결과가 말해 주는 것은 ACE 과제 하나에 대한 것입니다. 18개 연구실이 함께 돌린 문장 적합성 판단 과제에서는 원 논문이 보고한 방향 효과가 신뢰할 만하게 나오지 않았다, 여기까지입니다. 신체화된 인지라는 더 큰 틀이 틀렸다는 결론은 이 두 발췌에서 나오지 않습니다.

앞으로 ACE를 근거로 든 글을 만나면, 그 글이 Glenberg와 Kaschak의 원 논문만 인용하는지 18개 연구실의 재현 결과도 함께 다루는지를 확인해 보십시오.