객관식 답을 고치지 말라는 믿음과 선행 연구가 어긋난 자리
시험장에서 한 번쯤 들어 본 조언이 있습니다. 객관식에서 한번 고른 답은 바꾸지 말라는 것입니다. 이 글은 그 믿음을 다룬 심리학 논문의 초록을 원문으로 확인하고, 거기에 적힌 선행 연구의 보고가 그 믿음과 어떻게 어긋나는지를 살핍니다.
알려진 것
이 논문의 초록은 통념을 이렇게 요약합니다.
Most people believe that they should avoid changing their answer when taking multiple-choice tests.
대부분의 사람이 객관식 시험에서 답을 바꾸는 일을 피해야 한다고 믿는다는 문장입니다. 답 변경을 피해야 한다는 이 믿음이 논문이 출발점으로 삼은 통념입니다.
실제로 확인한 것
같은 초록의 다른 발췌에서는 이 주제의 선행 연구가 무엇을 보고해 왔는지를 적습니다.
Virtually all research on this topic, however, has suggested that this strategy is ill-founded: Most answer changes are from incorrect to correct, and people who change their answers usually improve their test scores.
이 문장은 이 논문이 새로 낸 실험 결과가 아니라, 논문이 정리한 선행 연구의 보고입니다. 초록에 따르면 이 주제의 거의 모든 연구가 답을 바꾸지 않는 전략은 근거가 약하다고 시사해 왔습니다. 그 내용은 두 갈래입니다. 하나는 답안 변경 대부분이 오답에서 정답으로 가는 방향이라는 것이고, 다른 하나는 답을 바꾸는 사람은 보통 시험 점수가 오른다는 것입니다.
둘의 차이
통념은 답 변경을 피해야 한다고 말하고, 선행 연구의 보고는 바꾼 쪽이 보통 이득을 봤다고 말합니다. 믿음과 자료의 방향이 반대입니다.
여기서 두 주장을 섞지 않는 편이 정확합니다. 변경의 대부분이 오답에서 정답으로 갔다는 것은 변경 건수의 방향을 말하는 주장이고, 바꾼 사람이 보통 점수가 올랐다는 것은 사람 단위의 결과를 말하는 주장입니다. 제공된 발췌는 두 결과를 나란히 보고합니다. 이 글도 그 선을 넘지 않습니다.
제공된 발췌에는 구체적인 비율이나 표본 수가 없습니다. 그래서 이 글에서도 얼마나 많은 변경이 그랬는지는 말하지 않습니다.
그래서 무엇이 달라지는가
이 원문 확인에서 가져갈 것은 세 가지입니다.
- 객관식 답안 수정에 관한 널리 퍼진 믿음은, 그 주제를 다룬 선행 연구의 보고와 같은 초록 안에서 정면으로 어긋납니다. 믿음이 자료와 일치하는지는 따로 확인할 일이었습니다.
- 선행 연구의 보고는 변경의 방향과 사람의 점수 변화라는 서로 다른 두 주장으로 이루어져 있습니다. 둘을 하나로 뭉뚱그려 기억하면 원문보다 더 강하게 말하게 됩니다.
- 이 글이 말하지 않는 것이 있습니다. 답을 무조건 바꾸라는 처방이 아니고, 모든 시험 상황에 적용된다는 뜻도 아니며, 직관을 따르는 일 일반이 틀렸다는 뜻도 아닙니다. 확인한 범위는 객관식 시험의 답안 수정 전략에 관한 선행 연구의 보고까지입니다.
믿음이 생기는 이유는 이번에 확인한 발췌만으로 설명하지 않습니다.