시간 예측은 늘 낙관적일까: 수술 759건에서 결과가 갈린 두 측정

일을 끝내는 데 걸릴 시간을 사람들은 늘 적게 잡는다는 말이 있습니다. 마감을 넘겨 본 사람이라면 고개를 끄덕일 이야기입니다. 다만 ‘늘’이라는 말까지 맞는지는 따로 확인해야 합니다. 그래서 두 연구의 초록 문장을 나란히 놓고 비교했습니다.

알려진 것: 예측은 낙관적이다

1994년에 나온 한 연구(doi 10.1037/0022-3514.67.3.366)의 초록은 이렇게 적습니다.

“Ss’ predictions of their completion times were too optimistic for a variety of academic and nonacademic tasks.”

참가자들이 낸 완료 시간 예측은 학업 과제에서도, 학업 밖의 과제에서도 지나치게 낙관적이었습니다. 여러 과제에서 그랬다는 뜻입니다.

여기까지는 통념과 같습니다. 이 문장이 힘을 갖는 이유는 과제 하나가 아니라 여러 종류의 과제에서 같은 방향의 결과가 나왔다는 데 있습니다.

다른 연구(doi 10.7759/cureus.12433)의 초록은 외과의들이 수술 시간을 예측한 결과를 다룹니다.

“Over 759 cases, the surgeons underestimated the total room times by 17.3% (p = 0.034) but did not underestimate their operative times (p = 0.590).”

풀어 쓰면 이렇습니다. 759건에서 외과의들은 수술실 점유시간(total room time)을 17.3% 적게 잡았습니다(p = 0.034). 반면 집도시간(operative time)에서는 과소추정이 확인되지 않았습니다(p = 0.590).

같은 759건을 두고도 어떤 시간을 재느냐에 따라 결과가 달랐습니다. 점유시간에서는 통념대로 적게 잡았습니다. 집도시간에서는 그런 경향이 확인되지 않았습니다.

첫 번째 연구는 낙관적 예측이 여러 과제에 걸쳐 보고됐다는 것을 보여 줍니다. 두 번째 연구는 과소추정이 확인되지 않은 측정이 하나 있었다는 것을 보여 줍니다.

여기서 조심할 점이 두 가지 있습니다.

첫째, p = 0.590은 과소추정이 없다는 것을 입증한 숫자가 아닙니다. 이 표본에서 과소추정을 확인하지 못했다는 뜻입니다. 차이를 찾지 못한 것과 차이가 없다는 것을 보인 것은 다른 이야기입니다.

둘째, 이 결과를 ‘짧은 과제에서는 시간을 적게 잡지 않는다’는 일반 법칙의 근거로 쓸 수는 없습니다. 확인된 것은 이 연구의 외과의들이 759건의 집도시간을 예측했을 때의 결과입니다. 두 시간에서 왜 결과가 갈렸는지는 제가 확인한 초록 문장에 나와 있지 않습니다.

‘사람은 시간을 적게 잡는다’는 말을 들으면, 먼저 무엇의 시간을 쟀는지 물어볼 만합니다. 이 연구에서는 같은 759건을 두고도 점유시간과 집도시간의 결과가 달랐습니다.

이 두 초록으로 말할 수 있는 것은 여기까지입니다. 여러 과제에서는 낙관적 예측이 보고됐고, 이 연구의 집도시간에서는 과소추정이 확인되지 않았습니다.