손글씨 다이어리를 AI가 옮겨 적게 했습니다 — 세 번 읽혀서 둘이 같을 때만 믿습니다
종이 다이어리 사진을 찍으면 AI가 읽어서 옵시디언 데일리노트에 옮겨 적는 장치를 만들었습니다. 단 AI가 손글씨를 잘 읽어서 되는 게 아닙니다. 잘 못 읽는다는 걸 전제로 짰기 때문에 됩니다.
☑️ 같은 지면을 세 번 읽히고, 둘 이상이 같게 읽은 글자만 받아 적음
☑️ 틀린 단어 20% → 7%, 대신 “못 읽음(?)” 표시가 늘어남
☑️ 가장 매끄러운 결과를 낸 모델이 못 읽은 자리를 지어내고 있었음 — 못 읽음 표시가 적은 게 좋은 게 아님
핵심은 하나입니다. 같은 지면을 세 번 읽히고, 둘 이상이 같게 읽은 글자만 받아 적습니다. 그렇게 하자 틀리게 적힌 단어가 20%에서 7%로 줄었습니다. 대신 “못 읽음” 표시가 늘었습니다. 저는 이 거래가 맞다고 봅니다.
왜 굳이 종이에 쓰나
9월부터 파일로팩스 6공 바인더 한 권에 하루 한 면씩 씁니다. 왼쪽엔 시각, 오른쪽엔 그 시간에 한 일과 떠오른 것. 아래엔 체크 칸.
문제는 종이에 쓴 건 검색이 안 된다는 겁니다. 복기는 옵시디언에서 하는데, 저녁마다 손으로 옮겨 치는 건 오래 못 갑니다. 그래서 다루(Claude Code 기반 AI 비서)와 이런 흐름을 만들었습니다.
지면 사진 → 비전 모델 판독(3회) → 다수결 → 그날 데일리노트
- 날짜 옆 줄글 → 하이라이트
- 시각이 붙은 줄 → 로그
- 체크 칸 → 체크박스
- 끼니 → 식사 기록

9월 20일에 처음 돌렸습니다. 처음엔 디스코드에 사진을 올려야 했고, 10월 25일부터는 아이폰으로 찍기만 하면 됩니다. 그 얘기는 뒤에 적습니다.
모델 고르기 — 제일 읽기 좋은 답이 제일 위험했다
9월 18일, 같은 지면 한 장을 모델 6종에 읽혔습니다. 기준은 단순했습니다. 지면에 적힌 날짜(9월 17일)를 맞히는가, 고유명사 5개를 몇 개 맞히는가.
모델 날짜 고유명사 비고
GPT astra 맞음 5/5 2분 안팎
GPT sol 9/10 3/5
GPT luna 9/11 2/5
GPT terra 9/11 3/5 못 읽음 표시 14곳뿐
Claude Opus 맞음 - 19분, 4.53달러, 체크 10개 전부 완료로 오판
Gemini Pro 맞음 - 못 읽음 표시 0개
날짜가 왜 중요하냐면, 날짜를 틀리면 엉뚱한 날 노트에 하루치가 통째로 들어갑니다. 저는 그걸 한참 뒤에야 알아챕니다.
제일 놀란 건 Gemini였습니다. 결과물이 가장 매끄러웠습니다. 빈칸 하나 없이 자연스러운 한국어 문장으로 채워져 있었습니다. 그런데 같은 지면을 두 번 돌리니 내용이 서로 딴판이었습니다. 못 읽은 자리를 그럴듯한 문장으로 지어낸 겁니다.
아니, 사진 판독은 Gemini가 제일 낫다는 후기 많던데?
인쇄된 글자 얘기입니다. 손글씨 한글에서는 달랐습니다. 그리고 읽기 좋게 나오니까 더 위험합니다. 틀린 줄 모르고 넘어가니까요.
terra도 비슷한 함정이었습니다. “못 읽음” 표시가 14곳뿐이라 깔끔해 보였는데 고유명사는 3개만 맞았습니다. 모르면서 안다고 쓴 겁니다. 그래서 기준을 하나 세웠습니다. 못 읽음 표시가 적은 게 좋은 게 아닙니다.
결국 astra 하나만 남았습니다. 그 뒤로 “더 싼 모델로 바꾸자"는 얘기가 나올 때마다 이 표부터 다시 꺼냅니다.
세 번 읽혀서 둘이 같을 때만
astra도 한 번 읽으면 틀립니다. 그래서 10월 4일부터 규칙을 바꿨습니다.
- 같은 지면을 세 번 따로 읽힌다
- 둘 이상이 같게 읽은 단어만 받아 적는다
- 한 번만 그렇게 읽힌 단어는 (?)로 남긴다. 줄이면 버리고, 시각이면 비운다
- 날짜가 합의되지 않으면 아예 안 적는다. 대신 “날짜를 적어서 다시 올려 달라"고 묻는다
이유는 이렇습니다. 모델이 지어낸 글자는 세 번 다 똑같이 지어낼 가능성이 낮습니다. 진짜 적힌 글자는 여러 번 같게 읽힙니다.
효과는 10월 5일에 쟀습니다. 제가 손으로 고친 노트 6장을 정답지로 놓고 줄 단위로 채점했습니다.
astra (6장 평균) 맞음 못읽음(?) 틀림 빠짐
1회 판독 42% 22% 20% 16%
3회 다수결 40% 37% 7% 16%
맞은 건 거의 그대로입니다. 틀림이 20%에서 7%로 줄었고, 그만큼이 (?)로 옮겨 갔습니다.
맞은 게 안 늘었으면 헛수고 아냐?
아닙니다. 틀린 기록과 빈 기록은 비용이 다릅니다. (?)는 제가 보고 고치면 됩니다. 틀린 단어는 제가 알아채야 고칠 수 있는데, 대부분 못 알아챕니다. 틀린 기록은 없는 기록보다 해롭습니다. 이게 이 장치 전체를 관통하는 원칙입니다.
같은 이유로 체크 칸이 판독마다 갈리면 “안 한 것"으로 적습니다. 한 일이 미완료로 찍히면 제가 보고 고치지만, 반대는 모르고 지나갑니다. 시각도 못 읽었으면 지어서 붙이지 않습니다.
다루가 후보를 같이 보여주자는 안도 냈습니다. “가나/다라?” 처럼 두 판독을 나란히 적는 식입니다. 제가 거절했습니다. 둘 중 하나를 골라서 지우는 게 처음부터 다시 쓰는 것보다 오래 걸립니다. 그냥 (?)가 낫습니다.
읽는 횟수를 더 늘리면 나아질까도 시험했습니다. sol 모델로 13번까지 읽혀 봤는데, 최다 득표를 따르면 (?)가 틀림으로 바뀌었고 과반 기준을 쓰면 빠지는 줄만 늘었습니다. 세 번이 적당했습니다.
아직 안 되는 것
솔직히 이 장치는 아직 반쯤입니다. 숫자를 다시 보면 맞음이 40%입니다. 나머지는 제가 손봅니다.
1) 날짜를 통째로 잘못 읽습니다. 10월 13일 밤, 10월 12일 지면을 세 판독이 모두 “10월 6일"로 읽었습니다. 셋이 다 같으니 다수결도 통과했고, 10월 6일 노트에 24줄이 섞여 들어갔습니다. 다수결은 우연한 오독을 거르지, 모두가 같게 틀리는 건 못 거릅니다. 이런 건 다루가 묻지 않고 바른 날로 옮기게 해 뒀습니다. 옮기기 전 두 노트를 백업하고, 원래 있던 줄은 건드리지 않는 조건으로요.
2) 줄이 통째로 빠집니다. 빠짐이 16%입니다. 10월 10일에는 판독 도구가 업데이트되면서 상황이 더 나빠졌습니다. 같은 설정인데 지면을 한 번 훑고 끝내 버려서, 판독당 토큰이 12만에서 2만 6천으로 줄고 빠지는 줄이 15%에서 30%로 늘었습니다. 추론 강도를 한 단계 올리고 지면을 여섯 조각으로 미리 잘라 함께 넘기는 걸로 막았습니다. 대신 판독 한 번이 7~10분 걸립니다.
3) 제가 자주 쓰는 말을 못 읽습니다. 업무 용어나 제 버릇 같은 표기가 반복해서 틀렸습니다. 그래서 제가 고친 노트에서 자주 나오는 말을 모아 목록으로 넣었습니다. 글자 모양이 맞을 때만 그 표기를 쓰라는 조건을 붙여서요. 목록이 빈칸 메우는 도구가 되면 Gemini 꼴이 나니까요. 8장으로 시험했더니 7장에서 목록 없는 쪽보다 나았습니다.
비용도 가볍지 않습니다. 처음 시험할 때 세 번 판독에 한 장당 약 68만 토큰이 들었습니다. 6장을 두 모델로 병렬로 돌리다가 Codex 사용 한도가 30분 만에 바닥났습니다.
이제는 찍기만 한다
10월 25일부터는 디스코드에 사진을 올리는 단계도 없앴습니다. 아이폰으로 지면을 찍으면 iCloud로 맥에 넘어오고, 다루가 10분마다 새 사진을 훑어서 다이어리 지면만 골라 전사합니다. 결과는 텔레그램 알림으로 옵니다.
첫날 바로 두 가지가 터졌습니다.
- 아이폰 원본 사진은 픽셀이 옆으로 누운 채 “세워서 보여줘"라는 표시만 달고 있었습니다. 조각 자르기가 누운 지면을 잘랐습니다. 사진 크기도 커서 토큰이 디스코드 경로의 두 배였습니다. 보이는 그대로 세워서 긴 변 2048로 줄여 넘기게 고쳤습니다.
- 같은 사진이 3번 연속 실패하면 건너뛰게 해 뒀는데, 사용 한도가 바닥나 30분 만에 3번 실패하고 멀쩡한 지면이 건너뛰어졌습니다. 첫 실패에서 하루가 지나도 계속 실패할 때만 건너뛰게 바꿨습니다.
만들기 전에 “한 달 뒤에도 이걸 쓸 확률"을 적어 뒀습니다. 99%. 안 쓰게 된다면 이유는 “아이폰으로 안 찍어서"일 거라고요. 채점은 11월 25일입니다.
써 보고 남은 것
AI한테 손글씨를 맡길 때 제일 먼저 정할 건 “얼마나 잘 읽나"가 아니었습니다. “모를 때 뭐라고 하나"였습니다.
모르면 모른다고 표시하는 모델. 그 표시를 지우지 않는 규칙. 그리고 표시가 남은 자리를 제가 고치는 시간.
손글씨를 AI에 맡긴다면 같은 지면을 두 번 읽혀 보세요. 못 읽은 자리를 지어내는 모델은 그때 드러납니다.
궁금한 점이나 틀린 내용이 있으면 pikanostudio@gmail.com으로 메일 주세요.