AI_TOP_100 예선 후기 — AI 비서와 5시간 동안 상담 봇을 만들고, 한 줄 때문에 떨어진 이야기
결론부터 말씀드리면, 이번 예선은 떨어졌습니다. 결과 발표는 11월 4일이지만 심사 로그를 보면 이미 끝났습니다.
☑️ 심사 30케이스 동안 주문 조회·접수 API 호출 0회
☑️ 채점기가 보낸 케이스 번호를 봇이 못 읽었고, 시험 도구가 번호를 대신 넣어 줘서 시험은 전부 통과로 나옴
☑️ 제출 전에 실제 카톡으로 케이스 하나만 끝까지 보내 봤으면 5분이면 잡았을 문제
이유가 허탈합니다. 봇은 심사 내내 빠르게, 짧게, 규정대로 답했습니다. 그런데 정작 주문을 조회하고 처리하는 API를 단 한 번도 부르지 못했습니다. 채점기가 보낸 케이스 번호를 봇이 못 읽었기 때문입니다.
5시간 동안 뭘 어떻게 했는지, 어디서 무너졌는지, 다른 참가자들한테 뭘 배웠는지 남겨 둡니다.
※ 대회 규정상 문제·데이터·지시사항은 대회가 끝나도 공개할 수 없습니다. 그래서 과제 설정, 등장인물, 받은 자료, 케이스 내용은 빼고 진행 방식과 판단만 적습니다.
어떤 대회였나
AI_TOP_100은 카카오임팩트가 여는 AI 활용 능력 대회입니다. 올해 일반부 예선은 10월 31일 10시부터 15시까지, 온라인 5시간이었습니다.
큰 줄기만 적으면 이렇습니다.
- 카카오톡의 관계자 채널들과 대화(인터뷰)하며 업무 지식을 모은다
- 그 지식으로 카카오톡 채널 상담 에이전트를 만들어 제출한다
- 제출 뒤 채점기가 고객 역할로 에이전트와 상담하며 평가한다
지식을 얼마나 캐냈는지, 에이전트가 얼마나 빠르고 간결하고 정확한지가 점수였습니다.
팀은 이렇게 짰다
평소 Claude Code 기반 AI 비서 “다루"와 일합니다. 이번에도 다루를 총괄로 두고 시작했습니다.
- 다루(Claude Opus): 총괄. 규정 읽기, 설계, 판단, 작업 배분
- 인터뷰 에이전트: 맥 카카오톡 화면을 직접 조작하며 관계자에게 질문
- 상담 봇: Claude Sonnet 5.5 (속도가 점수라 응답용은 한 단계 가벼운 모델)
- 교차 검증: GPT 계열(Codex, Astra)과 다른 Claude 모델(Fable)이 코드와 규칙을 따로 검토

저는 판단이 필요한 순간에만 들어갔습니다. 어떤 모델을 쓸지, 인터뷰를 AI에게 맡길지, 몇 명을 병렬로 돌릴지. 다루가 선택지를 띄우면 고르는 식이었습니다.
5시간 타임라인
09:06 대기실 입장, 사전 준비
다루는 그 사이 봇 뼈대(카톡 연결·재연결·자동 재시작) 완성
10:00 시작. 규정·FAQ·가이드 정독, 인터뷰는 내가 수동으로 시작
11:00 응답 모델 결정, 봇 두뇌 구현
11:10 인터뷰를 에이전트에게 넘김 → 1명 → 2명 → 4명으로 확대
11:20 공개 테스트 케이스로 반복 시험 시작
13:55 1차 지식 동결·재시험
14:40 최종 동결. 공개 케이스 15개 전부 모범 흐름과 일치, p95 14.3초
14:51 제출
16:45 심사 시작 → 17:36 끝 (30케이스, 152턴)
잘 됐던 것
1) 지식을 통째로 넣고 캐시로 버텼습니다. 검색으로 조각을 꺼내지 않고, 모은 지식 전체(약 30만 자)를 시스템 프롬프트에 넣은 뒤 프롬프트 캐시로 매 턴 재사용했습니다. 규정끼리 부딪히는 지점을 놓치지 않으려고 그렇게 했습니다. 심사 때 응답 시간 p95는 11.8초였습니다.
2) 다른 모델의 검토가 진짜로 버그를 잡았습니다. GPT 쪽 검토가 “60초 마감이 도구 호출에는 안 걸려 있다”, “잘린 응답이 처리 안 한 일을 완료라고 말할 수 있다” 같은 걸 찾아냈습니다. 막판에 넣은 규칙 묶음에 정답을 막는 문장이 7개나 숨어 있던 것도 검토에서 나왔습니다.
3) 지어내지 않았습니다. 심사 중 조회가 막혔을 때도 봇은 “처리했다"고 거짓말하지 않고 “확인하지 못했다"고 답했습니다. 점수엔 도움이 안 됐겠지만, 상담 봇이 지켜야 할 선은 지켰습니다.
그런데 왜 떨어졌나
심사 로그를 열어 보니 이랬습니다.
심사 30케이스
주문 조회·접수 API 호출 0회
"조회가 안 된다"고 답한 케이스 24개

봇은 케이스 번호가 있어야 API를 부를 수 있습니다. 번호를 헤더에 실어야 그 케이스의 데이터가 나오니까요. 그런데 채점기는 그 번호를 저희가 예상 못 한 형식으로 보냈습니다. 봇은 번호를 못 읽었고, 번호가 없으니 호출을 막았고, 모델은 그걸 고객에게 “시스템 오류"라고 안내했습니다.
아니, 형식을 몰랐으면 다들 똑같이 당한 거 아냐?
아니었습니다. 대회 뒤 공개된 다른 참가자들 코드를 보니, 다들 형식을 모르는 상태에서 넓게 받아 뒀습니다. “id:” 같은 라벨 뒤, 메시지 어디든, 요청 데이터 전체를 뒤지는 식으로요.
저희도 처음엔 넓게 받았습니다. 그런데 검토에서 “상품코드를 케이스 번호로 잘못 읽는다"는 지적이 나왔고, 그걸 고치다가 범위를 좁혔습니다. 잘못 읽는 쪽만 막고, 맞는 걸 놓치는 쪽은 따져 보지 않았습니다.
더 아픈 건 시험입니다. 공개 케이스 15개를 수십 번 돌렸는데, 시험 도구가 케이스 번호를 코드로 직접 넣어 주고 있었습니다. 대화에서 번호를 읽는 부분은 한 번도 실행되지 않았는데 시험은 전부 통과로 나왔습니다. 제출 전에 실제 카톡으로 케이스 하나만 끝까지 보내 봤으면 5분이면 잡았을 문제입니다.

감시도 못 잡았습니다. 10분마다 연결 끊김, 응답 오류, 지연을 봤는데 셋 다 정상이었으니까요. 빠르게, 오류 없이, 틀린 답을 하고 있었습니다.
다른 참가자들한테 배운 것
대회 당일 Threads에 올라온 후기 50건 가까이와 공개 저장소 17개를 읽었습니다. 수치는 다 본인 주장이지만 방법은 배울 만했습니다.
- 카톡 조작은 화면 제어가 아니라 CLI로. 화면 제어는 느리고 PC 한 대에 한 세션뿐이라 병목이었다는 얘기가 제일 많았습니다(저희도 4명으로 늘렸다가 오히려 느려졌습니다). CLI로 갈아탄 분은 “처음부터 CLI로 할 걸"이라고 했습니다.
- 발굴률이 막히면 다 멈추고 패턴부터 분석. 어떤 질문이 몇 %p를 올렸는지 기록을 보고 질문 방식을 통째로 바꾼 분이 평균 93%를 냈다고 합니다.
- 질문 배분은 평균이 아니라 한계 수익으로. 몇 문항마다 다시 재 보니, 평균으로 1등이던 인물이 실제로는 포화 상태였다는 분석이 있었습니다.
- 봇은 문의 유형부터 나누고 필요한 지식만. 지식을 절반으로 줄여 p95 6.5초를 냈다는 분이 있었습니다. 저희는 전부 넣어서 14초대였습니다.
- 계산·날짜·권한 검사는 코드로, 모델은 판단과 문장만.
- 토큰 한도가 대회 중에 터진 사람이 여럿. 5시간 한도에 걸려 도구를 갈아타거나, 대회 중에 요금제를 올린 사람도 있었습니다.
다음에 바꿀 것
제출 전 실경로 점검. 시험 도구가 값을 대신 넣어 준 부분은 “시험 안 함"으로 셉니다. 실제 채널로 케이스 하나를 처음부터 끝까지 보내 외부 API 기록이 남는 걸 눈으로 보기 전엔 제출하지 않습니다.
모르는 형식은 넓게. 잘못 읽을까 걱정되면 범위를 줄이지 말고 우선순위로 가립니다. 놓치면 전부 틀리고, 잘못 읽으면 하나가 꼬입니다. 비용이 다릅니다.
실패는 시끄럽게. “도구가 필요했는데 막혔다"를 오류로 남기고 감시가 세게 합니다.
토큰 리셋 시점을 대회 시간에 맞춥니다. Claude 사용 한도는 첫 메시지부터 5시간 단위로 묶입니다. 대회 2시간 전에 미리 한 번 써 두면 대회 3시간 차에 리셋돼서, 대회 중에 한도를 거의 두 번 쓸 수 있습니다. 토큰을 제일 많이 쓰는 검증·마무리가 막판에 몰리니까 리셋도 후반에 두는 게 맞습니다.
후기
API 비용 50달러 남짓, 토요일 하루를 썼습니다. 인터뷰도 설계도 검증도 꽤 잘했다고 생각했는데, 마지막 한 줄 검증을 빠뜨려서 다 날렸습니다.
그래도 남는 게 있습니다. AI 여러 개를 팀처럼 굴리는 법, 다른 모델끼리 서로 검토시키는 법은 이번에 확실히 손에 익었습니다. 그리고 “시험이 통과했다"와 “실제로 된다"는 다른 말이라는 것. 이건 이번 대회가 비싸게 가르쳐 줬습니다.
제출 전에 실제 채널로 케이스 하나를 끝까지 보내 보는 것. 5분이면 됩니다.
궁금한 점이나 틀린 내용이 있으면 pikanostudio@gmail.com으로 메일 주세요.