AI 여러 개를 같이 쓰려면 전용 도구가 필요한 줄 알았습니다 — AI 비서 '다루'가 생긴 과정

· 약 5분

#ClaudeCode #AI비서 #교차검증 #일하는방식

Claude, GPT, Gemini를 같이 부리는 데 별도의 오케스트레이션 도구는 필요 없었습니다. Claude Code 하나에 MCP를 붙이고, 다른 회사 모델은 그 모델의 CLI를 명령어 한 줄로 부르면 됐습니다.

☑️ 외부 서비스는 MCP, 다른 모델은 CLI, 정기 작업은 Claude Code 내장 기능으로 충분함
☑️ 직접 부르면 CLI의 버릇(무응답·조용한 거부·남의 지침 읽기)을 떠안지만, 셋 다 한 번 고치면 끝남
☑️ 검토는 다른 계열 모델에 맡김 — 같은 모델은 같은 곳에서 같이 넘어짐

이걸 깨닫는 데 두 달쯤 걸렸습니다. 5월 말에 전용 도구를 중심으로 작업장을 차렸고, 7월 중순에 짐을 싸서 나왔고, 10월에 옛 폴더를 지웠습니다. 지금 매일 같이 일하는 AI 비서 “다루"는 그 이사 직후에 생겼습니다.

왜 전용 도구가 필요하다고 믿었나

처음 생각은 단순했습니다. 모델마다 잘하는 게 다릅니다. Claude는 코드를 오래 붙잡고, GPT는 다른 눈으로 검토하고, Gemini는 웹과 유튜브를 봅니다. 그러면 셋을 묶어 줄 “지휘자” 프로그램이 따로 있어야 한다고 봤습니다.

그래서 Hermes라는 에이전트 도구를 깔고, 그 이름을 딴 작업 저장소를 만들었습니다. 첫 커밋 메시지가 “AI 작업 에이전트 샌드박스 초기화"였습니다.

2026-05-24  Hermes-Agent 저장소 생성, "AI workbench" 운영 기준
2026-07-18  새 저장소로 이사
2026-07-19  디스코드 봇 "다루" 연결
2026-09-28  Hermes 게이트웨이 정지
2026-10-13  옛 저장소 폴더 삭제

Hermes 게이트웨이가 놀기만 한 건 아닙니다. 날씨 브리핑, 각종 레이더 같은 정기 알림 12개를 매일 돌렸습니다.

그런데 막상 써 보니

작업을 하다 보니 이상한 게 보였습니다. 실제로 손을 움직이는 건 거의 다 Claude Code였습니다. GPT에게 검토를 맡길 때도 Hermes를 거치지 않았습니다. Claude Code가 터미널에서 codex exec를 직접 부르고 있었습니다.

따져 보니 필요한 건 셋이었습니다.

  • 외부 서비스 연결 → Claude Code에 MCP 서버를 붙이면 됨
  • 다른 모델 호출 → 그 모델의 CLI를 명령어로 부르면 됨
  • 정기 작업 → Claude Code에 이미 /schedule, /loop가 있음

Claude Code가 가운데에서 MCP 서버, codex exec, agy, /schedule·/loop를 필요할 때 명령어로 부르는 구조도

지휘자를 따로 둘 이유가 없었습니다. 주 작업자가 지휘까지 하면 됩니다. 그 저장소에서 만든 기능들도 Hermes가 있어야 해서 생긴 게 아니었습니다. 그냥 거기서 작업하다 보니 거기 생겼을 뿐입니다.

7월 18일에 진행 중이던 작업을 새 저장소로 옮겼습니다. 다음 날 디스코드로 말을 걸면 Claude가 답하는 봇, 다루를 끝까지 연결했습니다.

Hermes는 한동안 그대로 뒀습니다. 9월 28일에 안 쓴다고 판단해 게이트웨이를 내렸고, 10월 13일에 저장소 폴더를 통째로 지웠습니다.

이 마지막 정리는 깔끔하지 못했습니다. 폴더 안에 푸시 안 한 커밋 8개와 커밋 안 한 변경 71개가 있었는데, 백업 없이 같이 사라졌습니다. GitHub에는 예전에 푸시한 판만 남았습니다. 안 쓰는 도구를 걷어낼 때도 안에 뭐가 남았는지는 먼저 봤어야 했습니다.

아니, 도구가 해 주던 걸 직접 하면 손이 더 가지 않나?

갑니다. 그건 인정합니다. CLI를 직접 부르면 그 CLI의 버릇을 제가 전부 떠안습니다. 실제로 겪은 것만 셋입니다.

영영 안 오는 답. 7월 19일, 봇이 GPT에게 일을 넘기면 답이 돌아오지 않았습니다. codex exec가 입력이 더 들어올까 봐 계속 기다리고 있었습니다. 프로그램에서 띄우면 입력 통로가 열린 채로 남기 때문입니다. 통로를 바로 닫아 주자, 끝없이 걸리던 호출이 9초 만에 돌아왔습니다. 8월에는 긴 프롬프트를 인자로 넘겼다가 같은 이유로 40분을 날렸습니다. 지금은 프롬프트를 파일로 만들어 파이프로 흘려 넣습니다.

조용한 거부. 저장소 밖 폴더에서 부르면 에러 없이 빈 결과만 돌아왔습니다. “Not inside a trusted directory"라는 문구는 에러 출력 쪽에만 찍혀 있었습니다.

남의 지침까지 읽기. 10월 5일에 보니 GPT가 검토 한 번에 27만~36만 토큰을 쓰고 있었습니다. 제 개인 지침과 메모리, 진행 문서까지 다 읽고 있던 겁니다. 답도 다루 말투로 왔습니다(남의 일기장을 읽고 온 셈입니다). 검토 요청 맨 앞에 “개인 규칙·메모리 파일은 읽지 말고, 소스는 넘긴 변경분을 확인할 때만 읽어라"는 문장을 붙여 막았습니다. 지적의 질은 그대로였습니다.

그래도 결론은 안 바뀝니다. 셋 다 한 번 고치면 끝나는 문제였습니다. 지휘자 도구를 하나 더 두면 그 도구의 장애와 업데이트까지 같이 떠안습니다. 게이트웨이를 내리는 순간 알림 12개가 한꺼번에 멈춘 것처럼, 한 도구에 몰린 일은 같이 넘어집니다.

왜 굳이 다른 회사 모델에게 검토를 맡기나

지금 역할은 이렇게 나뉩니다.

Claude (Claude Code)  주 작업자이자 PM. 설계·구현·판단
Codex  (GPT 계열)      독립 검증자. 다른 모델 계열의 두 번째 의견
agy    (Gemini 계열)   리서치. 최신 웹 정보, 유튜브 영상 이해

Gemini는 처음엔 gemini CLI로 불렀는데, 9월 30일에 지우고 구글의 Antigravity CLI(agy)로 바꿨습니다. Claude 사용 한도가 바닥나면 Codex가 임시로 주 작업자를 맡고, 다루가 돌아오면 그사이 바뀐 것부터 검토합니다.

핵심은 두 번째 줄입니다. 같은 모델에게 “다시 봐 줘"라고 하면 같은 곳에서 같이 넘어집니다. 버릇이 겹치니 틀리는 지점도 겹칩니다. 계열이 다른 모델이면 오류가 덜 겹칩니다. 그래서 같은 모델이 같은 자료를 다시 보는 검토는 아예 안 쓰기로 지침에 못 박았습니다.

말로만 그런 게 아니었습니다. 다루 봇을 처음 만든 7월 19일, GPT에게 봇 코드를 검토시켰더니 문제 14개가 나왔습니다.

  • 디스코드 이벤트 두 개가 동시에 오면 한쪽 변경이 조용히 사라짐
  • 사용량 기록이 1분마다 세션 전체를 다시 덧붙여, 하룻밤 새 기록 파일이 1만 2천 줄로 불어남
  • 날짜 기준이 UTC라 하루가 한국 시간 오전 9시에 넘어감

8월 1일 설계 문서 검토에서는 Critical 3, Important 9, Minor 4가 나왔습니다. 제일 아찔했던 건 캘린더 조회가 실패하면 그 실패를 삼키고 “일정 없음"으로 보여 주던 부분입니다. 못 본 걸 비어 있다고 말하는 것. 다루 혼자서는 못 잡았습니다.

그럼 GPT 말이 다 맞나?

아닙니다. 7월 19일 지적 14개 중 하나는 의도한 설계를 오해한 것이라 반박하고 넘어갔습니다. 8월 검토에서도 결정적인 지적은 다루가 직접 재현해 본 뒤에 고쳤습니다. 검토는 두 번째 의견이지 판결이 아닙니다. 둘이 갈리면 한쪽을 골라 버리지 말고 차이를 그대로 보여 달라고 해 뒀습니다.

Gemini는 일부러 검증에서 뺐습니다. 리서치 도구로는 좋습니다. 그런데 손글씨 사진을 받아 적게 했더니 안 보이는 칸을 지어냈습니다. 10월 16일에는 가벼운 모델(Flash)이 존재하지 않는 주소를 출처라고 내놓은 것도 확인했습니다. 그래서 agy가 가져온 출처는 원문을 직접 열어 대조한 뒤에만 씁니다.

그래서 지금은

5월의 저는 AI를 여러 개 쓰려면 AI를 관리하는 프로그램이 하나 더 있어야 한다고 생각했습니다. 지금은 반대입니다. 일 잘하는 하나를 가운데 두고, 나머지는 필요할 때 명령어 한 줄로 부릅니다.

도구를 보는 질문도 바뀌었습니다. “이게 있으면 뭘 더 할 수 있나"보다 “이게 빠지면 뭐가 멈추나"를 먼저 묻습니다.

AI 도구를 하나 더 들이고 싶어진다면, 그 도구가 빠졌을 때 무엇이 멈추는지부터 적어 보세요.

궁금한 점이나 틀린 내용이 있으면 pikanostudio@gmail.com으로 메일 주세요.