AI 비서 지침서가 509줄이 됐습니다 — 규칙을 더할수록 안 지켜지는 이유

· 약 6분

#ClaudeCode #CLAUDE.md #AI비서 #일하는방식

결론부터 말씀드리면, AI 비서한테 주는 규칙은 많을수록 좋은 게 아니었습니다. 규칙끼리 주목을 나눠 먹습니다. 하나를 더하면 나머지가 조금씩 흐려집니다.

☑️ 지침서 줄 수: 164줄 → 509줄 → 375줄(간소화) → 23일 만에 다시 468줄
☑️ 규칙을 넣기 전에 맥락·통제·보정 세 갈래로 나눠 보고, 기본 지시와 겹치는 건 넣지 않음
☑️ 실수에서 나온 새 규칙은 바로 넣지 않고, 같은 실수가 다시 나와야 지침서에 올림(실험 중)

그래서 지금은 규칙을 더할 때마다 시험을 하나 거칩니다. 그리고 실수에서 나온 새 규칙은 바로 넣지 않고 한동안 지켜보다가, 같은 실수가 다시 나와야 지침서에 올립니다.

석 달 동안 지침서가 어떻게 불었다가 줄었다가 다시 불었는지 적어 둡니다.

지침서가 뭐냐면

다루는 Claude Code 기반입니다. Claude Code는 대화를 시작할 때마다 CLAUDE.md라는 파일을 통째로 읽습니다. 제가 어떻게 일하는지, 뭘 조심해야 하는지, 결과를 어떻게 보고해야 하는지 적어 두는 상시 업무 지시서입니다.

여기 적은 건 매번 전부 다루 머릿속에 들어갑니다. 그래서 편합니다. 그리고 그래서 위험합니다. 한 줄 넣는 비용이 공짜처럼 보이니까요.

줄 수가 변해 온 걸 보면 이렇습니다.

07-29  164줄   버전관리 시작
08-08  201줄 → 235줄   1차 재고조사
10-04  509줄 → 375줄   간소화
10-27  468줄   23일 만에 다시 +93

규칙을 넣기 전에 묻는 세 가지

8월에 그동안 쌓인 규칙을 처음으로 하나하나 뜯어봤습니다. 계기는 “하네스(규칙·절차 묶음)는 당시 모델의 약점 지도라서, 모델이 바뀌면 만료된다"는 주장을 접한 거였습니다. 맞는 말 같았습니다. 그런데 전부 지우라는 결론은 과했습니다.

그래서 규칙을 세 갈래로 나눴습니다.

  • 맥락: 모델이 알 수 없는 저만의 사실·선호. 모델이 아무리 좋아져도 모릅니다. 남깁니다.
  • 통제: 되돌리기 비용이 있어서 거는 문턱. 삭제·배포·외부 발신 같은 것. 모델 실력과 무관합니다. 남깁니다.
  • 보정: 모델이 잘 못해서 넣은 절차. 모델 세대가 바뀌면 만료됩니다. 삭제 후보입니다.

지금 지침서 맨 위에 이 세 줄이 박혀 있고, 바로 아래에 이런 문장이 있습니다. “기본 시스템 프롬프트가 이미 지시하는 내용은 여기에 다시 쓰지 않는다 — 중복은 값어치를 더하지 않으면서 다른 조항의 주목도를 떨어뜨린다.”

실제로 뜯어보니 “가정을 명시하라, 불명확하면 멈추고 물어라” 같은 조항은 Claude Code 기본 지시와 거의 같았습니다. 하나는 아예 반대 방향이었습니다. 기본 지시는 “진행하면 위험할 때만 멈춰서 물어라"인데, 제 지침은 “불명확하면 멈춰라"였습니다. 제가 넣은 규칙이 다루를 더 자주 멈추게 하고 있었습니다.

아니, 그럼 다루한테 “필요 없는 규칙 골라 봐” 하면 되잖아?

그렇게 했습니다. 그리고 같은 자료를 GPT 계열 모델(Codex)에게도 따로 줬습니다. 결과가 흥미로웠습니다. 둘이 갈린 항목 중 4건은 다루가 “남겨 두자"고 했는데 Codex가 “지워라"였고, 검토해 보니 Codex 쪽이 맞았습니다. 반대 방향은 1건이었습니다.

자기를 묶는 규칙을 평가하니까 규칙을 무르게 지우는 쪽으로 기울 줄 알았습니다. 실제로는 절차를 남기는 쪽으로 기울었습니다. 예상과 반대였습니다. 다른 모델 한 번 더 태운 값을 했습니다.

509줄을 375줄로

8월 정리 때 파일은 오히려 늘었습니다(201줄 → 235줄). 대신 매 세션 규칙을 강제로 주입하던 플러그인을 껐습니다. 플러그인이 끌고 오던 문서까지 합친 하네스 총량은 약 1.16MB에서 약 30KB로 줄었습니다. 줄어든 건 파일이 아니라 파일 뒤에 딸려 오던 것이었습니다.

그런데 두 달 뒤 파일이 509줄이 돼 있었습니다. 범인은 두 가지였습니다.

하나는 “왜 이 규칙을 넣었나” 하는 경위 문단입니다. 근거를 적어 두라고 해 놓고 그 근거가 본문에 계속 쌓였습니다. 다른 하나는 다음 절에 쓸 회고 규칙 38건입니다.

10월 4일에 손봤습니다. 원칙은 단순했습니다.

  • 경위·근거 문단은 지침서에서 빼서 별도 감사 문서로 옮긴다
  • 규칙 문장 자체는 한 글자도 안 바꾸고 주제별로 묶기만 한다
  • 원본 사본을 남겨서 언제든 대조할 수 있게 한다

결과는 509줄 → 375줄. Codex 교차검증을 두 번 돌려서 반영했습니다. 규칙 내용을 바꾼 게 아니라 위치만 옮겼으니 위험은 낮다고 봤지만, 옮기다 빠지는 문장이 제일 무섭습니다.

정리하다 버그도 하나 나왔습니다. 규칙 절 바로 뒤에 다른 문단이 하나 붙어 있었는데, 회고 규칙을 덧붙이는 봇이 새 규칙을 그 문단 아래에 달고 있었습니다. 9월 초부터 한 달 가까이 규칙들이 엉뚱한 문단 밑에 줄줄이 쌓여 있었습니다.

매일 회고가 규칙을 만든다

다루 쪽에는 매일 도는 회고 잡이 있습니다. 그날 작업 기록을 읽고 “이런 실수가 있었으니 이런 규칙을 넣자"는 제안을 냅니다. 제가 명령어 하나로 승인하면 봇이 지침서 규칙 절에 한 줄씩 덧붙입니다.

처음엔 이게 정말 좋아 보였습니다. 실수 → 규칙 → 다음엔 안 함. 학습하는 비서.

처음부터 걸리는 게 있긴 했습니다. 8월 중순, 제안 11건을 실측해 보니 6건이 지침서에 이미 있는 내용이었습니다. 규칙이 없어서 틀린 게 아니라, 있는데 안 지킨 거였습니다. 그런 실수에 조항을 더하면 안 지켜지는 조항 옆에 비슷한 걸 하나 더 놓는 셈입니다. 그래서 “이미 있는 규칙과 겹치면 제안이 아니라 위반으로 따로 센다"는 관문을 세웠고, 같은 기간 제안이 11건에서 4건으로 줄었습니다.

한 번은 더 황당했습니다. 승인한 규칙 4건을 별도 메모 파일에 쌓고 있었는데, 그 파일은 세션에 목차 한 줄만 들어가고 본문은 안 들어가는 구조였습니다. 승인은 했는데 다루가 한 번도 읽은 적이 없었습니다. 그 뒤로 붙은 규칙 중 하나가 이겁니다. “저장했다는 것으로 끝내지 않고, 그 내용이 실제 세션 컨텍스트에 전문으로 들어오는지를 확인한 뒤에 적용됐다고 말한다.”

그런데 너무 빨리 쌓였다

관문을 세워도 속도는 못 막았습니다.

10-04  승인 규칙 38건 (주제별 묶음)
10-19  대기 65건 일괄 승인 → 12개 묶음으로 압축
10-27  지침서 468줄 (10/4 대비 +93)

아침마다 제안이 버튼과 함께 왔는데 대기가 65건까지 밀렸습니다. 제가 따라가질 못했습니다. 결국 한 번에 승인하고 겹치는 것끼리 합쳐 넣었습니다. 여기서 솔직히 인정해야 할 게 있습니다. 65건을 한 번에 누른 승인은 검토가 아닙니다. 그냥 도장입니다.

그리고 숫자 하나가 결정적이었습니다. 반복된 위반 101건 중 68건이 규칙 8개에 몰려 있었습니다. 승인한 규칙이 백 건을 넘었는데 사고는 소수 규칙에서 계속 났습니다. 새 규칙을 붙이는 속도와 실제로 위반이 줄어드는 것 사이에 연결이 보이지 않았습니다.

새 규칙을 넣었는데 같은 실수가 다시 안 났으면, 규칙이 먹힌 거 아냐?

그럴 수도 있습니다. 근데 아닐 수도 있습니다. 그 실수가 원래 드물었을 수도 있고, 그 상황이 다시 안 왔을 수도 있습니다. 넣은 직후에 안 났다는 것만으로는 구분이 안 됩니다. 승인 횟수도 마찬가지입니다. 제가 연달아 승인했다는 건 제가 문장에 동의했다는 뜻이지, 그 규칙이 다루 행동을 바꿨다는 증거가 아닙니다.

승인 ≠ 지침

그래서 10월 28일부터 실험을 하나 돌리고 있습니다. 이름이 “승인≠지침"입니다.

  • 승인한 규칙은 지침서에 바로 안 들어갑니다. 관찰 목록에만 남습니다.
  • 회고가 같은 실수의 재발을 잡으면 그때 지침서에 올리고, 아침 브리핑에 알립니다.
  • 외부 발신·삭제·금액처럼 되돌리기 어려운 규칙은 예외입니다. 승인 즉시 들어갑니다.

승인≠지침 실험의 흐름도. 매일 도는 회고가 규칙을 제안하고, 이미 있는 규칙과 겹치면 위반으로 따로 센 뒤, 승인한 규칙 중 외부 발신·삭제·금액처럼 되돌리기 어려운 것은 즉시 지침서에 넣고 그 밖의 규칙은 관찰 목록에 두었다가 같은 실수가 재발하면 지침서에 올린다. 아래에 중단 기준과 판정일

중단 기준도 먼저 정해 뒀습니다. 되돌리기 어려운 위반이 1건 나오거나, 회고 노트 하나당 위반이 4.5건을 넘으면(기준선은 3.0건) 바로 원래 방식으로 돌립니다. 판정일은 11월 10일입니다. 볼 것은 관찰 목록 중 실제로 재발한 비율, 노트당 위반 수, 지침서 줄 수입니다.

이 방식의 약점도 압니다. 한 번 실수해야 규칙이 됩니다. 관찰 기간에 같은 실수를 한 번 더 하는 걸 감수하는 구조입니다. 그래서 되돌릴 수 없는 영역만은 예외로 뺐습니다. 다시 해도 복구되는 실수라면, 한 번 더 겪는 비용보다 안 먹히는 규칙이 지침서를 계속 무겁게 만드는 비용이 크다고 봤습니다.

결과는 아직 모릅니다. 판정이 끝나면 따로 적겠습니다.

남는 것

규칙을 하나 넣을 때 드는 비용은 그 한 줄이 아닙니다. 이미 있는 다른 줄 전부가 조금씩 덜 읽히는 비용입니다. 509줄을 써 놓고서야 알았습니다.

지우는 것도 감으로 하면 안 됩니다. 다루가 한 번도 안 어긴 규칙이 필요 없어진 건지, 그 규칙 덕에 안 어긴 건지는 겉으로 똑같아 보입니다. 그래서 8월 말에 넣은 판단 규칙 세 개는 “모델이 바뀌었으니 지운다"가 아니라, 그 문장을 빼고 돌려 봐서 품질이 그대로일 때 지운다고 지침서에 적어 뒀습니다.

규칙을 한 줄 더하고 싶어질 때가 제일 위험합니다. 같은 실수가 한 번 더 나는지 먼저 봅니다.

궁금한 점이나 틀린 내용이 있으면 pikanostudio@gmail.com으로 메일 주세요.