AI가 찾아 준 링크가 404였습니다 — 규칙을 두 번 어기면 도구로 옮깁니다
AI 리서치 결과에 붙은 링크는 직접 열어 보기 전까지 출처로 치지 않습니다. 열어 보니 없는 주소였던 적이 있습니다.
☑️ AI 리서치 결과의 출처 주소가 404였고, 원문에 없는 세부 사실도 섞여 있었음
☑️ “원문과 대조한 뒤에만 쓴다"는 규칙을 더했지만 사흘 만에 같은 위반이 다시 나옴
☑️ 두 번째에서 규칙을 버리고, 주소를 열고 인용을 대조하는 명령어로 바꿈 — 따옴표 없는 사실은 여전히 직접 확인
처음엔 “출처는 원문과 대조한 뒤에만 쓴다"는 규칙을 하나 더했습니다. 사흘 만에 같은 실수가 또 나왔습니다. 그래서 규칙을 버리고 명령어 하나로 바꿨습니다.
무슨 일이 있었나
다루는 Claude Code 기반입니다. 최신 정보나 유튜브 영상 내용이 필요하면 구글의 Antigravity CLI(agy)를 불러 조사를 맡깁니다. agy는 웹을 검색하고 영상도 직접 봅니다.
10월 16일, 그 agy가 돌려준 결과를 다시 보다가 두 가지를 발견했습니다.
- 출처로 적힌 주소를 열었더니 404, 없는 페이지였다
- 원문에 없는 세부 사실이 섞여 있었다
공교롭게 같은 날 agy 모델을 Gemini 3.8 Flash로 고정했습니다. 기본 모델 사용량이 바닥나서 봇의 조사 호출이 전부 멈췄기 때문입니다. 무거운 모델은 깊이 파야 하는 조사에만 쓰기로 했습니다. (가벼운 모델이라 지어냈는지는 모릅니다. 비교해 본 적이 없습니다.)
규칙으로는 안 막혔다
그날 다루의 작업 지침에 한 줄을 넣었습니다. “agy 결과의 출처는 직접 열어 원문과 대조한 뒤에만 쓴다.”
10월 19일, 같은 위반이 두 번째로 나왔습니다.
아니, 규칙을 적어 놨는데 왜 또 어겨?
적어 둔 규칙은 기억해야 지켜집니다. 조사 결과가 그럴듯하면 “이건 맞겠지” 하고 넘어가는 순간이 생깁니다. 사람이든 AI든 똑같습니다. 확인을 의지에 맡기면 바쁠 때 빠집니다.
그래서 그날 다루가 대조 스크립트를 만들었습니다. agy 출력을 파이프로 넘기면 알아서 검사합니다.
스크립트가 실제로 하는 일
agy -p "질문" | python3 agy_source_check.py --echo
- 본문의 URL을 하나씩 실제로 엽니다. 4xx·5xx·연결 실패면 ⚠️
- 따옴표로 인용한 문장이 같은 문단에 붙은 URL 원문에 있는지 찾습니다. 없거나 근처에 URL이 아예 없으면 ⚠️
- 열리긴 했는데 본문이 거의 없으면(로그인 벽, 자바스크립트로 그리는 화면) ❔. 통과가 아니라 사람이 봐야 한다는 뜻입니다
- 유튜브는 영상이 있는지만 확인합니다. 영상에 붙은 인용은 지어낸 발언일 수 있어서 ❔로 둡니다

대조할 때는 공백과 문장부호를 지우고 글자만 비교합니다. 번역한 인용은 원문과 글자가 달라 ⚠️가 됩니다. 일부러 그렇게 뒀습니다. 원문 그대로가 아니면 인용으로 쓰면 안 되니까요.
검사기도 처음엔 틀렸다
이 스크립트도 몇 번 고쳤습니다.
10/19 07:25 첫 버전 (255줄)
10/19 07:39 다른 모델 검토 반영 — 영상 인용이 통과하던 구멍, 줄바꿈 걸친 인용
10/19 11:42 마크다운 굵은 링크를 잘못 잘라 멀쩡한 주소를 404로 판정
10/21 agy가 빈 출력을 내면 "결과 없음"이 아니라 실패로
10/22~25 논문 사이트 확인 화면·각주 번호 처리
현재 680줄, 시험 65개 통과
세 번째 줄이 웃깁니다. 가짜 404를 잡으려고 만든 도구가 가짜 404를 냈습니다.
10월 24일에는 논문 사이트 PMC가 정상 응답(200) 코드를 달고 로봇 확인 화면을 내주는 걸 봤습니다. 네 번 중 세 번이었습니다. 그 화면을 원문으로 읽으면 주소는 ✅, 진짜 인용은 ⚠️가 됩니다. 지금은 논문 화면에 들어 있어야 할 정보가 없으면 ❔로 돌립니다.
도구가 못 잡는 것
따옴표가 없는 세부 사실은 못 잡습니다. “이 글은 누가 썼다” 같은 작성자 이름이 대표적입니다. 문장을 원문과 맞대 볼 단서가 없으니 그런 건 여전히 직접 열어서 봅니다.
그래서 ✅가 다 떴다고 끝이 아닙니다. 이 도구는 확인할 양을 줄여 줄 뿐입니다.
배운 것
같은 실수를 두 번 하면 그건 주의력 문제가 아니라 구조 문제입니다. 규칙을 한 줄 더 적어 봐야 세 번째도 옵니다. 두 번째에서 사람 손을 빼고 명령어에 맡기는 게 맞았습니다.
AI가 준 링크, 열어 보셨나요? 인용한 문장이 원문에 정말 있는지까지가 확인입니다.
궁금한 점이나 틀린 내용이 있으면 pikanostudio@gmail.com으로 메일 주세요.