robots.txt 한 줄로 'AI 학습 거부' — 구글·빙·앤트로픽이 같은 토큰을 따른다, 내 사이트는 넣어야 할까?
AI 회사마다 봇 이름을 따로 막던 시대에서, 'AI 학습' 하나만 골라 거부하는 공통 표시가 생겼습니다.
한 줄 답: 사이트 robots.txt에 User-Agent: __usage_ai-training 그룹 하나를 넣으면 "AI 학습에는 쓰지 말아 달라"는 뜻을 여러 AI 회사에 한 번에 알릴 수 있게 됩니다. 검색 노출을 막는 규칙이 아니고, 업체별 적용은 2027년에 걸쳐 시작됩니다.
무슨 일인가
10월 30일, 앤트로픽의 케빈 켈리가 IETF에 '기계가 읽는 AI 학습 선호 신호' 초안을 냈습니다. 새 문법은 없습니다. 기존 robots.txt 그룹의 User-Agent 자리에 __usage_ai-training을 쓰고, Disallow는 "학습 반대", Allow는 "학습 찬성"으로 읽습니다. User-Agent: * 그룹은 이 토큰에 해당하지 않으므로 따로 적어야 하고, 아무 그룹도 없으면 "의사 표시 없음"으로 봅니다.
같은 날 구글은 크롤러 문서에 이 신호를 2027년 초부터 지원하겠다고 적었고, 마이크로소프트 빙은 2027년 2월 1일부터 학습 선호를 반영하고 페이지별 'AI 그라운딩'(답변 생성 근거로 쓰는 것) 제어를 따로 연다고 발표했습니다. 빙은 3월 1일 이후 NoArchive·NoCache를 학습·그라운딩 거부로 읽지 않습니다.
왜 중요한가
지금까지는 GPTBot·Google-Extended·ClaudeBot처럼 회사마다 봇 이름을 따로 막아야 했습니다. 이제 "학습"과 "검색·답변 인용"을 나눠서 표시할 수 있게 됩니다. AI 답변 노출을 노리는 사이트에는 학습만 거부하고 인용은 열어 두는 선택지가 생긴 셈입니다.
IETF 초안 공개
앤트로픽 구현 시작
구글 지원 예정
빙 반영 시작
빙 설정 마감
내 사업·앱에 무슨 의미
- 블로그·홈페이지 운영자 — AI 답변 인용이 목표라면 학습 거부를 서두를 이유는 적습니다. 저도 appmonster.co.kr robots.txt를 열어 보니 GPTBot·ClaudeBot·Google-Extended를 모두 Allow로 두고 있어, 이 토큰 그룹이 없는 '의사 표시 없음' 상태였습니다.
- 쇼핑몰·스토어 — 상품 사진·상세 설명을 학습에 쓰이고 싶지 않다면 상세 페이지 경로만 Disallow하는 식으로 경로별 지정이 됩니다.
- 개발자 — robots.txt 파서는 모르는 User-Agent 그룹을 무시하므로, 지금 넣어도 기존 크롤링 규칙이 깨지지 않습니다.
지금 해볼 것
User-Agent: __usage_ai-training + Disallow: /를 별도 그룹으로 추가Q&A — 자주 묻는 질문
Q. robots.txt에 __usage_ai-training을 넣으면 네이버·구글 검색에서 빠지나요?
A. 아니요, 검색 노출과는 별개입니다. 이 토큰은 'AI 학습에 쓰지 말아 달라'는 선호 표시일 뿐 크롤링 차단 규칙이 아니고, 구글도 Google-Extended 설정은 검색 포함 여부에 영향이 없다고 문서에 적고 있습니다.
Q. 지금 바로 넣으면 효과가 있나요?
A. 아직은 일부만 적용됩니다. 초안을 쓴 앤트로픽은 구현을 시작했고, 구글은 2027년 초, 마이크로소프트는 2027년 2월 1일부터 반영한다고 밝혀서 업체별 적용 시점이 다릅니다.
Q. AI 답변에 내 글이 인용되게 하려면 무엇을 막지 말아야 하나요?
A. 검색·답변용 봇(OAI-SearchBot, Claude-SearchBot, Bingbot 등)과 빙의 AI 그라운딩은 열어 두는 게 좋습니다. 학습 거부와 답변 인용은 따로 설정되므로 학습만 거부해도 인용 기회는 남습니다.