AI 크롤러 정책을 robots.txt와 맞춘다: Cloudflare Bot Preference Sync의 범위

Cloudflare가 2026년 8월 21일 Bot Preference Sync를 발표했다. 웹사이트 운영자가 대시보드에서 정한 AI 봇 정책을 robots.txt에 자동으로 반영해, 검색·사용자 지시형 에이전트·모델 학습 트래픽을 서로 다르게 다루는 기능이다. 모든 요금제에 제공되지만, 발표 시점에는 “다음 주” 출시 예정이므로 실제 계정의 활성화 여부는 대시보드에서 확인해야 한다.

한 번 정한 정책을 두 곳에 맞춘다

웹 운영자는 지금까지 엣지의 차단 규칙과 robots.txt의 선언을 따로 관리하는 경우가 많았다. 둘이 어긋나면 운영 의도가 모호해진다. Bot Preference Sync는 Cloudflare의 영역 단위 AI 봇 설정을 읽어 기존 robots.txt 앞부분에 관리 구간을 덧붙인다. 원래 파일의 규칙은 유지된다.

정책은 검색(Search), 에이전트(Agent), 학습(Training)이라는 세 행동 범주를 구분한다. 검색과 에이전트에는 허용, 광고가 있는 페이지만 차단, 전체 차단을 선택할 수 있다. 학습에는 ‘Disallow’가 추가된다. 이 설정은 협조하는 혼합 용도 크롤러에 학습 거부 의사를 알리면서 검색 접근은 남길 수 있게 설계됐다.

AI 크롤러를 이름보다 행동으로 본다

중요한 변화는 동일한 봇이 검색 색인과 모델 학습을 함께 수행할 수 있다는 현실을 정책 모델에 반영한 점이다. Cloudflare의 검증된 봇 문서는 봇을 검색, 에이전트, 학습, 거래, 데이터 수집 등 행동별로 분류한다. 한 봇에 여러 행동이 붙을 수 있다.

혼합 용도 크롤러가 ‘학습 거부’ 상태에서도 검색 접근을 유지하려면 추가 투명성 조건을 충족해야 한다. Cloudflare 발표에 따르면 운영자는 robots.txt의 학습 거부를 존중하고, AI 요약 선택 해제 경로와 URL 단위 사용 가시성을 제공하며, 학습 거부가 전통적 검색 결과를 해치지 않는다는 점을 공개적으로 보여야 한다. 이는 Cloudflare가 정한 검증 기준이지 인터넷 전체에 자동 적용되는 법적 의무는 아니다.

실제 영향

출판사와 광고 기반 사이트는 검색 노출을 유지하면서 학습 이용은 거부하려는 정책을 한 화면에서 표현할 수 있다. 전자상거래 사이트는 상품 발견을 위해 검색·에이전트 접근을 허용하되 학습은 별도로 판단할 수 있다. 보안팀에는 선언 파일과 실제 엣지 규칙의 차이를 줄이는 운영상의 이점이 있다.

다만 robots.txt는 접근 권한 체계가 아니다. 인터넷표준화기구(IETF)의 Robots Exclusion Protocol(RFC 9309)¹도 이 규칙이 접근 인가 수단이 아니라고 명시한다. 협조하지 않는 크롤러를 막으려면 실제 차단 규칙, 속도 제한, 로그 분석이 함께 필요하다. 자동 동기화가 곧 모든 봇의 준수를 보장하지는 않는다.

도입 전에 볼 점

• 신규 고객은 기능이 기본으로 켜질 예정이고, 기존의 관리형 robots.txt 사용자는 전환 확인 안내를 받는다. 현재 설정을 먼저 기록해 두는 편이 안전하다.
• 개별 봇 예외나 복잡한 사용자 정의 규칙은 범주 단위 동기화에 자동 반영되지 않는다. 세밀한 정책이 필요하면 동기화를 끄고 직접 관리해야 한다.
• Cloudflare가 앞에 추가한 규칙과 기존 규칙이 같은 사용자 에이전트를 다룰 때 최종 매칭 결과를 시험해야 한다.
• 검색 노출, 에이전트 방문, 학습 이용은 서로 다른 목적이다. 사업 모델과 콘텐츠 계약에 맞춰 각각 판단해야 한다.
• 설정 뒤에는 공개 robots.txt, 엣지 이벤트와 실제 크롤러 로그가 같은 의도를 보여 주는지 확인해야 한다.

Bot Preference Sync는 AI 콘텐츠 정책을 완성해 주는 장치라기보다, 선언과 집행을 덜 어긋나게 만드는 운영 도구다. 사이트 운영자가 무엇을 허용할지 정하는 책임은 그대로 남고, robots.txt와 네트워크 차단이 가진 효력의 차이도 사라지지 않는다.

출처

• Cloudflare — Say it once: introducing Bot Preference Sync (2026-08-21)
• Cloudflare Docs — Verified bots
• IETF — RFC 9309, Robots Exclusion Protocol

¹ Robots Exclusion Protocol: 웹사이트가 자동 수집 프로그램에 접근 허용·거부 경로를 알리는 표준 규칙. 인증이나 강제적인 접근 통제 장치는 아니다.