구글이 검색 결과 상단에 인공지능(AI) 요약을 전면 배치해 외부 유입 트래픽을 사실상 독식한다며 해외 주요 언론사들이 구글의 AI 크롤러(AI Crawler·웹사이트의 콘텐츠를 자동으로 수집하는 소프트웨어) 접근을 제한하는 방안을 고려하고 있다.

미국 하버드대학교 저널리즘 연구기관 니먼랩이 월스트리트저널(WSJ)·애드위크(Adweek) 등 복수의 외신 보도를 분석한 보고서에 따르면 USA투데이, 피플 Inc., 폴리티코, 로이터 등 글로벌 미디어 기업들이 구글과의 관계를 전면 재검토하고 있다. 기사를 검색 상단에 노출해 독자를 모으고, 이를 광고·구독 수입으로 연결하던 기존의 수익 구조가 무너지면서다.

7월21일 월스트리트저널이 보도한 관련 기사.

WSJ는 7월21일 <구글은 언론사의 구원줄이었다. 이제 일부는 단절을 생각한다(Google Was a Lifeline for Publishers. Now Some Are Thinking of Cutting It Off)>기사에서 USA투데이가 구글의 크롤러를 차단하는 방법을 검토 중이라고 전했다. 로이터 역시 대중에게 공개하는 뉴스 콘텐츠에 대해 구글 봇을 차단하는 방법을 고려 중이다. 미국의 정치 전문 매체 폴리티코는 로그인 월(Registration Wall) 도입을 논의하고 있다. AI 봇은 로그인 세션을 유지하며 콘텐츠를 확인하기 어렵기 때문에, 로그인 월을 통해 봇이 무단으로 기사를 긁어가는 것을 일정 수준 방지할 수 있다.

이 같은 조치는 자사 기사가 구글의 AI 요약 등에 무단 활용될 여지는 막지만, 구글 검색 노출에 지장이 생길 수 있음에도 검토되고 있다. 독자의 언론사 홈페이지에 접속 외엔 기사 접근이 어려워질 수 있는데도 '초강수' 방안을 고민하는 셈이다. 이는 그간 빅테크와의 종속 관계를 끊어내려는 시도란 점에서 이들 매체의 차후 행보에 관심이 쏠리는 상황이다.

언론사들이 구글 봇 차단에 나선 건 구글이 AI 요약 기능을 도입한 이후 검색을 통한 외부 유입 트래픽이 급감했기 때문이다. 미국의 디지털 마케팅 플랫폼 셈러시(Semrush)에 따르면 2025년 6월부터 2026년 6월까지 1년간 구글을 통한 미국 내 유입 트래픽은 워싱턴포스트(-44%p), 비즈니스인사이드(-43%p), 로이터(-35%p), USA투데이(-28%p), 타임(-27%p), 폴리티코(-20%p), 월스트리트저널( -18%p) 등 주요 매체 전반에서 크게 폭락했다.

WSJ에 따르면 일부 매체는 AI 크롤러 차단 대신 AI 생태계를 역이용해 광고 수입을 확보하기 위한 전략을 도입했다. 미국의 시사주간지 타임(Time)은 일반 독자에게는 보이지 않고 AI 크롤러만 수집할 수 있는 텍스트 기반 광고를 기사 내에 삽입하는 일종의 ‘트로이 목마’ 방식을 시험 중이다. AI 챗봇이 타임의 기사를 수집해 답변을 생성할 때 해당 광고 정보가 함께 인용되도록 유도해 새로운 광고 수익을 창출하겠다는 구상이다.

국가 차원에서 구글의 무단 크롤링을 방지하기 위한 제도적 조치도 나오고 있다. 영국 경쟁시장청(CMA)은 6월 구글을 향해 ‘전통 검색 결과 노출에 불이익을 주지 않으면서도, 언론사가 AI 요약 기능에만 별도로 참여를 거부(Opt-out)할 수 있도록 조치하라’는 행정 결정을 내렸다. 이번 결정으로 영국 언론사는 구글 검색 결과에 기사를 노출하면서 AI 요약에 활용하는 것을 차단할 수 있게 됐다. 니먼랩은 “언론이 구글 검색 엔진 최적화(SEO)에서 완전히 벗어나는 것을 고려하고 있다는 사실은 중요한 전환점”이라면서 “구글 역시 이러한 언론들의 협조가 없다면 핵심 서비스가 무력화될 것”이라고 지적했다.