생성형 인공지능(AI)의 뉴스 콘텐츠 무단 수집 우려가 커지고 있는 가운데 미국 뉴욕주 의회가 ‘스텔스 크롤러’(운영주체와 정보 수집 목적을 밝히지 않은 채 웹사이트의 콘텐츠를 자동으로 수집하는 소프트웨어)를 규제하는 법안을 마련했다. 뉴스 콘텐츠에 접근하는 자동화 크롤러의 신원과 수집 목적 공개를 의무화하고, 위반 시 과징금을 부과하는 내용의 ‘스텔스 크롤러 금지 법안’(Stealth Crawler Prohibition Act)은 올 6월 뉴욕주 상·하원을 모두 통과해 주지사의 최종 서명만을 남겨두고 있는 상태다.

구글 제미나이를 활용해 AI가 언론사 웹사이트를 크롤링하는 모습을 생성한 이미지.

한국언론진흥재단은 KPF 미디어브리프 2026년7호 <뉴스 크롤러 신원과 목적 밝혀야>(김선호 언론재단 책임연구위원)에서 해당 법안의 주요 내용을 분석하며 국내에서도 크롤러 등록 및 접근 통제를 하는 공동 탐지체계와 표준 라이선스를 결합한 뉴스 콘텐츠 보호 정책의 논의가 필요하다고 제안했다.

해당 보고서에 인용된 데이터 거래 플랫폼 톨비트(TollBit) 조사에 따르면 2025년 2분기 기준, 조사 대상 사이트 전체 방문 클릭 중 AI 봇·에이전트의 비중은 2분기 초 200건당 1건에서 2분기 말 50건당 1건으로 4배나 늘었다. 또한 AI 봇이 ‘robots.txt’의 접근 제한 설정을 우회한 비율도 2024년 4분기 3.3%에서 2025년 2분기 13.26%로 대폭 증가했다. 언론재단은 해당 조사 결과에 대해 “뉴스 콘텐츠를 수집하는 행위는 늘지만, 콘텐츠 생산자에게 돌아가는 경제적 보상과 이용자 유입은 오히려 감소하는 구조가 형성된 것”이라고 분석 했다.

이어 언론재단은 “문제는 일부 AI 사업자나 데이터 수집 업체가 자신의 신원과 크롤링 목적을 명확히 밝히지 않거나, 언론사가 robots.txt 등을 통해 표시한 접근 거부 의사를 우회해 콘텐츠를 수집한다는 데 있다”며 “일반 이용자의 브라우저나 검색엔진 크롤러로 가장하거나 IP 주소와 식별 정보를 수시로 변경하는 경우엔 언론사가 누가, 어떤 목적으로 콘텐츠에 접근하는지 파악하기 어렵다. 유료 구독자에게만 공개된 기사까지 수집되는 사례도 제기되고 있다”고 전했다.

AI 검색 이전, 검색엔진을 통한 방식은 기사를 색인한 뒤 이용자를 언론사 원문 사이트로 연결해 트래픽과 광고·구독 수익을 제공하는 형태였다. 그에 비해 생성형 AI 서비스의 경우 언론사 사이트에서 기사를 수집해 모델 학습에 이용하고 답변을 제공하면서도 원문 유입은 이뤄지지 않는 이른바 ‘제로 클릭’ 현상이 최근 언론계의 주요 화두로 떠오른 바 있다. 이 와중 무단 크롤링 문제가 심화되며 언론사는 △대규모 자동 요청 차단 및 보안 솔루션 비용 등 서버·네트워크 비용 증가 △광고·구독 수익 감소 △라이선스 시장 훼손 △저널리즘 브랜드 약화 등 심각한 피해를 입을 수 있다는 지적이다.

이런 흐름 속 개정된 ‘스텔스 크롤러 금지’ 법안은 저작권 침해 여부를 직접 다루기보다 크롤링 행위의 ‘투명성’과 사이트 운영의 ‘안정성’에 초점을 맞춰 주목할 만하다. 해당 법안은 ‘크롤러’를 웹사이트나 기타 인터넷 정보원에 접근해 정보를 검색·스캔·색인·스크랩하는 소프트웨어로 폭넓게 정의하며 온라인 크롤러, 스파이더, 페처, 클라이언트, 봇, 사용자 에이전트뿐 아니라 AI 에이전트와 이에 준하는 도구도 포함한다.

또한 뉴스 정보원(covered news source)에 접근하는 크롤러는 접근 시점 또는 그 이전에 신원과 이용목적을 공개하도록 했다. 단순 ‘웹 크롤링’ 같은 모호한 표시는 허용되지 않는다. 이러한 의무를 이행하지 않은 ‘스텔스 크롤러’가 뉴스 사이트 운영에 부담을 주거나 경제적 손해를 야기할 경우 위법 행위로 간주된다.

법 위반이 인정되면 위반 행위별로 하루 최대 1만 5000달러(약 2000만 원)의 과징금이 부과될 수 있으며, 주 검찰총장이 법원에 금지명령 및 소송을 제기할 권한을 갖는다. 신원을 숨긴 운영자를 추적하기 위해 피해 언론사가 통신 서비스 제공자에 소환장을 발부하도록 요청할 수 있는 절차도 포함됐다.

언론재단은 해당 법안에 대해 “뉴스 콘텐츠의 AI 이용을 둘러싼 문제를 저작권 침해 여부에만 의존하지 않고 접근의 투명성과 언론사 사이트의 안정적 운영을 중심으로 재구성했다는 데 의의가 있다”며 “크롤러가 신원과 목적을 정확하게 밝혀야 한다는 원칙은 저작권 판단보다 명확하고 기술적으로도 구현 가능하다. 이 법안이 시행되면 AI 사업자와 언론사 간 정보 비대칭을 줄이는 효과도 기대할 수 있다”고 평가했다.

신원과 목적이 명확히 밝혀져야 언론사 역시 접근 허용, 차단, 라이선스 협상 등 자사의 대응 전략을 선택할 수 있기 때문이다. 다만 신원을 공개한 상태에서의 무단 수집은 이 법안만으로 막기 어렵고, 프록시 서버 등을 활용한 해외 사업자 추적의 한계 및 공익적 크롤링의 위축 가능성 등은 한계점으로 지목했다.

언론재단은 “AI 검색이 확대되는 시점에서 핵심은 AI의 뉴스 이용을 누가 통제하고, 가치를 어떻게 배분하며, 이용자를 원 출처와 어떻게 연결할 것인가에 있다”며 “국내에서도 크롤러 신원·목적 공개, 용도별 접근 통제, 공동 탐지 인프라 구축, 표준 라이선스 설계 등 종합적인 대응 체계를 검토해야 한다”고 제언했다.