중국 최대 포털사이트인 바이두가 미국의 주요 검색 엔진인 구글과 마이크로소프트 빙(Bing)이 자사 콘텐츠를 수집하는 것을 차단한 것으로 알려졌다. 홍콩의 사우스차이나모닝포스트(SCMP)는 24일 이 소식을 보도하며, 바이두의 온라인 백과사전인 ‘바이두 바이커’의 최신 ‘robots.txt’ 파일에서 이러한 조치가 확인되었다고 전했다.
‘robots.txt’ 파일은 웹사이트 운영자가 검색 엔진 크롤러(웹사이트를 돌아다니며 콘텐츠를 색인화해 검색 결과에 나타나도록 하는 자동화 프로그램)의 접근을 제어하는 데 사용하는 파일이다. SCMP에 따르면, 바이두는 이 파일을 통해 구글과 마이크로소프트 빙의 크롤러를 명시적으로 차단했으며, 차단 시점은 지난 8일경으로 추정된다고 보도했다.
바이두의 이러한 결정은 최근 AI(인공지능) 모델 훈련을 위한 데이터 수요가 급증하는 상황에서, 자사 온라인 자산을 보호하려는 노력의 일환으로 해석되고 있다. 특히, 방대한 데이터가 AI 모델의 성능을 좌우하는 중요한 요소로 부각되면서, 기업들은 자신들의 데이터를 외부에 노출하지 않으려는 경향이 커지고 있다.
이와 같은 데이터 보호 움직임은 미국에서도 나타나고 있다. 지난달, 미국의 주요 온라인 커뮤니티 사이트인 레딧(Reddit)은 구글을 제외한 다른 검색 엔진들이 자사 사이트의 게시물을 색인화하지 못하도록 차단했다. 이는 구글이 자사의 AI 모델을 훈련하기 위해 레딧과 수백만 달러 규모의 계약을 체결한 후 이뤄진 조치로, AI 데이터 확보를 위한 경쟁이 치열해지고 있음을 시사한다.
바이두의 이번 조치는 글로벌 IT 기업 간의 데이터 보호와 AI 개발을 둘러싼 복잡한 경쟁 구도를 더욱 부각시키고 있으며, 앞으로 다른 기업들이 어떻게 대응할지 주목된다.
