Công ty, đơn vị được cho là đang cung cấp dịch vụ proxy cho khoảng 20% website trên toàn cầu, vừa giới thiệu một công cụ mới chặn mọi bot AI thu thập dữ liệu văn bản từ website. Cloudflare cho biết công cụ này khả dụng cho mọi khách hàng, kể cả những người dùng gói miễn phí.

Sự bùng nổ của AI tạo sinh kéo theo nhu cầu lớn về dữ liệu để huấn luyện chatbot. Nhiều công ty đang sử dụng các bot thu thập dữ liệu (web scraper) để lấy văn bản từ các website (như cách ChatGPT đang làm với bài đăng trên Reddit). Một số công ty minh bạch về hoạt động của bot thu thập dữ liệu, nhưng số khác lại không.

Tính năng này khả dụng cho tất cả khách hàng, bao gồm cả những khách hàng dùng gói miễn phí. Để bật tính năng này, chỉ cần điều hướng đến phần  Security > Bots của bảng điều khiển Cloudflare và nhấp vào nút chuyển đổi có nhãn Block AI Scrapers and Crawlers.

Vào tháng 9 năm ngoái, Cloudflare đã phát hành một tính năng cho phép người dùng chặn các bot thu thập dữ liệu “xấu”, tức là những bot thu thập dữ liệu từ website mà không được phép. Tuy nhiên, một số công ty đã tìm cách lách luật bằng cách tạo ra những bot “giả mạo” để vượt qua hàng rào bảo vệ. Đó là lý do tại sao công cụ mới này chặn tất cả bot AI, kể cả những bot tuân thủ quy trình thu thập dữ liệu.

Theo Cloudflare, trong tháng 6/2024, bot AI đã truy cập vào khoảng 39% trong số một triệu “tài sản internet” hàng đầu sử dụng dịch vụ của họ. Tuy nhiên, chưa đến 3% trong số đó đã áp dụng các biện pháp chặn bot AI. Cloudflare cũng cho biết bốn bot thu thập dữ liệu hàng đầu trên các website sử dụng dịch vụ của họ là Bytespider, Amazonbot, ClaudeBot và GPTBot.