Theo tiêu chuẩn ngành, Anthropic sử dụng nhiều loại rô-bốt để thu thập dữ liệu từ web công cộng phục vụ phát triển mô hình, tìm kiếm trên web, và truy xuất nội dung web theo hướng dẫn của người dùng. Anthropic sử dụng các rô-bốt khác nhau để giúp chủ sở hữu website minh bạch và có quyền lựa chọn. Dưới đây là thông tin về ba rô-bốt mà Anthropic sử dụng và cách thiết lập tùy chọn trên trang web của bạn để cho phép những rô-bốt bạn muốn truy cập nội dung và hạn chế những rô-bốt bạn không muốn.
|
Bot |
Sử dụng |
Điều gì sẽ xảy ra khi bạn tắt nó |
|
ClaudeBot |
ClaudeBot giúp nâng cao tính hữu ích và an toàn của các mô hình AI tạo sinh của chúng tôi bằng cách thu thập nội dung web có khả năng đóng góp vào việc đào tạo chúng. |
Khi một trang web hạn chế quyền truy cập của ClaudeBot, điều đó báo hiệu rằng các tài liệu tương lai của trang web đó nên được loại trừ khỏi các bộ dữ liệu đào tạo mô hình AI của chúng tôi. |
|
Claude-Người dùng |
Claude-User hỗ trợ người dùng Claude AI. Khi cá nhân đặt câu hỏi cho Claude, nó có thể truy cập các trang web bằng đại lý Claude-User. |
Claude-User cho phép các chủ sở hữu trang web kiểm soát những trang nào có thể được truy cập thông qua các yêu cầu do người dùng khởi xướng. Vô hiệu hóa Claude-User trên trang web của bạn sẽ ngăn hệ thống của chúng tôi truy xuất nội dung của bạn để trả lời truy vấn của người dùng, điều này có thể làm giảm khả năng hiển thị của trang web bạn đối với tìm kiếm web do người dùng chỉ định. |
|
Claude-TìmKiếmBot |
Claude-SearchBot điều hướng web để cải thiện chất lượng kết quả tìm kiếm cho người dùng. Nó phân tích nội dung trực tuyến nhằm nâng cao độ liên quan và độ chính xác của các câu trả lời tìm kiếm. |
Vô hiệu hóa Claude-SearchBot trên trang của bạn sẽ ngăn hệ thống của chúng tôi lập chỉ mục nội dung của bạn để tối ưu hóa tìm kiếm, điều này có thể làm giảm khả năng hiển thị và độ chính xác của trang web của bạn trong kết quả tìm kiếm của người dùng. |
Như một phần trong sứ mệnh của chúng tôi nhằm xây dựng các hệ thống tiên phong an toàn và đáng tin cậy cũng như thúc đẩy lĩnh vực phát triển AI có trách nhiệm, chúng tôi đang chia sẻ các nguyên tắc mà theo đó chúng tôi thu thập dữ liệu cũng như hướng dẫn về cách từ chối việc thu thập dữ liệu của chúng tôi trong tương lai:
-
Bộ sưu tập dữ liệu của chúng tôi nên đượctrong suốt. Anthropic sử dụng các Bot được mô tả ở trên để truy cập nội dung web.
-
Việc bò của chúng ta nênkhônglàxâm nhập hoặc gây rối. Chúng tôi hướng tới việc gây gián đoạn tối thiểu bằng cách cân nhắc cẩn thận tốc độ quét cùng một miền và tôn trọng Crawl-delay khi thích hợp.
-
Bot của Anthropictôn trọng “không bò”tín hiệu bằng cách tôn trọng các chỉ thị tiêu chuẩn ngành trong robots.txt.
-
Bot của Anthropictôn trọng các công nghệ chống vượt rào(ví dụ, chúng tôi sẽ không cố gắng vượt qua CAPTCHA cho các trang web mà chúng tôi thu thập dữ liệu.)
Để hạn chế hoạt động thu thập dữ liệu, chúng tôi hỗ trợ phần mở rộng Crawl-delay không tiêu chuẩn cho robots.txt. Một ví dụ về điều này có thể là:
User-agent: ClaudeBot
Độ trễ thu thập dữ liệu: 1
Để chặn một Bot khỏi toàn bộ trang web của bạn, hãy thêm điều này vào tệp robots.txt trong thư mục cấp cao nhất của bạn. Vui lòng làm điều này cho mọi tên miền phụ mà bạn muốn loại trừ. Ví dụ về điều này là:
User-agent: ClaudeBot
Không cho phép: /
Việc từ chối bị các Bot của Anthropic thu thập dữ liệu yêu cầu chỉnh sửa tệp robots.txt theo cách nêu trên. Các phương pháp thay thế như chặn địa chỉ IP mà các Bot của Anthropic sử dụng có thể không hoạt động đúng cách hoặc đảm bảo từ chối liên tục, vì làm như vậy sẽ cản trở khả năng đọc tệp robots.txt của chúng tôi. Nếu một trình thu thập dữ liệu có địa chỉ IP nguồn trêndanh sách này, nó cho thấy rằng trình thu thập dữ liệu đang đến từ Anthropic.
Bạn có thể tìm hiểu thêm về các thực hành xử lý dữ liệu và cam kết của chúng tôi tạiTrung tâm Trợ giúp. Nếu bạn có thêm câu hỏi, hoặc tin rằng các Bot của chúng tôi có thể đang gặp sự cố, vui lòng liên hệ với[email protected]. Vui lòng liên hệ từ một email bao gồm tên miền mà bạn đang liên hệ với chúng tôi, vì nếu không sẽ khó xác minh các báo cáo.
Bạn có thể nhận được thông báo về những thay đổi đáng kể của bài viết này bằng cách nhấp vào đây và điền vào mẫu:
Hỗ trợ tư vấn, đào tạo và chuyển giao giải pháp AI cho cá nhân, doanh nghiệp và tổ chức.
Liên hệ qua Zalo
