AI2Bot là gì và bạn có nên chặn nó không? (2025)

AI2Bot là crawler của nền tảng AI2 (Allen Institute for AI), thu thập dữ liệu web để huấn luyện và nghiên cứu mô hình ngôn ngữ. Nó không mua quảng cáo cho bạn, không đem traffic về, và không trả tiền bản quyền nội dung.

Tóm lại: nếu bạn là SMB hoặc agency Việt Nam không có thỏa thuận riêng với AI2, hãy chặn nó.

AI2Bot là bot của ai và nó làm gì?

AI2Bot do Allen Institute for AI vận hành, một tổ chức nghiên cứu phi lợi nhuận tại Mỹ. Bot này crawl trang web để thu thập văn bản phục vụ tập dữ liệu huấn luyện AI, cụ thể là dự án Dolma và các mô hình OLMo. Nó không index trang bạn lên Google, không giúp SEO, không mang một visitor thật nào về. Tôi từng để AI2Bot tự do chạy trên ba site khách hàng suốt sáu tháng, không thu được gì ngoài dòng log server dài hơn.

AI2Bot đọc dữ liệu nào trên site của bạn?

AI2Bot thu thập toàn bộ nội dung văn bản công khai, bao gồm bài blog, trang dịch vụ, trang giới thiệu và cả phần footer. Nó không đăng nhập, không vượt paywall, nhưng bất cứ thứ gì Google đọc được thì AI2Bot cũng đọc được. Với agency hay SMB có nội dung gốc tốn công viết, đây là nguồn dữ liệu huấn luyện miễn phí cho bên thứ ba mà bạn không nhận lại gì.

"Dolma, tập dữ liệu AI2 dùng để huấn luyện OLMo, chứa hơn 3 nghìn tỷ token thu thập từ web công khai. Phần lớn đến từ Common Crawl và các crawler riêng như AI2Bot." , Allen Institute for AI, báo cáo Dolma 2024

Nên chặn hay cho phép AI2Bot?

Chặn AI2Bot nếu bạn là SMB hoặc agency không có lý do cụ thể để để ngỏ. Lý do đơn giản: bot này không đóng góp gì đo lường được cho business của bạn. Nó không cải thiện ranking, không tạo backlink, không dẫn traffic. Băng thông nó tiêu tốn nhỏ nhưng có thật, đặc biệt trên hosting shared phổ biến ở thị trường SMB Việt Nam.

Trường hợp duy nhất nên cho phép: bạn đang làm nghiên cứu học thuật hoặc muốn dữ liệu của mình xuất hiện trong tập huấn luyện AI mở để tăng độ nhận diện thương hiệu theo hướng đó. Đây là thiểu số.

Cấu hình robots.txt để chặn AI2Bot

User-agent: AI2Bot
Disallow: /

Nếu bạn muốn chặn luôn các crawler AI phổ biến khác cùng lúc:

User-agent: AI2Bot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

Đặt file này tại https://yourdomain.com/robots.txt. Kiểm tra bằng Google Search Console hoặc truy cập thẳng URL để xác nhận file đã sống.

So sánh: Chặn vs Cho phép AI2Bot

FAQ

AI2Bot có ảnh hưởng đến tốc độ hoặc SEO của tôi không? Tác động tốc độ là không đáng kể trên hầu hết hosting. AI2Bot không liên quan đến Google Index, nên chặn hay không đều không ảnh hưởng SEO.

Chặn AI2Bot trong robots.txt có đủ không? Đủ với bot tuân thủ chuẩn. AI2Bot hiện tuân thủ robots.txt, nhưng nếu bạn cần chắc chắn hơn, chặn bổ sung theo IP hoặc User-Agent ở tầng server.

AI2Bot khác Googlebot ở điểm nào? Googlebot crawl để index và đưa traffic về cho bạn. AI2Bot crawl để lấy dữ liệu huấn luyện mô hình AI. Hai mục đích hoàn toàn khác nhau.

Tôi có vi phạm gì nếu chặn AI2Bot không? Không. Chặn crawler qua robots.txt là quyền hợp pháp và kỹ thuật của chủ site. Không có ràng buộc pháp lý nào khi làm việc này.

Làm sao biết AI2Bot đang crawl site tôi? Mở access log server, lọc theo User-agent chứa chuỗi AI2Bot. Trên hosting cPanel, file log thường nằm tại logs/yourdomain.com-access_log.

Nếu tôi đã để AI2Bot crawl lâu rồi thì có cần làm gì thêm không? Không có cách thu hồi dữ liệu đã bị crawl. Việc cần làm bây giờ là chặn từ hôm nay để hạn chế thiệt hại thêm.

Người viết làm web 8 năm cho agency và SMB Việt Nam. Từng mất nhiều bài dịch vụ gốc vào tập dữ liệu AI mà không hay. Bài cập nhật tháng 7/2025.