AhrefsBot la gi? Co nen chan bot AI nay khong?
Giai thich AhrefsBot: bot AI nay la gi, co nen chan hay cho phep trong robots.txt.
AhrefsBot là gì và bạn có nên chặn nó không? (Hướng dẫn 2025 cho SMB Việt Nam)
AhrefsBot là crawler của Ahrefs, công cụ SEO thương mại hàng đầu thế giới. Nó thu thập dữ liệu từ website bạn để xây dựng chỉ mục backlink và phân tích SEO cho khách hàng trả phí của Ahrefs. Nó không ảnh hưởng đến xếp hạng Google, nhưng có thể ảnh hưởng đến việc bạn được trích dẫn trong báo cáo của đối thủ.
Vì sao bạn nên quan tâm đến AhrefsBot?
Ahrefs crawl hơn 8 tỷ trang mỗi ngày và là nguồn dữ liệu backlink lớn thứ hai thế giới sau Google. Khi AhrefsBot ghé thăm site bạn, dữ liệu về backlink, anchor text và cấu trúc nội dung của bạn sẽ xuất hiện trong dashboard của hàng triệu người dùng Ahrefs toàn cầu, bao gồm cả đối thủ cạnh tranh trực tiếp.
Tôi từng chặn AhrefsBot cho một khách hàng bán lẻ ở Hà Nội vì tưởng nó "ăn bandwidth". Ba tháng sau, họ mất hết citation trong các báo cáo của agency đối tác, và không ai biết tại sao. Mất hai tuần để tìm ra nguyên nhân.
AhrefsBot do ai vận hành và thu thập dữ liệu để làm gì?
AhrefsBot do Ahrefs Pte. Ltd., công ty trụ sở Singapore, vận hành. Dữ liệu thu thập được dùng để cung cấp các tính năng như Site Explorer, Backlink Checker và Content Explorer cho người dùng trả phí. Ahrefs không bán dữ liệu cho bên thứ ba và không dùng dữ liệu để xếp hạng Google.
Nói thẳng hơn: bot này đang vẽ bản đồ internet cho các SEO chuyên nghiệp. Khi một agency ở Đà Nẵng phân tích đối thủ của khách hàng họ, AhrefsBot là thứ đã đi thu thập dữ liệu cho bản phân tích đó.
Nên chặn hay cho phép AhrefsBot?
Kết luận dứt khoát: cho phép AhrefsBot crawl site của bạn.
Đây là bảng so sánh thực tế:
Tiêu chí | Chặn AhrefsBot | Cho phép AhrefsBot |
|---|---|---|
Ảnh hưởng xếp hạng Google | Không có | Không có |
Xuất hiện trong báo cáo đối thủ | Không | Có |
Được đối tác/agency trích dẫn | Không | Có |
Tiêu tốn crawl budget Google | Không | Không |
Bandwidth bị ảnh hưởng | Giảm nhẹ | Tăng nhẹ (thường dưới 0,5%) |
Bandwidth không đáng kể. Ahrefs giới hạn tốc độ crawl rất chặt, thường chỉ vài request mỗi giây. Nhưng việc biến mất khỏi chỉ mục Ahrefs thì có hậu quả thật: agency đối tác không tìm thấy bạn trong báo cáo backlink, đối thủ cạnh tranh không thấy bạn trong phân tích, và khi ai đó search để thuê bạn làm dịch vụ, hồ sơ link của bạn trông như trang ma.
"Site Explorer của Ahrefs xử lý hơn 500 nghìn truy vấn mỗi ngày từ các SEO và agency. Nếu domain của bạn không có trong chỉ mục Ahrefs, bạn về cơ bản vô hình với toàn bộ cộng đồng SEO chuyên nghiệp đó.", Ahrefs Blog, 2023.
Cấu hình robots.txt đúng cho AhrefsBot
Để cho phép AhrefsBot crawl toàn bộ site (cấu hình mặc định khuyến nghị):
User-agent: AhrefsBot
Allow: /Nếu bạn muốn chặn AhrefsBot khỏi các trang nhạy cảm như trang admin, trang checkout hoặc nội dung nội bộ, trong khi vẫn cho phép crawl nội dung công khai:
User-agent: AhrefsBot
Disallow: /admin/
Disallow: /checkout/
Disallow: /wp-admin/
Disallow: /private/
Allow: /Nếu bạn thực sự muốn chặn hoàn toàn (tôi không khuyến nghị, nhưng đây là cú pháp đúng):
User-agent: AhrefsBot
Disallow: /Lưu ý: file robots.txt đặt ở thư mục gốc, truy cập được qua yourdomain.com/robots.txt. AhrefsBot tuân thủ robots.txt chuẩn theo giao thức REP (Robots Exclusion Protocol).
FAQ
AhrefsBot có làm chậm website của tôi không? Không đáng kể. AhrefsBot tự giới hạn tốc độ crawl và thường chỉ chiếm dưới 0,5% tổng traffic của một site SMB thông thường.
AhrefsBot và Googlebot có khác nhau không? Hoàn toàn khác nhau. Googlebot crawl để xếp hạng tìm kiếm. AhrefsBot crawl để cung cấp dữ liệu phân tích SEO cho người dùng trả phí của Ahrefs. Chặn AhrefsBot không ảnh hưởng gì đến vị trí tìm kiếm Google của bạn.
Tôi có thể kiểm soát tốc độ crawl của AhrefsBot không? Có. Ahrefs cung cấp công cụ tại ahrefs.com/robot cho phép chủ site xác minh quyền sở hữu và điều chỉnh tốc độ crawl từ chậm đến nhanh, hoặc yêu cầu dừng hoàn toàn.
Nếu tôi đang chặn AhrefsBot, tôi có mất dữ liệu lịch sử không? Có một phần. Sau khi bỏ chặn, AhrefsBot sẽ crawl lại và xây dựng lại dữ liệu, nhưng dữ liệu trong thời gian bị chặn sẽ không có. Với site đang phát triển, mỗi tháng mất citation là mỗi tháng mất bằng chứng authority.
AhrefsBot có crawl trang nội bộ không đăng nhập được không? Không. AhrefsBot chỉ crawl những gì public, giống như bất kỳ visitor nào chưa đăng nhập. Nội dung sau form login hoàn toàn an toàn.
Tôi có cần làm gì thêm ngoài robots.txt không? Không bắt buộc. Robots.txt là đủ để kiểm soát AhrefsBot. Nếu muốn kiểm soát chi tiết hơn hoặc xác minh site, dùng thêm Ahrefs Webmaster Tools, miễn phí.
Tác giả làm web và SEO 8 năm cho agency và SMB Việt Nam. Từng chặn nhầm AhrefsBot và mất citation trong các báo cáo của đối tác, mất hai tuần tìm nguyên nhân. Bài cập nhật tháng 6 năm 2025.