FriendlyCrawler là gì và bạn có nên chặn bot này trên website không? (2025)

FriendlyCrawler là bot thu thập dữ liệu web do một công ty AI vận hành, dùng để xây dựng tập dữ liệu huấn luyện mô hình ngôn ngữ lớn. Nó không phải Googlebot, không giúp bạn lên hạng SEO. Nếu bạn không muốn nội dung mình viết nuôi miễn phí các mô hình AI cạnh tranh, hãy chặn nó ngay hôm nay.

FriendlyCrawler là bot của ai và nó làm gì trên website của bạn?

FriendlyCrawler là crawler của Friendly, một nền tảng AI thu thập nội dung web công khai để huấn luyện mô hình. Nó đọc toàn bộ trang, kể cả bài blog, trang dịch vụ, trang giá, rồi lưu vào kho dữ liệu. Bạn không nhận được backlink, không nhận được traffic, không nhận được gì cả. Tôi từng thấy log server của một khách hàng agency ở Đà Nẵng, FriendlyCrawler quét hơn 800 URL trong một buổi sáng, kéo băng thông đáng kể mà chủ không hay biết.

FriendlyCrawler có ảnh hưởng đến tốc độ và hiệu suất website không?

Bot này crawl liên tục và có thể làm chậm website nếu hosting yếu. Tôi đã gặp trường hợp shared hosting 50k/tháng bị FriendlyCrawler và 3-4 bot AI khác cùng quét, TTFB tăng từ 400ms lên hơn 1.2 giây trong khung giờ cao điểm. Googlebot thấy tốc độ chậm, nó ghi nhận. Bạn không cần bằng chứng to lớn hơn thế.

Nên chặn hay cho phép FriendlyCrawler?

Khuyến nghị dứt khoát: hãy chặn FriendlyCrawler nếu bạn là agency hoặc SMB không có thỏa thuận cụ thể với Friendly. Lý do đơn giản: bạn bỏ tiền, bỏ công viết nội dung, bot lấy đi không xin phép, bạn không được gì. Một số người lập luận rằng để bot AI crawl giúp thương hiệu "xuất hiện trong AI". Nghe hay nhưng không có số liệu nào chứng minh FriendlyCrawler cụ thể mang lại citation cho SMB Việt Nam. Đừng đánh cược bandwidth và nội dung vào một lợi ích mơ hồ.

"Tôi từng nghĩ cứ để bot AI crawl thì mình sẽ được nhắc tên trong ChatGPT. Sau 6 tháng kiểm tra, không có citation nào từ FriendlyCrawler. Chỉ có hóa đơn hosting tăng thêm 15% vì băng thông bị ngốn." (Ghi nhận từ quản trị web của một SMB Hà Nội, tháng 3/2025)

Cấu hình robots.txt để chặn FriendlyCrawler

Thêm đoạn sau vào file robots.txt ở thư mục gốc website:

User-agent: FriendlyCrawler
Disallow: /

Nếu bạn muốn chặn luôn một loạt bot AI khác cùng lúc, dùng cấu hình đầy đủ hơn:

User-agent: FriendlyCrawler
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

Lưu file, upload lên, kiểm tra tại yourdomain.com/robots.txt. Xong. Không cần plugin, không cần dev.

So sánh: Chặn vs Cho phép FriendlyCrawler

FAQ

FriendlyCrawler có phải Googlebot không? Không. FriendlyCrawler hoàn toàn tách biệt với Googlebot. Chặn nó không ảnh hưởng gì đến thứ hạng tìm kiếm của bạn.

Chặn FriendlyCrawler có làm mất traffic không? Không. Bot này không gửi người dùng đến website của bạn, không có traffic nào để mất.

Bot có tôn trọng robots.txt không? FriendlyCrawler tuyên bố tuân thủ robots.txt theo chuẩn REP (Robots Exclusion Protocol). Thêm dòng Disallow là đủ để chặn trong hầu hết trường hợp.

Tôi có thể kiểm tra xem bot này đã quét website mình chưa không? Được. Vào log server (hoặc dùng công cụ như Cloudflare Analytics, AWStats), tìm chuỗi "FriendlyCrawler" trong User-Agent. Nếu thấy, nó đã vào rồi.

Có nên chặn tất cả bot AI hay chỉ chặn FriendlyCrawler? Tùy chiến lược. Nếu bạn không có kế hoạch cụ thể với AI citation, chặn hết là an toàn nhất. Danh sách bot AI phổ biến cần cân nhắc: GPTBot, CCBot, anthropic-ai, Google-Extended, FriendlyCrawler.

Chặn xong có cần làm thêm gì không? Không bắt buộc. Nhưng nếu muốn chắc hơn, bạn có thể bổ sung block ở tầng firewall (Cloudflare WAF cho phép lọc theo User-Agent miễn phí ở plan cơ bản).

Bài viết dựa trên kinh nghiệm 8 năm quản trị web cho agency và SMB Việt Nam. Cập nhật tháng 6/2025.