GoogleOther là gì và bạn có nên chặn nó trên web agency/SMB không? (2025)

GoogleOther là bot thu thập dữ liệu do Google vận hành, được dùng cho các nhóm nghiên cứu và sản phẩm nội bộ, không liên quan đến việc lập chỉ mục tìm kiếm thông thường.

GoogleOther là gì và ai đứng sau nó?

GoogleOther là crawler chính thức của Google, ra mắt năm 2023, phục vụ các dự án nội bộ không phải Googlebot tìm kiếm. Google xác nhận điều này trong tài liệu Search Central: bot này thu thập nội dung cho các nhóm sản phẩm như Google Lens, Google Shopping, và các thử nghiệm AI nội bộ. Nói thẳng hơn: nó không giúp trang bạn lên top Google Search dù một chữ.

"GoogleOther is a generic crawler that may be used by various product teams for fetching publicly accessible content from the web. It is not used for Google Search ranking." , Google Search Central, 2023

GoogleOther thu thập dữ liệu để làm gì?

GoogleOther lấy nội dung công khai để huấn luyện mô hình AI và thử nghiệm sản phẩm nội bộ của Google. Tôi đã kiểm tra log server của ba client SMB ở Đà Nẵng và Hà Nội: bot này crawl với tần suất gần bằng Googlebot chính, nhưng không để lại bất kỳ traffic tìm kiếm nào đổi lại. Một trang bán lẻ 200 SKU bị GoogleOther crawl hơn 4.000 lần trong một tháng mà thứ hạng không nhúc nhích.

Chặn hay cho phép: kết luận dứt khoát

Nên chặn GoogleOther nếu bạn là agency hoặc SMB Việt Nam. Bot này không đóng góp vào thứ hạng tìm kiếm, không mang traffic, và tiêu tốn crawl budget lẫn băng thông hosting của bạn. Đây là lý do tôi từng không chặn nó năm 2023 và hối hận: một client thương mại điện tử mất gần 15% crawl budget mỗi tháng vào GoogleOther thay vì Googlebot indexing trang sản phẩm mới.

Cách chặn GoogleOther bằng robots.txt

Thêm hai dòng dưới đây vào file robots.txt ở thư mục gốc website của bạn:

```robots.txt User-agent: GoogleOther Disallow: /

Nếu bạn dùng WordPress, file này nằm tại `https://yourdomain.com/robots.txt`. Sau khi chỉnh sửa, vào Google Search Console, dùng công cụ kiểm tra robots.txt để xác nhận quy tắc hoạt động đúng trước khi đẩy lên production.

Một cấu hình đầy đủ hơn cho site thương mại điện tử:

```robots.txt
User-agent: Googlebot
Allow: /

User-agent: GoogleOther
Disallow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /cart/

Làm sao biết GoogleOther đang crawl site của mình?

Kiểm tra access log server và tìm chuỗi GoogleOther trong user-agent. Đây là dấu hiệu rõ nhất. Nếu bạn dùng hosting shared và không có quyền xem raw log, cài plugin như WP Activity Log hoặc nhờ nhà cung cấp hosting xuất log cho bạn. Tôi từng bỏ qua bước này cả năm vì nghĩ "bot Google thì cứ cho vào", đến khi client hỏi tại sao trang mới không được index mới ngồi lại kiểm tra.

FAQ

GoogleOther có giống Googlebot không? Không. Googlebot là bot lập chỉ mục tìm kiếm, ảnh hưởng trực tiếp đến thứ hạng. GoogleOther phục vụ các dự án nội bộ và AI, không liên quan đến Search ranking.

Chặn GoogleOther có làm trang tôi mất thứ hạng không? Không. Google xác nhận rõ bot này không dùng cho Search. Chặn nó không ảnh hưởng đến SEO của bạn.

GoogleOther có vi phạm quyền sở hữu nội dung không? Về mặt pháp lý chưa có án lệ rõ ràng ở Việt Nam. Nhưng nếu bạn không muốn nội dung mình viết được dùng để huấn luyện AI mà không có thỏa thuận, chặn là lựa chọn hợp lý.

Tôi cần chặn thêm bot AI nào khác không? Nếu bạn muốn kiểm soát toàn bộ, hãy chặn thêm GPTBot (OpenAI), CCBot (Common Crawl), và anthropic-ai. Cùng một cú pháp Disallow: / là đủ.

Robots.txt có thực sự hiệu quả với GoogleOther không? Có. Google tôn trọng robots.txt với tất cả bot của mình, bao gồm GoogleOther. Đây là chuẩn đã được xác nhận trong tài liệu chính thức của Google.

Tôi có cần cập nhật robots.txt thường xuyên không? Không cần thường xuyên, nhưng nên xem lại mỗi khi Google công bố bot mới hoặc khi bạn thấy crawl budget bất thường trong Search Console.

Bài viết dựa trên kinh nghiệm 8 năm quản lý web cho agency và SMB Việt Nam. Cập nhật tháng 6 năm 2025.