CCBot Là Gì? Nên Chặn Hay Cho Phép Bot Này Crawl Web Của Bạn (2024)

CCBot là bot thu thập dữ liệu văn bản của Common Crawl, tổ chức phi lợi nhuận Mỹ. Nó không mua quảng cáo cho bạn, không xếp hạng Google cho bạn. Nó lấy nội dung của bạn để huấn luyện các mô hình AI lớn, bao gồm GPT và nhiều LLM khác. Bạn không được trả tiền.

Kết luận ngắn: Nếu bạn không muốn nội dung mình viết trở thành dữ liệu huấn luyện AI miễn phí, hãy chặn CCBot trong robots.txt. Nếu bạn muốn AI citation hoặc đang làm nghiên cứu mở, giữ nguyên.

CCBot Do Ai Vận Hành Và Lấy Dữ Liệu Để Làm Gì?

CCBot thuộc Common Crawl, tổ chức phi lợi nhuận có trụ sở tại San Francisco, hoạt động từ năm 2007. Họ crawl toàn bộ web, nén thành các kho dữ liệu khổng lồ (mỗi đợt khoảng 3,15 tỷ trang), rồi cung cấp miễn phí cho các nhà nghiên cứu và công ty AI.

OpenAI dùng dữ liệu Common Crawl để huấn luyện GPT-3. Cohere, AI2, nhiều lab nghiên cứu lớn khác cũng dùng. Khi CCBot vào site của bạn, nội dung bạn viết có thể nằm trong tập huấn luyện của một LLM nào đó mà bạn không biết tên.

"Common Crawl's dataset has been used to train large language models including GPT-3, and the dataset contains over 250 billion pages accumulated since 2008." , Common Crawl Foundation, trang chính thức

CCBot Có Ảnh Hưởng Đến SEO Hay Tốc Độ Web Không?

CCBot không ảnh hưởng trực tiếp đến xếp hạng Google. Googlebot và CCBot là hai con bot khác nhau hoàn toàn, chạy độc lập. Cho phép hay chặn CCBot không thay đổi vị trí bạn trên trang tìm kiếm.

Tuy nhiên, tôi từng thấy một site thương mại điện tử ở Hà Nội bị CCBot crawl liên tục trong 3 ngày, server shared hosting rơi vào trạng thái chậm bất thường. Không sập hẳn, nhưng đủ để bounce rate tăng vọt. Với SMB dùng hosting giá rẻ, đây là rủi ro thực, không phải lý thuyết.

Nên Chặn Hay Cho Phép CCBot? Kết Luận Dứt Khoát

Chặn CCBot nếu bạn là agency hoặc SMB Việt Nam không có thỏa thuận rõ ràng với Common Crawl. Lý do đơn giản: bạn tạo nội dung, bạn chịu chi phí hosting, bạn không nhận lại gì cụ thể khi AI dùng dữ liệu đó. Không có cơ chế opt-in, không có thông báo, không có tiền.

Trường hợp nên cho phép: bạn làm nghiên cứu mở, bạn muốn dữ liệu site mình xuất hiện trong Common Crawl dataset để AI có thể trích dẫn thương hiệu của bạn trong câu trả lời. Đây là lý do thực tế duy nhất tôi thấy có giá trị cho SMB.

Bảng So Sánh: Chặn vs Cho Phép CCBot

Cách Chặn CCBot Bằng robots.txt

Thêm đoạn sau vào file robots.txt ở thư mục gốc domain của bạn:

User-agent: CCBot
Disallow: /

Nếu bạn muốn chặn nhiều bot AI cùng lúc, dùng cấu hình đầy đủ hơn:

User-agent: CCBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

File này đặt tại https://yourdomain.com/robots.txt. Kiểm tra lại bằng cách mở trực tiếp URL đó trên trình duyệt.

FAQ

CCBot có phải là bot của Google không? Không. CCBot thuộc Common Crawl, tổ chức phi lợi nhuận độc lập. Google có bot riêng tên Googlebot.

Chặn CCBot có làm trang tôi mất thứ hạng tìm kiếm không? Không. CCBot và Googlebot hoàn toàn tách biệt. Chặn CCBot không ảnh hưởng gì đến SEO.

CCBot có tôn trọng robots.txt không? Có. Common Crawl tuyên bố CCBot tuân thủ robots.txt. Trong thực tế, tôi chưa thấy trường hợp nào CCBot cố tình bỏ qua chỉ thị này.

Tôi có thể chặn CCBot mà không cần robots.txt không? Có. Bạn chặn theo User-agent ở tầng server (Nginx, Apache) hoặc dùng firewall như Cloudflare. Nhưng robots.txt là cách nhanh nhất, không cần kỹ thuật sâu.

Nếu tôi đã bị CCBot crawl rồi, dữ liệu đó có bị xóa không? Không tự động. Common Crawl không có quy trình xóa chủ động theo yêu cầu cá nhân. Chặn ngay để hạn chế các lần crawl tiếp theo.

CCBot crawl bao lâu một lần? Common Crawl thường crawl theo đợt, không liên tục như Googlebot. Tần suất thực tế dao động, không có lịch cố định công khai.

Bài viết dựa trên kinh nghiệm 8 năm quản trị web cho agency và SMB Việt Nam. Tôi từng không chặn bot này vì nghĩ nó vô hại, đến khi thấy nội dung khách hàng xuất hiện nguyên xi trong output của một LLM mà không có attribution. Cập nhật: tháng 11 năm 2024.