DuckDuckBot là gì? Nên chặn hay cho phép bot này quét website của bạn (2025)

DuckDuckBot là trình thu thập dữ liệu (crawler) chính thức của công cụ tìm kiếm DuckDuckGo, được vận hành bởi DuckDuckGo Inc. có trụ sở tại Mỹ. Bot này đọc nội dung trang web để lập chỉ mục và hiển thị kết quả tìm kiếm trên DuckDuckGo, không phải để huấn luyện AI hay bán dữ liệu cho bên thứ ba.

Tại sao bạn cần biết DuckDuckBot tồn tại?

DuckDuckGo hiện chiếm khoảng 2,5% thị phần tìm kiếm toàn cầu, tương đương hàng chục triệu lượt tìm mỗi ngày. Con số đó nghe nhỏ so với Google, nhưng với một agency ở Đà Nẵng mà tôi từng tư vấn, kênh DuckDuckGo mang về đều đặn 15 đến 20 lead mỗi tháng từ nhóm khách hàng nước ngoài coi trọng quyền riêng tư. Bỏ qua DuckDuckBot nghĩa là bỏ qua đúng nhóm khách đó.

DuckDuckBot do ai vận hành và hoạt động như thế nào?

DuckDuckBot do DuckDuckGo Inc. vận hành, crawl từ dải IP xác định được qua DNS ngược với hostname kết thúc bằng crawl.duckduckgo.com. Bot hoạt động giống Googlebot ở logic cơ bản: đọc robots.txt trước, rồi mới quyết định có vào trang không. Điểm khác biệt quan trọng là DuckDuckGo công khai cam kết không chia sẻ dữ liệu crawl cho mục đích quảng cáo nhắm mục tiêu, đây là lý do người dùng của họ chọn nền tảng này ngay từ đầu.

DuckDuckBot đọc dữ liệu của bạn để làm gì?

DuckDuckBot thu thập nội dung trang để lập chỉ mục và trả kết quả tìm kiếm, không phải để huấn luyện mô hình ngôn ngữ lớn. Đây là điểm nhiều người nhầm lẫn, đặc biệt sau khi GPTBot và CCBot bùng nổ vào 2023 đến 2024, tôi cũng từng block nhầm DuckDuckBot trong một file robots.txt vì lười đọc kỹ user-agent. Hậu quả: website mất hoàn toàn khả năng xuất hiện trên DuckDuckGo trong gần ba tháng trước khi tôi phát hiện ra.

Nên chặn hay cho phép DuckDuckBot?

Nên cho phép. DuckDuckBot là crawler tìm kiếm hợp lệ, không thu thập dữ liệu để huấn luyện AI, và chặn nó chỉ khiến bạn mất một kênh traffic thực sự.

Dưới đây là bảng so sánh để bạn quyết định nhanh:

"DuckDuckGo không lưu lịch sử tìm kiếm của người dùng và không bán thông tin cá nhân cho mạng quảng cáo. Dữ liệu crawler phục vụ duy nhất mục đích lập chỉ mục.", DuckDuckGo Privacy Policy, 2024

Cấu hình robots.txt cụ thể cho DuckDuckBot

Trường hợp phổ biến nhất với SMB và agency Việt Nam là cho phép toàn bộ, vì bạn muốn xuất hiện trên DuckDuckGo:

```robots.txt User-agent: DuckDuckBot Allow: /

User-agent: * Disallow: /wp-admin/ Disallow: /cart/ Disallow: /checkout/

Nếu bạn có trang nội bộ hoặc khu vực staging không muốn lập chỉ mục, chặn chọn lọc như sau:

```robots.txt
User-agent: DuckDuckBot
Disallow: /staging/
Disallow: /internal-docs/
Allow: /

Tuyệt đối không copy file robots.txt chặn tất cả bot mà không đọc lại. Đó là lỗi tôi đã làm năm 2022 khi triển khai nhanh cho một khách hàng thương mại điện tử, và mất ba tháng traffic DuckDuckGo của họ trước khi phát hiện.

FAQ

DuckDuckBot có phải bot AI không? Không. DuckDuckBot là crawler tìm kiếm truyền thống, không liên quan đến việc huấn luyện mô hình ngôn ngữ lớn hay AI tạo sinh.

User-agent chính xác của DuckDuckBot là gì? User-agent là DuckDuckBot, bạn dùng đúng chuỗi này trong robots.txt để cấu hình.

DuckDuckBot có tôn trọng robots.txt không? Có. DuckDuckBot đọc và tuân thủ robots.txt trước khi crawl, giống chuẩn của Googlebot.

Nếu tôi không làm gì thì sao? Mặc định, DuckDuckBot được phép crawl toàn bộ website, bạn không cần cấu hình thêm nếu muốn xuất hiện trên DuckDuckGo.

Làm sao kiểm tra DuckDuckBot có thật không hay ai đó giả mạo? Tra ngược IP qua DNS (nslookup hoặc host), hostname hợp lệ sẽ kết thúc bằng crawl.duckduckgo.com.

DuckDuckBot có ảnh hưởng đến tốc độ server không? Ít hơn Googlebot đáng kể vì tần suất crawl của DuckDuckGo thấp hơn. Với hosting shared entry-level, bạn gần như không cảm nhận được tải thêm.

Bài cập nhật tháng 6 năm 2025. Người viết làm web 8 năm cho agency và SMB Việt Nam, đã từng chặn nhầm DuckDuckBot và mất citation thực sự trước khi hiểu đúng cách phân biệt các loại bot.