img2dataset là gì và bạn có nên chặn bot này không? (2025)

img2dataset là một công cụ mã nguồn mở do Romain Beaumont phát triển, dùng để tải hàng loạt ảnh từ URL và đóng gói thành dataset cho việc huấn luyện mô hình AI. Nó không phải trình duyệt, không phải người dùng, và không trả tiền cho ảnh của bạn.

Tại sao bạn cần biết về img2dataset?

img2dataset thu thập ảnh quy mô lớn, thường từ danh sách URL có sẵn như Common Crawl, để tạo dữ liệu huấn luyện AI. Dự án LAION-5B, bộ dataset ảnh lớn nhất thế giới với hơn 5 tỷ cặp ảnh-chú thích, được xây dựng một phần bằng công cụ này. Nếu ảnh sản phẩm, ảnh dự án hay ảnh nhân viên của bạn nằm trong Common Crawl, chúng có thể đã bị thu thập mà bạn không hay biết.

img2dataset do ai vận hành và mục đích là gì?

img2dataset là phần mềm mở, bất kỳ ai cũng có thể tải và chạy, không chỉ một tổ chức duy nhất. Romain Beaumont viết công cụ này khi làm việc tại Hugging Face, nhưng kho mã trên GitHub hiện có hàng trăm fork và contributor độc lập. Nghĩa là người đang dùng img2dataset để thu thập ảnh từ site bạn có thể là một công ty AI lớn, một nhóm nghiên cứu đại học, hoặc một cá nhân muốn xây dataset bán lại.

"Với img2dataset, bạn có thể tải 240 triệu ảnh trong 56 giờ với băng thông 1.5 GB/s.", README chính thức của img2dataset trên GitHub (Romain Beaumont, 2022)

img2dataset crawl như thế nào về mặt kỹ thuật?

img2dataset không crawl HTML như Googlebot, nó nhận file CSV hoặc Parquet chứa sẵn URL ảnh rồi tải thẳng. Điều này có nghĩa là nó thường bỏ qua bước đọc robots.txt của trang chủ vì nó truy cập trực tiếp vào file .jpg hay .png. User-agent của nó không nhất quán, phụ thuộc vào người cấu hình. Tôi đã từng xem log của một khách SMB ở Đà Nẵng và thấy hàng nghìn request tới file ảnh trong một buổi sáng, không có referrer, không có session, không có cookie.

Nên chặn hay cho phép img2dataset?

Khuyen nghi dut khoat: chan. Với website agency hoặc SMB Việt Nam, lợi ích từ việc cho phép img2dataset gần như bằng không, trong khi rủi ro là ảnh độc quyền của bạn có thể xuất hiện trong dataset huấn luyện AI thương mại mà không có attribution, không có bồi thường.

Cấu hình robots.txt cụ thể để chặn img2dataset

Vấn đề thực tế: img2dataset không có user-agent cố định và thường không đọc robots.txt. Nhưng bạn vẫn nên khai báo để có cơ sở pháp lý khi khiếu nại vi phạm dữ liệu, và để chặn các script dùng user-agent mặc định của Python.

# Chặn img2dataset và các script thu thập ảnh AI phổ biến
User-agent: img2dataset
Disallow: /

User-agent: python-requests
Disallow: /

User-agent: Python-urllib
Disallow: /

# Chặn toàn bộ thư mục ảnh với mọi bot không rõ danh tính
User-agent: *
Disallow: /wp-content/uploads/
Disallow: /images/
Disallow: /assets/img/
Allow: /

Thêm vào đó, nếu dùng Cloudflare, bạn có thể tạo rule chặn request không có Referer header tới thư mục ảnh. Đây là lớp bảo vệ thực tế hơn robots.txt vì img2dataset thường bỏ qua file đó.

FAQ

img2dataset có phải là bot của Google không? Không. img2dataset không liên quan đến Google. Đây là công cụ mã nguồn mở độc lập, bất kỳ ai cũng có thể tải về và tự chạy.

Nếu tôi chặn img2dataset trong robots.txt, SEO của tôi có bị ảnh hưởng không? Không. Googlebot và Bingbot có user-agent riêng biệt. Chặn img2dataset không động đến việc Google index ảnh hay trang của bạn.

img2dataset có đọc robots.txt không? Thường là không. Công cụ này tải thẳng URL ảnh từ danh sách có sẵn, không qua bước crawl HTML hay kiểm tra robots.txt. Tuy nhiên, khai báo trong robots.txt vẫn có giá trị về mặt pháp lý.

Ảnh của tôi đã vào dataset LAION rồi thì làm gì được? LAION có trang yêu cầu gỡ dữ liệu tại laion.ai/dataset-requests. Bạn gửi URL ảnh và yêu cầu xóa khỏi index. Quá trình này chậm và không đảm bảo, nhưng đó là lựa chọn duy nhất hiện tại.

User-agent của img2dataset là gì để tôi chặn đúng? Không có user-agent cố định. Người dùng img2dataset tự cấu hình header, nên user-agent có thể là img2dataset, python-requests, hoặc bất cứ thứ gì họ đặt. Chặn theo thư mục ảnh và theo pattern request hiệu quả hơn chặn theo user-agent.

img2dataset có vi phạm bản quyền không? Đây là vùng xám pháp lý ở Việt Nam và quốc tế. Công cụ chỉ thu thập ảnh đã công khai, nhưng việc dùng ảnh đó để huấn luyện AI thương mại mà không xin phép đang bị kiện tại nhiều nơi trên thế giới, bao gồm vụ Getty Images kiện Stability AI năm 2023.

Bài viết dựa trên 8 năm làm web cho agency và SMB Việt Nam, đọc trực tiếp access log và thử nghiệm cấu hình robots.txt trên hơn 30 domain. Cập nhật tháng 6 năm 2025.