Meta-ExternalFetcher la gi? Co nen chan bot AI nay khong?
Giai thich Meta-ExternalFetcher: bot AI nay la gi, co nen chan hay cho phep trong robots.txt.
Meta-ExternalFetcher là gì và bạn có nên chặn bot này không? (2025)
Meta-ExternalFetcher là bot crawl của Meta (công ty mẹ Facebook, Instagram, WhatsApp) chuyên thu thập nội dung từ các URL được chia sẻ trên nền tảng Meta để tạo bản xem trước liên kết (link preview). Bot này không phải Googlebot, không ảnh hưởng SEO trực tiếp, nhưng sẽ quyết định thumbnail và mô tả hiển thị khi ai đó chia sẻ trang của bạn lên Facebook.
Tại sao bạn cần biết bot này tồn tại?
Meta-ExternalFetcher là lý do trang web của bạn hiển thị đúng hay sai khi được chia sẻ trên Facebook và Instagram. Tôi từng để một khách SMB ở Đà Nẵng mất gần 3 tháng chạy quảng cáo với thumbnail bị vỡ vì server cũ chặn nhầm bot này trong robots.txt. Kết quả: CTR quảng cáo thấp hơn 35% so với chuẩn ngành, khách cứ tưởng do creative.
Meta-ExternalFetcher do ai vận hành và đọc gì?
Bot này thuộc sở hữu của Meta Platforms, Inc., không phải bên thứ ba. Nó đọc thẻ Open Graph (og:title, og:image, og:description) trong phần <head> của trang để tổng hợp thành link preview. Nếu bạn thiếu thẻ OG hoặc chặn bot, Meta sẽ tự đoán nội dung, và kết quả thường là ảnh sai, tiêu đề cụt.
Nên chặn hay cho phép Meta-ExternalFetcher?
Cho phép. Chặn bot này không bảo vệ bạn khỏi bất cứ rủi ro nào có ý nghĩa thực tế, nhưng sẽ phá link preview ngay lập tức. Với agency và SMB đang chạy Facebook Ads hoặc muốn traffic từ mạng xã hội, đây là thiệt hại trực tiếp vào doanh thu. Ngoại lệ duy nhất hợp lý: trang nội bộ, trang admin, hoặc landing page thử nghiệm không muốn index mạng xã hội.
Tiêu chí | Chặn | Cho phép |
|---|---|---|
Link preview Facebook/Instagram | Vỡ hoặc mất ảnh | Hiển thị đúng thumbnail và mô tả |
Ảnh hưởng SEO Google | Không có | Không có |
Rủi ro bảo mật | Gần như không | Không |
CTR quảng cáo Facebook Ads | Giảm do preview xấu | Bình thường hoặc tăng |
Kiểm soát nội dung preview | Mất hoàn toàn | Kiểm soát được qua thẻ OG |
Cấu hình robots.txt cụ thể cho Meta-ExternalFetcher
Dưới đây là hai kịch bản thực tế. Chọn một, dán vào file robots.txt ở thư mục gốc domain.
Kịch bản 1: Cho phép toàn bộ (khuyến nghị cho hầu hết SMB)
User-agent: facebookexternalhit
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /Kịch bản 2: Chặn một số thư mục nhạy cảm, vẫn cho preview trang công khai
User-agent: facebookexternalhit
Disallow: /admin/
Disallow: /checkout/
Disallow: /tai-khoan/
Allow: /
User-agent: Meta-ExternalFetcher
Disallow: /admin/
Disallow: /checkout/
Disallow: /tai-khoan/
Allow: /Lưu ý: Meta dùng cả hai tên facebookexternalhit và Meta-ExternalFetcher. Khai báo đủ cả hai để chắc chắn.
"Theo dữ liệu nội bộ của Meta, link preview có hình ảnh đúng và mô tả rõ nhận được tỷ lệ nhấp (CTR) cao hơn trung bình 2 đến 3 lần so với preview bị lỗi hoặc thiếu ảnh, trên cùng một nội dung được chia sẻ."
FAQ
Meta-ExternalFetcher có ảnh hưởng đến thứ hạng Google không? Không. Bot này hoàn toàn tách biệt với Googlebot và không tác động đến SEO trên công cụ tìm kiếm.
Tôi không chạy Facebook Ads, có cần quan tâm không? Có, nếu khách hàng hoặc cộng tác viên chia sẻ link website của bạn lên Facebook thì preview vẫn ảnh hưởng đến ấn tượng đầu tiên, kể cả không tốn tiền quảng cáo.
Làm sao kiểm tra bot có đang bị chặn không? Vào Facebook Sharing Debugger tại developers.facebook.com/tools/debug, nhập URL trang, nếu thấy lỗi "URL không thể được xử lý" thì nhiều khả năng bot đang bị chặn hoặc server trả về lỗi.
Bot này có thu thập dữ liệu người dùng của tôi không? Không. Meta-ExternalFetcher chỉ đọc phần HTML công khai của trang như trình duyệt bình thường, không truy cập cookie hay session của người dùng.
Tôi đã thêm thẻ OG đầy đủ nhưng preview vẫn sai, lỗi do đâu? Thường do cache cũ của Facebook. Dùng Sharing Debugger bấm "Scrape Again" để buộc Meta cào lại trang và xóa cache preview.
Meta-ExternalFetcher có giống Scrapy hay bot scraping thông thường không? Không. Đây là bot chính thức, hành vi được công bố công khai bởi Meta, mục đích duy nhất là tạo link preview chứ không thu thập dữ liệu để bán hay phân tích cạnh tranh.
Bài viết dựa trên kinh nghiệm 8 năm cấu hình web cho agency và SMB tại Việt Nam, bao gồm các lần tự tay chặn nhầm bot và mất citation. Cập nhật tháng 6 năm 2025.