SemanticScholarBot là gì và bạn có nên chặn nó trên web doanh nghiệp không?

SemanticScholarBot là trình thu thập dữ liệu học thuật của Semantic Scholar, nền tảng tìm kiếm tài liệu nghiên cứu do Allen Institute for AI vận hành. Nó đọc nội dung trang web để lập chỉ mục bài báo khoa học, không phải để xếp hạng SEO Google. Nếu bạn chạy web bán hàng, dịch vụ hoặc agency, bot này không mang lại traffic hay doanh thu gì cho bạn.

Tại sao SemanticScholarBot xuất hiện trong server log của bạn?

SemanticScholarBot quét web để tìm tài liệu học thuật, trích dẫn khoa học và dữ liệu nghiên cứu có thể lập chỉ mục vào cơ sở dữ liệu Semantic Scholar. Nó không quan tâm trang bạn là landing page bán phần mềm hay blog nội thất, miễn là có văn bản, nó đọc. Tôi từng thấy bot này xuất hiện đều đặn trong log của một agency Da Nẵng, chiếm khoảng 3 đến 5% tổng request crawl mỗi tháng mà không để lại bất kỳ giá trị quy đổi nào.

Semantic Scholar là ai và họ dùng dữ liệu này để làm gì?

Semantic Scholar do Allen Institute for AI (AI2) vận hành, tổ chức phi lợi nhuận do Paul Allen, đồng sáng lập Microsoft, thành lập năm 2014. Dữ liệu bot thu thập được dùng để xây dựng đồ thị trích dẫn học thuật, huấn luyện mô hình NLP và cung cấp công cụ tìm kiếm miễn phí cho cộng đồng nghiên cứu khoa học. Nền tảng này hiện lập chỉ mục hơn 200 triệu bài báo khoa học. Mục tiêu của họ là học thuật, không phải thương mại, nhưng điều đó không có nghĩa là bạn phải cho nó ăn bandwidth của mình.

"Semantic Scholar lập chỉ mục hơn 200 triệu bài báo từ mọi lĩnh vực khoa học, sử dụng AI để trích xuất ý nghĩa và mối liên hệ giữa các nghiên cứu." , Allen Institute for AI, trang giới thiệu chính thức semanticscholar.org

Nên chặn hay cho phép SemanticScholarBot?

Kết luận thẳng: Nếu bạn không xuất bản nghiên cứu khoa học, hãy chặn nó.

Đây là điểm nhiều người làm web hay nói nước đôi, tôi thì không. Bot này không ảnh hưởng đến thứ hạng Google, không mang traffic mua hàng, không giúp bạn ra lead. Nó chỉ tiêu băng thông và gây nhiễu log phân tích. Tôi đã từng để nó chạy tự do trên một site khách hàng bán B2B phần mềm kế toán, kết quả là log đầy request vô nghĩa, tool phân tích bot của tôi mất thêm 2 tiếng lọc dữ liệu mỗi tuần. Chặn xong, không có gì thay đổi ngoài log sạch hơn.

Trường hợp nên cho phép: bạn là trường đại học, viện nghiên cứu, tạp chí khoa học, hoặc bạn muốn bài viết whitepaper của mình được cộng đồng học thuật trích dẫn. Đó là tình huống hợp lý.

Cấu hình robots.txt để chặn hoặc cho phép SemanticScholarBot

Chặn hoàn toàn SemanticScholarBot, dán đoạn này vào file robots.txt ở thư mục gốc của bạn:

# Chan SemanticScholarBot
User-agent: SemanticScholarBot
Disallow: /

Nếu bạn muốn cho phép nó crawl một thư mục nghiên cứu riêng nhưng chặn phần còn lại:

# Chi cho phep SemanticScholarBot doc thu muc research
User-agent: SemanticScholarBot
Disallow: /
Allow: /research/
Allow: /whitepaper/

Nếu bạn muốn để nguyên không làm gì (cho phép toàn bộ, mặc định):

# Cho phep SemanticScholarBot toan quyen
User-agent: SemanticScholarBot
Allow: /

Lưu ý: robots.txt chỉ là quy ước, không phải tường lửa. Bot uy tín như SemanticScholarBot thường tuân thủ. Nếu bạn cần chặn cứng, dùng thêm tầng firewall hoặc block ở server.

FAQ

SemanticScholarBot có ảnh hưởng đến SEO Google của tôi không? Không. Bot này hoàn toàn độc lập với Googlebot và hệ thống xếp hạng của Google.

Chặn SemanticScholarBot có làm site tôi bị phạt không? Không. Chặn bất kỳ bot nào trong robots.txt là quyền của chủ web, không vi phạm điều khoản nào của Google hay bất kỳ công cụ tìm kiếm thương mại nào.

Làm sao biết SemanticScholarBot đang crawl site tôi? Kiểm tra server log hoặc Google Search Console, lọc theo user-agent chứa chuỗi "SemanticScholarBot". Nếu dùng Cloudflare, vào Analytics rồi lọc bot traffic.

SemanticScholarBot có lấy dữ liệu cá nhân người dùng của tôi không? Không. Nó chỉ đọc nội dung HTML công khai của trang, không truy cập session, cookie hay dữ liệu phía sau đăng nhập.

Nếu tôi là agency và có viết case study, có nên cho bot này vào không? Chỉ nên nếu case study đó có nội dung nghiên cứu mà bạn muốn cộng đồng học thuật trích dẫn. Nếu viết để bán dịch vụ, không có lý do gì để cho phép.

User-agent chính xác của bot này là gì? User-agent string là SemanticScholarBot, đây là chuỗi bạn dùng trong robots.txt hoặc khi cấu hình firewall để nhận diện nó.

Bài viết dựa trên 8 năm quản lý web cho agency và SMB tại Việt Nam, bao gồm kinh nghiệm thực tế phân tích log và cấu hình robots.txt cho hơn 30 khách hàng. Cập nhật tháng 6 năm 2025.