Các loại bot website: Phân loại, bot nên chặn và bot nên giữ

Các loại bot website là những chương trình tự động truy cập và tương tác với website, được phân thành nhiều nhóm theo mục đích hoạt động: bot công cụ tìm kiếm, bot AI và GEO, bot công cụ SEO, bot mạng xã hội, bot giám sát, bot cào dữ liệu và bot độc hại. Nhận diện đúng từng nhóm giúp người quản trị biết bot nào nên giữ để phục vụ SEO cùng độ hiển thị trên các công cụ AI, và bot nào nên chặn để bảo vệ tài nguyên máy chủ. Bot chiếm một tỷ trọng lớn trong tổng lưu lượng truy cập web, nên quản lý sai có thể vừa gây lãng phí hạ tầng, vừa làm mất cơ hội xuất hiện trên kết quả tìm kiếm và câu trả lời AI.

Cập nhật: 08/2026

• Nên giữ: bot công cụ tìm kiếm (Googlebot, Bingbot, Cốc Cốc) và bot AI/GEO (GPTBot, ClaudeBot, PerplexityBot) vì phục vụ SEO và GEO.
• Cân nhắc: bot công cụ SEO và bot giám sát uptime, chỉ giữ những công cụ doanh nghiệp thực sự dùng.
• Nên chặn: scraper hung hãn như Bytespider và bot độc hại (dò lỗ hổng, brute-force, spam, DDoS).

Bot website là gì?

Bot website là phần mềm tự động gửi yêu cầu đến máy chủ và tương tác với nội dung website mà không cần thao tác trực tiếp của con người. Bot có thể đọc trang, thu thập dữ liệu, kiểm tra tình trạng hoạt động, tạo bản xem trước liên kết hoặc thực hiện các hành vi tấn công. Điểm chung là chúng hoạt động theo kịch bản lập trình sẵn, với tốc độ và quy mô vượt xa người dùng thông thường.

Bot thường được chia thành hai nhóm lớn: bot tốt và bot xấu. Bot tốt tuân thủ khai báo trong robots.txt, khai báo danh tính trung thực qua User-Agent và mang lại lợi ích rõ ràng, ví dụ đưa website vào chỉ mục tìm kiếm hay giúp thương hiệu xuất hiện trong câu trả lời AI. Bot xấu che giấu hoặc giả mạo danh tính, phớt lờ robots.txt và nhắm tới việc cào nội dung, dò lỗ hổng hoặc gây quá tải hệ thống.

Về tỷ trọng, bot chiếm một phần đáng kể trong tổng lưu lượng truy cập của nhiều website, trong một số trường hợp ngang bằng hoặc vượt lưu lượng từ người dùng thật. Con số phần trăm cụ thể phụ thuộc vào từng website và cần đo trực tiếp trên log máy chủ. Phần dưới đây trình bày một ví dụ đo thực tế từ hệ thống website do TOS quản lý, để thấy rõ bot có thể chiếm bao nhiêu lưu lượng.

Dữ liệu thực tế: bot chiếm bao nhiêu lưu lượng?

Theo dữ liệu TOS quan sát trên một hệ thống website đang vận hành (8/2026), bot chiếm tỷ trọng rất lớn trong lưu lượng: tổng lưu lượng khoảng 213.000 request mỗi ngày, trong đó riêng Bytespider (crawler của ByteDance) tạo khoảng 428.000 request trong 15 ngày, tức khoảng 28.000 request mỗi ngày và chiếm tới khoảng 13% tổng số request mà gần như không mang lại lượt truy cập thực nào. Bảng dưới đây liệt kê một số bot tiêu biểu ghi nhận được trong khoảng 15 ngày:

Số liệu trên cho thấy bot chiếm phần lớn lưu lượng, và một crawler đơn lẻ như Bytespider có thể chiếm tới khoảng 13% tổng số request mà gần như không đem lại lượt truy cập thực. Đây chính là minh chứng vì sao cần phân loại và quản lý bot: giữ lại nhóm AI crawler cùng bot công cụ tìm kiếm có lợi cho GEO và SEO, đồng thời chặn những scraper ngốn tài nguyên như Bytespider. Vì cơ cấu bot khác nhau ở mỗi hệ thống, mỗi website nên tự đo trên log của chính mình thay vì áp một con số cố định.

Vì sao cần phân loại và quản lý bot website?

Phân loại và quản lý bot là cần thiết vì bot vừa có thể là tài sản, vừa có thể là gánh nặng cho website, tùy vào việc chúng thuộc nhóm nào. Quản lý bot đúng cách giúp cân bằng ba mục tiêu: tiết kiệm tài nguyên máy chủ, bảo vệ an ninh và giữ lại những bot có lợi cho khả năng hiển thị của website.

Về tài nguyên và tốc độ, mỗi lượt bot truy cập đều tiêu tốn băng thông, CPU và bộ nhớ máy chủ. Các scraper hung hãn gửi hàng loạt yêu cầu dồn dập có thể làm chậm website, đội chi phí hạ tầng và ảnh hưởng trải nghiệm của người dùng thật. Điều tiết đúng nhóm bot này giúp giữ ổn định hiệu năng.

Về bảo mật, nhiều bot được thiết kế để dò quét lỗ hổng, thử đăng nhập trái phép hoặc phát tán spam. Nhận diện và chặn sớm các bot này giảm nguy cơ bị tấn công và rò rỉ dữ liệu.

Quan trọng không kém, việc phân loại giúp tránh chặn nhầm bot có lợi. Chặn nhầm Googlebot có thể khiến trang rớt khỏi chỉ mục và mất thứ hạng; chặn nhầm bot AI như GPTBot hay PerplexityBot có thể làm thương hiệu biến mất khỏi câu trả lời của các công cụ AI, tức là đánh mất cơ hội GEO. Vì vậy, quản lý bot không chỉ là chặn, mà là quyết định giữ hay chặn dựa trên giá trị của từng nhóm.

Các loại bot website phổ biến

Các loại bot website phổ biến có thể được sắp xếp thành bảy nhóm chính theo mục đích và mức độ có lợi hay có hại. Bảng dưới đây tổng hợp các nhóm bot, ví dụ tiêu biểu, mục đích hoạt động và khuyến nghị nên giữ hay nên chặn, trước khi đi vào chi tiết từng nhóm.

Bot công cụ tìm kiếm (Search engine crawler)

Bot công cụ tìm kiếm là nhóm bot thu thập nội dung website để đưa vào chỉ mục và xếp hạng trên trang kết quả tìm kiếm. Các đại diện quen thuộc gồm Googlebot của Google, Bingbot của Bing, bot của Cốc Cốc, YandexBot của Yandex và Baiduspider của Baidu. Đây là nhóm nền tảng của SEO, vì nếu bot không thu thập được trang thì trang không thể xuất hiện trên kết quả tìm kiếm.

Nguyên tắc chung là giữ và tạo điều kiện cho nhóm bot này hoạt động, tuyệt đối không chặn. Chỉ nên điều tiết tần suất thu thập trong trường hợp máy chủ quá tải, thông qua cấu hình tốc độ crawl thay vì chặn hoàn toàn. Người quản trị cũng nên đảm bảo robots.txt và thẻ điều hướng không vô tình ngăn các bot này truy cập những trang cần được lập chỉ mục.

Bot AI và GEO (AI crawler)

Bot AI và GEO là các bot do những nền tảng trí tuệ nhân tạo vận hành để đọc nội dung website phục vụ cho câu trả lời của mô hình. Nhóm này gồm GPTBot, ChatGPT-User và OAI-SearchBot của OpenAI, ClaudeBot của Anthropic, PerplexityBot của Perplexity, Google-Extended của Google, Applebot của Apple, Meta-ExternalAgent của Meta và CCBot của Common Crawl. Trong bối cảnh tìm kiếm dịch chuyển sang câu trả lời AI, giữ lại nhóm bot này giúp thương hiệu có cơ hội được trích dẫn, đây chính là mục tiêu của GEO và AIO. Xem danh sách đầy đủ AI bot (AI crawler) và thứ tự ưu tiên để biết nên ưu tiên cho phép bot nào trước.

Cần phân biệt hai loại trong nhóm này. Bot huấn luyện, như GPTBot, CCBot và Google-Extended, thu thập nội dung để phục vụ huấn luyện hoặc làm giàu dữ liệu cho mô hình. Bot trả lời thời gian thực, như ChatGPT-User, OAI-SearchBot và PerplexityBot, truy cập trang ngay khi người dùng đặt câu hỏi để tổng hợp câu trả lời có trích dẫn. Doanh nghiệp muốn bảo vệ nội dung khỏi việc dùng để huấn luyện có thể chọn opt-out riêng nhóm bot huấn luyện, trong khi vẫn giữ nhóm bot trả lời thời gian thực để không đánh mất khả năng xuất hiện trong các câu trả lời AI.

Bot công cụ SEO (SEO tool bot)

Bot công cụ SEO là các bot của những nền tảng phân tích SEO, chuyên thu thập dữ liệu về backlink, từ khóa và hồ sơ đối thủ. Các đại diện phổ biến gồm AhrefsBot, SemrushBot, MJ12bot và DotBot. Nhóm này không trực tiếp mang lại lưu lượng tìm kiếm, mà phục vụ việc phân tích và nghiên cứu thị trường.

Khuyến nghị với nhóm này là tùy nhu cầu: giữ lại bot của những công cụ mà doanh nghiệp đang sử dụng để dữ liệu được cập nhật, và cân nhắc chặn những bot của công cụ không dùng đến nhằm giảm tải máy chủ. Việc lựa chọn phụ thuộc vào bộ công cụ SEO mà đội ngũ đang triển khai. Chẳng hạn, nếu doanh nghiệp theo dõi đối thủ bằng nền tảng của SemrushBot, có thể tham khảo cách khai thác dữ liệu qua hướng dẫn công cụ phân tích website đối thủ với Semrush trước khi quyết định giữ hay chặn.

Bot mạng xã hội và xem trước liên kết

Bot mạng xã hội là các bot lấy thông tin trang để tạo bản xem trước khi một liên kết được chia sẻ trên nền tảng mạng xã hội hoặc ứng dụng nhắn tin. Đại diện gồm facebookexternalhit của Facebook, Twitterbot của X, bot của Zalo và Slackbot của Slack. Chúng đọc thẻ tiêu đề, mô tả và ảnh đại diện để dựng khối xem trước hiển thị đẹp mắt.

Nhóm bot này nên được giữ lại, vì chặn chúng sẽ khiến liên kết chia sẻ mất tiêu đề, mô tả hoặc hình ảnh, làm giảm tỷ lệ nhấp từ mạng xã hội. Đây là nhóm bot có lợi cho việc phân phối nội dung và không gây rủi ro bảo mật đáng kể.

Bot giám sát và uptime

Bot giám sát và uptime là các bot định kỳ gửi yêu cầu để kiểm tra website còn hoạt động hay không và đo thời gian phản hồi. Các dịch vụ phổ biến gồm UptimeRobot, Pingdom và StatusCake. Chúng thường truy cập theo chu kỳ ngắn và tạo lưu lượng nhỏ, đều đặn.

Nếu doanh nghiệp đang chủ động dùng các dịch vụ giám sát này, nên giữ lại để nhận cảnh báo kịp thời khi website gặp sự cố. Ngược lại, nếu phát hiện bot giám sát lạ không thuộc dịch vụ nào đang dùng, có thể xem xét chặn để loại bớt lưu lượng không cần thiết.

Bot cào dữ liệu và crawler hung hãn (scraper)

Bot cào dữ liệu là các scraper truy cập với tần suất cao để sao chép nội dung, hình ảnh hoặc dữ liệu sản phẩm, thường không mang lại lợi ích cho website bị cào. Một ví dụ được nhắc đến nhiều là Bytespider của ByteDance, bên cạnh nhiều scraper giả mạo User-Agent để né bị nhận diện. Nhóm này có thể chiếm một phần đáng kể, thậm chí hàng chục phần trăm số yêu cầu, mà không đem lại lượt truy cập nào, đồng thời còn tạo nguy cơ nội dung bị sao chép.

Khuyến nghị với nhóm này là nên chặn, đặc biệt khi phát hiện chúng gây tải nặng lên máy chủ. Tỷ lệ và mức độ ảnh hưởng cụ thể của từng scraper cần được quan sát trên log của chính website, thay vì áp một con số cố định. Khi chặn, nên kết hợp nhiều lớp phòng vệ vì các scraper thường xuyên đổi User-Agent và địa chỉ IP để lách.

Bot độc hại

Bot độc hại là nhóm bot được lập trình để tấn công hoặc trục lợi từ website. Nhóm này bao gồm bot dò quét lỗ hổng bảo mật, bot brute-force và nhồi thông tin đăng nhập (credential stuffing), bot spam bình luận và biểu mẫu, cùng bot tham gia tấn công từ chối dịch vụ (DDoS). Chúng không mang lại bất kỳ giá trị nào và trực tiếp đe dọa an ninh cũng như tính ổn định của hệ thống.

Với nhóm bot độc hại, khuyến nghị là chặn dứt khoát bằng mọi biện pháp sẵn có, từ tường lửa ứng dụng web đến giới hạn tần suất và danh sách chặn địa chỉ IP. Đây là nhóm duy nhất mà việc chặn không kèm bất kỳ đánh đổi nào về SEO hay GEO.

Bot nào nên chặn, bot nào nên giữ?

Nguyên tắc cốt lõi khi quyết định giữ hay chặn là: không bao giờ chặn bot công cụ tìm kiếm và bot AI phục vụ GEO, chặn dứt khoát scraper hung hãn và bot độc hại, còn nhóm công cụ SEO và giám sát thì cân nhắc theo nhu cầu sử dụng. Bảng quyết định dưới đây tóm tắt khuyến nghị và lý do cho từng nhóm bot.

Điểm mấu chốt cần nhớ là chặn bot không phải lúc nào cũng an toàn. Một quyết định chặn quá tay có thể xóa website khỏi cả kết quả tìm kiếm truyền thống lẫn câu trả lời AI. Vì vậy, danh sách chặn nên được rà soát định kỳ và luôn ưu tiên bảo vệ nhóm bot mang lại hiển thị.

Cách quản lý và chặn bot hiệu quả

Quản lý bot hiệu quả đòi hỏi kết hợp nhiều lớp biện pháp thay vì dựa vào một kỹ thuật duy nhất, vì mỗi phương án chỉ giải quyết một phần của vấn đề. Các phương án phổ biến được trình bày dưới đây theo thứ tự từ khai báo mềm đến chặn cứng.

Khai báo bằng robots.txt

Robots.txt là tệp khai báo cho bot biết những khu vực nào được phép hoặc không được phép thu thập. Đây là công cụ hữu ích để điều tiết bot uy tín, ví dụ chặn thu mục quản trị hoặc cấu hình tùy chọn Google-Extended cho nội dung AI. Tuy nhiên, robots.txt chỉ mang tính tự nguyện: bot xấu hoàn toàn có thể phớt lờ, nên đây không phải biện pháp để chặn scraper hay bot độc hại.

Chặn theo User-Agent tại web server hoặc WAF

Chặn theo User-Agent tại máy chủ web như Nginx hoặc Apache, hoặc tại tường lửa ứng dụng web (WAF) và các nền tảng như Cloudflare, cho phép từ chối những bot khai báo danh tính không mong muốn. Cách này chặn được nhiều scraper khai báo User-Agent cố định. Hạn chế là User-Agent có thể bị giả mạo, nên chỉ dựa vào tiêu chí này là chưa đủ với bot cố tình che giấu danh tính.

Giới hạn tần suất truy cập (rate-limit)

Rate-limit giới hạn số yêu cầu mà một địa chỉ IP hoặc một nguồn được phép gửi trong một khoảng thời gian. Biện pháp này đặc biệt hiệu quả với scraper hung hãn và bot brute-force, vì nó cắt giảm khả năng gửi yêu cầu dồn dập mà không cần biết chính xác danh tính bot. Rate-limit giúp bảo vệ hiệu năng máy chủ ngay cả khi User-Agent bị giả mạo.

Xác minh bot thật bằng reverse DNS

Vì User-Agent dễ bị giả mạo, việc xác minh bot thật nên dựa vào reverse DNS kết hợp tra cứu xuôi để đối chiếu địa chỉ IP với tên miền chính thức của nhà cung cấp. Ví dụ, một truy cập tự nhận là Googlebot chỉ đáng tin khi IP của nó tra ngược về tên miền của Google. Cách xác minh này giúp phân biệt bot thật với bot mạo danh, từ đó tránh chặn nhầm bot có lợi và chặn đúng bot giả mạo.

Thẻ meta robots và X-Robots-Tag

Thẻ meta robots và tiêu đề HTTP X-Robots-Tag kiểm soát việc một trang có được lập chỉ mục hay theo dõi liên kết hay không. Đây không phải công cụ chặn truy cập, mà là cách điều hướng hành vi lập chỉ mục của bot tuân thủ quy tắc. Chúng hữu ích để giữ những trang không cần xuất hiện trên kết quả tìm kiếm ra khỏi chỉ mục, mà không ảnh hưởng đến việc bot đọc trang.

Tổng hợp lại, chỉ chặn theo User-Agent là chưa đủ vì danh tính này giả mạo được. Một chiến lược bền vững nên phối hợp xác minh danh tính bằng reverse DNS, giới hạn tần suất và tường lửa ứng dụng web, đồng thời theo dõi thường xuyên trong Google Search Console để phát hiện sớm nếu bot công cụ tìm kiếm gặp trở ngại khi thu thập.

Những sai lầm thường gặp khi quản lý bot

Nhiều sự cố về hiển thị và hiệu năng bắt nguồn từ những sai lầm phổ biến trong cách quản lý bot. Nhận diện trước các lỗi này giúp tránh hậu quả tốn kém về SEO và GEO.

• Chặn nhầm Googlebot hoặc bot AI: vô tình chặn bot công cụ tìm kiếm khiến trang rớt khỏi chỉ mục, còn chặn nhầm bot AI làm mất cơ hội xuất hiện trong câu trả lời của các công cụ AI.
• Chỉ dựa vào User-Agent: tin tưởng hoàn toàn vào chuỗi User-Agent dẫn đến vừa bỏ lọt bot giả mạo, vừa dễ chặn nhầm bot thật khi cấu hình quy tắc thiếu chính xác.
• Cấu hình robots.txt sai: một dòng Disallow đặt nhầm có thể chặn cả những thư mục chứa nội dung quan trọng, khiến chúng không được thu thập và lập chỉ mục.
• Không giám sát log máy chủ: bỏ qua việc đọc log khiến người quản trị không phát hiện được scraper hung hãn hay bot lạ đang tiêu tốn tài nguyên.
• Không áp dụng rate-limit: thiếu giới hạn tần suất khiến máy chủ dễ bị quá tải khi gặp scraper hoặc đợt tấn công gửi yêu cầu dồn dập.

Kết luận

Hiểu rõ các loại bot website là bước đầu để quản lý lưu lượng tự động một cách có chủ đích thay vì chặn hay thả một cách cảm tính. Bảy nhóm bot phổ biến, từ bot công cụ tìm kiếm, bot AI và GEO, bot công cụ SEO, bot mạng xã hội, bot giám sát, đến scraper và bot độc hại, đòi hỏi những cách ứng xử khác nhau. Nguyên tắc xuyên suốt là giữ lại nhóm bot mang lại hiển thị trên tìm kiếm và câu trả lời AI, chặn dứt khoát scraper hung hãn cùng bot độc hại, và cân nhắc nhóm công cụ theo nhu cầu thực tế. Do danh tính bot có thể bị giả mạo, việc quản lý cần kết hợp nhiều lớp: khai báo robots.txt, chặn tại web server hoặc WAF, giới hạn tần suất, xác minh bằng reverse DNS và giám sát log thường xuyên. Cách tiếp cận nhiều lớp này vừa bảo vệ tài nguyên và an ninh, vừa giữ trọn cơ hội SEO và GEO cho website.

Câu hỏi thường gặp

Bot chiếm bao nhiêu phần trăm lưu lượng website?

Theo quan sát của TOS, bot thường chiếm phần lớn lưu lượng của một website, nhiều khi ngang bằng hoặc vượt lượng truy cập từ người dùng thật. Trên một hệ thống website TOS đang vận hành (8/2026), riêng crawler Bytespider của ByteDance đã chiếm khoảng 13% tổng số request mà gần như không mang lại lượt truy cập thực nào. Tỷ lệ cụ thể thay đổi theo từng website, ngành và thời điểm, nên doanh nghiệp nên tự đo trực tiếp trên log máy chủ hoặc công cụ phân tích của chính mình thay vì áp một con số cố định.

Có nên chặn các bot AI như GPTBot, ClaudeBot không?

Trong đa số trường hợp, không nên chặn các bot AI có ích cho độ hiển thị thương hiệu như GPTBot, ClaudeBot, PerplexityBot hay Google-Extended. Đây là các bot giúp nội dung được trích dẫn trong câu trả lời của công cụ AI, tức là nền tảng của GEO. Nếu doanh nghiệp muốn bảo vệ nội dung khỏi việc dùng để huấn luyện mô hình, có thể chọn chặn riêng nhóm bot huấn luyện mà vẫn giữ nhóm bot trả lời thời gian thực.

Chặn bot bằng robots.txt có đủ không?

Không. Robots.txt chỉ là khai báo mang tính tự nguyện, được các bot uy tín như Googlebot hay Bingbot tuân thủ, nhưng bot xấu hoàn toàn có thể bỏ qua. Để chặn thực sự các scraper hung hãn và bot độc hại, cần kết hợp chặn tại web server hoặc tường lửa ứng dụng web (WAF), giới hạn tần suất truy cập (rate-limit) và xác minh danh tính bot. Robots.txt phù hợp để điều tiết bot tốt, không phải để ngăn bot cố tình vi phạm.

Làm sao phân biệt bot thật và bot giả mạo?

Cách đáng tin cậy nhất là xác minh bằng reverse DNS thay vì chỉ tin vào chuỗi User-Agent, vì User-Agent có thể bị giả mạo dễ dàng. Với Googlebot, có thể tra ngược địa chỉ IP về tên miền của Google rồi tra xuôi lại để đối chiếu. Nhiều nhà cung cấp bot lớn cũng công bố dải IP chính thức để so khớp. Nếu một truy cập tự nhận là Googlebot nhưng IP không thuộc Google, đó là bot giả mạo.

Chặn Bytespider có ảnh hưởng đến SEO không?

Chặn Bytespider thường không ảnh hưởng tiêu cực đến thứ hạng trên Google, vì đây là bot của ByteDance, không phải bot của công cụ tìm kiếm mà website dựa vào để index. Bytespider chủ yếu cào dữ liệu và có thể ngốn nhiều tài nguyên máy chủ mà không mang lại lưu lượng truy cập. Điều cần thận trọng là phân biệt rõ Bytespider với các bot công cụ tìm kiếm và bot AI hữu ích, để tránh chặn nhầm và làm mất cơ hội SEO hoặc GEO.

Quản lý bot và tối ưu SEO, GEO cùng TOS

Quản lý bot đúng cách là một phần trong bức tranh SEO kỹ thuật và GEO tổng thể, nơi việc giữ đúng bot có lợi và chặn đúng bot có hại quyết định cả hiệu năng lẫn khả năng hiển thị. TOS – Premium SEO Performance cung cấp dịch vụ kiểm toán và quản lý bot, crawler kết hợp tối ưu SEO và GEO, giúp website vừa an toàn vừa hiện diện tốt trên tìm kiếm và câu trả lời AI. Doanh nghiệp có thể tham khảo dịch vụ SEO tổng thể của TOS để được tư vấn lộ trình phù hợp với hiện trạng website.

Chia sẻ Facebook Chia sẻ Google Chia sẻ Instagram