Trong kỷ nguyên tìm kiếm AI, việc website của bạn có được ChatGPT, Gemini hay Perplexity “đọc” và trích dẫn hay không phụ thuộc trực tiếp vào một thứ tưởng chừng đơn giản: file robots.txt có cho phép các bot AI (AI crawler) truy cập hay không. Bài viết này liệt kê đầy đủ các bot quan trọng — cả nhóm bot AI lẫn họ Googlebot & các search engine — giải thích từng con, và hướng dẫn cách mở robots.txt để tăng AI Visibility cho website.
AI crawler là các bot tự động do những công ty AI vận hành để thu thập nội dung web — phục vụ huấn luyện mô hình, lập chỉ mục cho tính năng tìm kiếm AI, hoặc trả lời câu hỏi của người dùng theo thời gian thực. Khác với Googlebot truyền thống (phục vụ xếp hạng tìm kiếm), bot AI quyết định việc thương hiệu của bạn có xuất hiện trong câu trả lời của các trợ lý AI hay không. Nếu bạn chặn chúng trong robots.txt, AI đơn giản là không có dữ liệu về bạn.
Dưới đây là danh sách các crawler quan trọng, chia thành hai nhóm: bot AI (quyết định bạn có được LLM & trợ lý AI trích dẫn không) và bot tìm kiếm (họ Googlebot và các search engine, quyết định thứ hạng truyền thống).
| Bot (User-agent) | Thuộc về | Vai trò |
|---|---|---|
| GPTBot | OpenAI | Thu thập dữ liệu huấn luyện ChatGPT / GPT |
| OAI-SearchBot | OpenAI | Lập chỉ mục cho tìm kiếm trong ChatGPT |
| ChatGPT-User | OpenAI | Truy cập trang khi người dùng yêu cầu |
| ClaudeBot | Anthropic | Thu thập dữ liệu cho Claude |
| Claude-User / Claude-SearchBot | Anthropic | Truy cập real-time phục vụ Claude |
| anthropic-ai | Anthropic | Định danh crawler cũ của Anthropic |
| PerplexityBot | Perplexity | Lập chỉ mục & trích dẫn nguồn |
| Perplexity-User | Perplexity | Truy cập real-time theo câu hỏi |
| Google-Extended | Cho phép Gemini & AI Overviews dùng nội dung | |
| Applebot-Extended | Apple | Cho phép Apple Intelligence dùng nội dung |
| meta-externalagent | Meta | Thu thập cho Meta AI / Llama |
| Amazonbot | Amazon | Alexa & các sản phẩm AI của Amazon |
| Bytespider | ByteDance | TikTok & trợ lý AI Doubao |
| CCBot | Common Crawl | Bộ dữ liệu web mở — nguồn huấn luyện nhiều LLM |
| cohere-ai | Cohere | Huấn luyện mô hình Cohere |
| YouBot | You.com | Trợ lý tìm kiếm AI You.com |
| DuckAssistBot | DuckDuckGo | Tính năng DuckAssist AI |
| PetalBot | Huawei (Petal) | Petal Search & AI |
| Diffbot | Diffbot | Trích xuất dữ liệu có cấu trúc cho AI |
| Timpibot / Kangaroo Bot / Omgilibot | Khác | Thu thập dữ liệu cho các tập/mô hình AI |
| Bot (User-agent) | Thuộc về | Vai trò |
|---|---|---|
| Googlebot | Crawler chính — xếp hạng tìm kiếm Google (quan trọng nhất) | |
| Googlebot-Image | Lập chỉ mục hình ảnh (Google Images) | |
| Googlebot-News | Google News | |
| Googlebot-Video | Lập chỉ mục video | |
| GoogleOther | Thu thập cho nghiên cứu & sản phẩm nội bộ | |
| Google-InspectionTool | Công cụ kiểm tra URL trong Search Console | |
| Google-CloudVertexBot | Thu thập cho Vertex AI theo yêu cầu chủ site | |
| APIs-Google | Gửi thông báo qua các API của Google | |
| AdsBot-Google | Kiểm tra chất lượng trang đích quảng cáo | |
| Storebot-Google | Thu thập dữ liệu mua sắm | |
| Bingbot | Microsoft | Bing — đồng thời cấp dữ liệu cho Copilot |
| Applebot | Apple | Siri & Spotlight Suggestions |
| YandexBot | Yandex | Tìm kiếm Yandex |
| Baiduspider | Baidu | Tìm kiếm Baidu |
| DuckDuckBot | DuckDuckGo | Tìm kiếm DuckDuckGo |
Lưu ý: Google-Extended và Applebot-Extended chỉ kiểm soát việc dùng nội dung cho AI, hoàn toàn tách biệt với Googlebot / Applebot phục vụ tìm kiếm — nên chặn nhóm AI không ảnh hưởng thứ hạng tìm kiếm truyền thống, và ngược lại.
Trước tiên, mở https://tenmien-cua-ban.com/robots.txt và tìm các dòng chặn. Một lỗi phổ biến là plugin bảo mật tự thêm Disallow: / cho các bot như CCBot, Bytespider, GPTBot. Để cho phép các bot AI & tìm kiếm quan trọng đọc site, bạn có thể dùng cấu hình mẫu:
# Bot AI
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: Bytespider
User-agent: CCBot
Allow: /
# Bot tìm kiếm
User-agent: Googlebot
User-agent: Bingbot
Allow: /
Sitemap: https://tenmien-cua-ban.com/sitemap.xmlSau khi chỉnh, hãy kiểm tra lại bằng công cụ AI Visibility Checker miễn phí để xác nhận trụ AI Crawler Access đã đạt điểm tối đa.
Với đa số doanh nghiệp muốn tăng hiển thị thương hiệu, câu trả lời là nên cho phép — vì đó chính là cách để được AI trích dẫn. Chỉ nên cân nhắc chặn nếu bạn có nội dung độc quyền không muốn dùng để huấn luyện AI. Ngay cả khi đó, bạn vẫn có thể chọn cho phép các bot phục vụ trả lời real-time (như OAI-SearchBot, PerplexityBot) trong khi hạn chế bot huấn luyện (GPTBot, CCBot) — một chiến lược cân bằng. Tìm hiểu thêm trong bài tối ưu hóa tìm kiếm AI và GEO Audit.
CCBot là crawler của Common Crawl — một bộ dữ liệu web mở khổng lồ được rất nhiều mô hình ngôn ngữ lớn (LLM) sử dụng làm nguồn huấn luyện. Cho phép CCBot giúp nội dung của bạn có cơ hội xuất hiện trong “kiến thức” của nhiều AI.
Bytespider là crawler của ByteDance (công ty mẹ TikTok), thu thập dữ liệu cho các sản phẩm AI như trợ lý Doubao. Nhiều website vô tình chặn Bytespider theo mặc định của plugin bảo mật.
Googlebot phục vụ xếp hạng tìm kiếm Google truyền thống, còn Google-Extended chỉ quyết định nội dung của bạn có được dùng cho Gemini & AI Overviews hay không. Hai bot tách biệt: chặn cái này không ảnh hưởng cái kia.
Không trực tiếp — Google-Extended tách biệt với Googlebot, nên chặn Google-Extended không làm mất thứ hạng tìm kiếm truyền thống. Tuy nhiên bạn sẽ mất cơ hội xuất hiện trong Google AI Overviews.
Cách nhanh nhất là dùng công cụ AI Visibility Checker của TOS: công cụ quét robots.txt và liệt kê chính xác từng bot AI đang bị chặn, kèm hướng dẫn khắc phục.
TOS hợp tác & phát triển cùng các đối tác uy tín hàng đầu trong ngành
Trong kỷ nguyên AI,
Website của bạn đang ở đâu?
Chúng tôi đưa bạn trở thành đề xuất top 1 của AI
