Trong kỷ nguyên tìm kiếm AI, việc website của bạn có được ChatGPT, Gemini hay Perplexity “đọc” và trích dẫn hay không phụ thuộc trực tiếp vào một thứ tưởng chừng đơn giản: file robots.txt có cho phép các bot AI (AI crawler) truy cập hay không. Bài viết này liệt kê đầy đủ các bot AI quan trọng, giải thích từng con, và hướng dẫn cách mở robots.txt để tăng AI Visibility cho website.
AI crawler là các bot tự động do những công ty AI vận hành để thu thập nội dung web — phục vụ huấn luyện mô hình, lập chỉ mục cho tính năng tìm kiếm AI, hoặc trả lời câu hỏi của người dùng theo thời gian thực. Khác với Googlebot truyền thống (phục vụ xếp hạng tìm kiếm), bot AI quyết định việc thương hiệu của bạn có xuất hiện trong câu trả lời của các trợ lý AI hay không. Nếu bạn chặn chúng trong robots.txt, AI đơn giản là không có dữ liệu về bạn.
| Bot (User-agent) | Thuộc về | Vai trò |
|---|---|---|
| GPTBot | OpenAI | Thu thập dữ liệu cho ChatGPT & các mô hình GPT |
| OAI-SearchBot | OpenAI | Lập chỉ mục cho tính năng tìm kiếm của ChatGPT |
| ChatGPT-User | OpenAI | Truy cập trang khi người dùng yêu cầu trong ChatGPT |
| ClaudeBot | Anthropic | Thu thập dữ liệu cho Claude |
| PerplexityBot | Perplexity | Lập chỉ mục & trích dẫn nguồn cho Perplexity |
| Google-Extended | Cho phép Gemini & AI Overviews dùng nội dung | |
| CCBot | Common Crawl | Bộ dữ liệu web mở — nguồn huấn luyện của rất nhiều LLM |
| Bytespider | ByteDance | Thu thập cho TikTok & trợ lý AI Doubao |
| Applebot-Extended | Apple | Cho phép Apple Intelligence dùng nội dung |
Trước tiên, mở https://tenmien-cua-ban.com/robots.txt và tìm các dòng chặn. Một lỗi phổ biến là plugin bảo mật tự thêm Disallow: / cho các bot như CCBot, Bytespider. Để cho phép toàn bộ bot AI đọc site, bạn có thể dùng cấu hình mẫu:
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
Sitemap: https://tenmien-cua-ban.com/sitemap.xmlSau khi chỉnh, hãy kiểm tra lại bằng công cụ AI Visibility Checker miễn phí để xác nhận trụ AI Crawler Access đã đạt điểm tối đa.
Với đa số doanh nghiệp muốn tăng hiển thị thương hiệu, câu trả lời là nên cho phép — vì đó chính là cách để được AI trích dẫn. Chỉ nên cân nhắc chặn nếu bạn có nội dung độc quyền không muốn dùng để huấn luyện AI. Ngay cả khi đó, bạn vẫn có thể chọn cho phép các bot phục vụ trả lời real-time (như OAI-SearchBot, PerplexityBot) trong khi hạn chế bot huấn luyện (GPTBot, CCBot) — một chiến lược cân bằng. Tìm hiểu thêm trong bài tối ưu hóa tìm kiếm AI và GEO Audit.
CCBot là crawler của Common Crawl — một bộ dữ liệu web mở khổng lồ được rất nhiều mô hình ngôn ngữ lớn (LLM) sử dụng làm nguồn huấn luyện. Cho phép CCBot giúp nội dung của bạn có cơ hội xuất hiện trong “kiến thức” của nhiều AI.
Bytespider là crawler của ByteDance (công ty mẹ TikTok), thu thập dữ liệu cho các sản phẩm AI như trợ lý Doubao. Nhiều website vô tình chặn Bytespider theo mặc định của plugin bảo mật.
Không trực tiếp — Google-Extended tách biệt với Googlebot, nên chặn Google-Extended không làm mất thứ hạng tìm kiếm truyền thống. Tuy nhiên bạn sẽ mất cơ hội xuất hiện trong Google AI Overviews.
Cách nhanh nhất là dùng công cụ AI Visibility Checker của TOS: công cụ quét robots.txt và liệt kê chính xác từng bot AI đang bị chặn, kèm hướng dẫn khắc phục.
TOS hợp tác & phát triển cùng các đối tác uy tín hàng đầu trong ngành
Trong kỷ nguyên AI,
Website của bạn đang ở đâu?
Chúng tôi đưa bạn trở thành đề xuất top 1 của AI
