Trang này tập hợp toàn bộ tài liệu chính thức mà công cụ AI Visibility Checker của TOS dựa vào để đưa ra từng nhận định. Mỗi mục nêu tài liệu nói gì, kèm đường dẫn tới bản gốc để bạn tự kiểm chứng.
TOS công khai danh sách này vì một lý do đơn giản: công cụ chỉ đọc tín hiệu công khai của website, không hỏi ChatGPT hay Gemini. Mọi kết luận vì thế phải truy được về một tài liệu của chính hãng, chứ không phải suy đoán. Khi hãng đổi tài liệu, TOS cập nhật lại ở đây.
Bot và quyền thu thập dữ liệu
Tài liệu bot của OpenAI
OpenAI công bố danh sách bot cùng vai trò của từng con.
- OAI-SearchBot — lấy nội dung cho phần tìm kiếm trong ChatGPT
- GPTBot — thu thập dữ liệu huấn luyện mô hình
- ChatGPT-User — truy cập khi người dùng yêu cầu trực tiếp
- OAI-AdsBot — phục vụ quảng cáo
Chặn OAI-SearchBot là tự loại mình khỏi phần trả lời có tìm kiếm của ChatGPT; chặn GPTBot chỉ là từ chối cho dùng nội dung để huấn luyện. Hai việc khác nhau, đừng gộp.
Google — tính năng AI trong Tìm kiếm
Google giải thích nội dung được dùng trong AI Overview và AI Mode đến từ đâu.
- Nguồn là chỉ mục Google Tìm kiếm thông thường
- Không có bot riêng cho AI Overview — vẫn là Googlebot
Vì vậy chặn Googlebot là chặn luôn đường vào AI Overview và AI Mode.
Google — danh sách crawler
Bảng user-agent chính thức của Google.
- Google-Extended — chỉ điều khiển việc dùng nội dung cho Gemini và huấn luyện
- Storebot-Google — phục vụ mua sắm
Google-Extended không ảnh hưởng tới việc xuất hiện trong Google Tìm kiếm hay AI Overview. Đây là chỗ bị hiểu nhầm nhiều nhất.
Anthropic — bot và cách chặn
Anthropic liệt kê bot của Claude và hướng dẫn chủ website chặn.
- Claude-SearchBot — tìm kiếm
- Claude-User — truy cập theo yêu cầu người dùng
- ClaudeBot — huấn luyện
Giống OpenAI: tách bạch bot tìm kiếm và bot huấn luyện trước khi quyết định chặn con nào.
Điều khiển hiển thị và dữ liệu doanh nghiệp
Anthropic Trust Center — danh sách nhà thầu phụ
Trang công khai cho biết Claude lấy kết quả web từ đâu.
- Brave Search — mục đích “Web Search”, áp dụng mọi sản phẩm
- TurboPuffer — cũng “Web Search”, trừ Claude for Government
Claude có hai nhà cung cấp tìm kiếm chứ không phải một. Xem thêm bài về Brave Search.
Bot và quyền thu thập dữ liệu
Perplexity — tài liệu crawler
Perplexity công bố bot của mình.
- PerplexityBot — lập chỉ mục cho công cụ tìm kiếm riêng
- Perplexity-User — truy cập theo yêu cầu người dùng
Perplexity có chỉ mục riêng, nên bị chặn ở đây là mất hẳn, không mượn được chỉ mục nào khác.
Meta — crawler cho chủ website
Meta liệt kê các bot dùng cho lập chỉ mục, AI và xem trước liên kết.
- meta-webindexer, meta-externalagent, meta-externalfetcher
- facebookexternalhit — dựng ảnh xem trước khi chia sẻ link
Chặn facebookexternalhit sẽ làm hỏng ảnh xem trước mỗi khi ai đó chia sẻ link của bạn lên Facebook.
Apple — về Applebot
Apple mô tả bot phục vụ tìm kiếm trong Siri, Spotlight và Safari.
- Applebot — tìm kiếm
- Applebot-Extended — chỉ điều khiển việc dùng nội dung để huấn luyện
Tương tự Google-Extended: chặn Applebot-Extended không làm mất phần tìm kiếm.
Bing Webmaster Guidelines
Hướng dẫn chính thức của Bing cho chủ website.
- bingbot và các yêu cầu về nội dung, kỹ thuật
Copilot chạy trên chỉ mục Bing, nên đây cũng là tài liệu nền cho Copilot.
Common Crawl — CCBot
Common Crawl là kho dữ liệu web mở mà nhiều mô hình ngôn ngữ dùng để huấn luyện.
- Cách nhận diện và chặn CCBot
Chặn CCBot là chặn gián tiếp rất nhiều mô hình cùng lúc, không chỉ một hãng.
Điều khiển hiển thị và dữ liệu doanh nghiệp
Google Search Console — tuỳ chọn AI tạo sinh
Thiết lập trong Search Console quyết định website có xuất hiện trong các tính năng AI tạo sinh của Google hay không.
- Mặc định là Bao gồm (Include)
- Chọn loại trừ thì đường liên kết và nội dung sẽ không hiển thị trong AI Overview, AI Mode và tính năng AI trong Google Khám phá
TOS không kiểm tra được thiết lập này từ bên ngoài — phải tự vào Search Console xem.
Google — hướng dẫn tối ưu cho AI
Google hướng dẫn chuẩn bị nội dung cho các tính năng AI.
- Vai trò của thông tin trong Trang doanh nghiệp đối với câu trả lời AI
Đây là căn cứ cho khuyến nghị đồng bộ tên, địa chỉ, điện thoại, giờ mở cửa giữa website và Google.
Google Merchant Center — dữ liệu sản phẩm
Đặc tả dữ liệu sản phẩm Google yêu cầu.
- Các trường bắt buộc: giá, đơn vị tiền tệ, tình trạng còn hàng
Với website bán lẻ, đây là việc nên làm trước khi nghĩ tới bất cứ tối ưu AI nào khác.
Apple Business Connect
Công cụ để doanh nghiệp quản lý thông tin hiển thị trên Apple Maps và các dịch vụ Apple.
- Quản lý được cả ở Việt Nam
Tương đương Trang doanh nghiệp trên Google, nhưng cho hệ sinh thái Apple.
Nền tảng và giao thức khác
Meta — giới thiệu Muse
Thông báo chính thức của Meta về Muse.
- Muse là agent của Meta, chạy model Muse Spark
Muse không có bot riêng, nên TOS chỉ xếp vào nhóm “theo dõi”, không chấm điểm.
X — về Grok
Trang trợ giúp của X mô tả Grok.
- Grok tìm bài đăng công khai trên X và tìm web
Mức độ liên quan của Grok phụ thuộc nhiều vào việc thương hiệu có hiện diện trên X hay không.
IndexNow — tài liệu
Giao thức báo cho công cụ tìm kiếm biết ngay khi nội dung thay đổi.
- Bing, Yandex, Naver, Seznam đang hỗ trợ
TOS đã bật IndexNow cho chính toponseek.com và topon.tech.
Google Search Console — xác minh quyền sở hữu
Hướng dẫn chứng minh bạn là chủ website để truy cập dữ liệu trong Search Console.
- Các cách xác minh: thẻ HTML, tệp HTML, bản ghi DNS, Google Analytics, Tag Manager
Chưa xác minh thì không xem được báo cáo hiệu suất, cũng không chỉnh được thiết lập AI tạo sinh ở mục bên trên.
Bing Webmaster Tools — thêm và xác minh website
Hướng dẫn đưa website vào Bing Webmaster Tools.
- Xác minh bằng thẻ meta, tệp XML, bản ghi CNAME, hoặc nhập từ Google Search Console
Đáng làm vì Copilot chạy trên chỉ mục Bing, và đây cũng là nơi gửi IndexNow thuận tiện nhất.
Số liệu thị trường
Decision Lab — thị trường AI tiêu dùng Việt Nam
Khảo sát người dùng AI tại Việt Nam.
- Nguồn cho tỉ lệ người dùng AI tại Việt Nam từng dùng Meta AI trong 3 tháng
TOS dùng số này vì StatCounter chưa tách riêng lượt truy cập đi từ Meta AI về website. Xem thêm bài thị phần AI.
Câu hỏi thường gặp
Vì sao TOS dẫn về trang này thay vì trỏ thẳng tài liệu gốc?
Vì phần lớn tài liệu gốc là tiếng Anh và dài, trong khi điều bạn cần thường chỉ là một đoạn. Mỗi mục ở đây tóm tắt đúng phần công cụ dựa vào, rồi vẫn để đường dẫn tới bản gốc ngay bên dưới. Bạn mất một cú bấm nhưng biết trước mình sắp đọc gì.
Danh sách này đã đầy đủ chưa?
Đây là những nguồn gắn trực tiếp với từng khuyến nghị bạn thấy trong công cụ. Ngoài ra TOS còn tham chiếu khoảng 60 tài liệu khác cho phần số liệu thị trường và nghiên cứu ngành; những con số đó được ghi nguồn ngay tại chỗ xuất hiện.
Tài liệu của hãng thay đổi thì sao?
Tài liệu về bot và quyền thu thập dữ liệu thay đổi khá thường xuyên. Khi phát hiện thay đổi, TOS sửa cả trang này lẫn logic chấm điểm trong công cụ. Nếu bạn thấy một mục đã lỗi thời, hãy báo lại.
Muốn biết website của bạn đang đứng ở đâu so với những yêu cầu trong các tài liệu trên, hãy chạy công cụ chấm điểm AI Visibility miễn phí của TOS.
TOS · Search AI AgencyNhận bài SEO & AI mới mỗi ngày
Chắt lọc, thực chiến, không spam. Nhận bài mới cùng hàng nghìn marketer đọc TOS mỗi ngày.
