Cách để AI trích dẫn nội dung của bạn: Hướng dẫn kiểm chứng
Cách để Claude, Gemini, Google AI Overviews, Perplexity, Grok và Copilot trích dẫn nội dung của bạn, cùng robots.txt và cách đo lường.
Long Nguyen
Lập trình viên Fullstack · Kỹ sư AI · Nhà nghiên cứu
Cách để AI trích dẫn nội dung: câu trả lời ngắn gọn cho sáu công cụ
Mọi công cụ dưới đây chỉ có thể trích dẫn một trang nếu chúng có thể truy cập và trong phần lớn trường hợp là lập chỉ mục trang đó. Đây là phần đã được công bố tài liệu và bạn có thể kiểm soát. Sau đó, mỗi công cụ chọn trang nào để trích dẫn—tức trang nào trong số các trang đã truy cập được dùng làm nguồn—thì phần lớn chưa được công khai tài liệu. Hướng dẫn này sẽ nói rõ điều đó ở những chỗ liên quan.
Các thông tin đã được đối chiếu với tài liệu chính thức của từng nhà cung cấp vào . Các trang tài liệu của nhà cung cấp có thể thay đổi, vì vậy hãy kiểm tra lại trước khi áp dụng một quy tắc.
| Công cụ | Điều bạn có thể kiểm soát | Báo cáo trích dẫn được nhà cung cấp công bố |
|---|---|---|
| Claude | Ba bot riêng biệt: ClaudeBot, Claude-User, Claude-SearchBot | Chưa tìm thấy |
| Gemini và Google AI Overviews / AI Mode | Lập chỉ mục và đoạn trích trong Search thông thường, cùng Google-Extended | Báo cáo Hiệu suất trong Search Console, loại tìm kiếm Web |
| Perplexity | PerplexityBot và Perplexity-User | Chưa tìm thấy |
| Microsoft Copilot | Thu thập dữ liệu Bing và robots.txt | AI Performance trong Bing Webmaster Tools |
| Grok | Không tìm thấy quyền kiểm soát dành cho nhà xuất bản trong tài liệu của xAI | Chưa tìm thấy |
Cách để Claude trích dẫn nội dung của bạn
Anthropic công bố ba bot, và sự khác biệt này rất quan trọng vì chặn nhầm bot sẽ khiến bạn biến mất khỏi đúng chức năng mà bạn không định chặn.
| Bot | Mục đích | Nếu bạn chặn bot |
|---|---|---|
| ClaudeBot | Thu thập nội dung web có thể được dùng để huấn luyện mô hình | Cho biết nội dung trong tương lai của bạn nên bị loại khỏi các tập dữ liệu huấn luyện |
| Claude-SearchBot | Thu thập dữ liệu để cải thiện chất lượng kết quả tìm kiếm cho người dùng | Ngăn lập chỉ mục, làm giảm khả năng hiển thị và độ chính xác của bạn trong kết quả tìm kiếm của Claude |
| Claude-User | Truy cập trang khi người dùng Claude yêu cầu tìm kiếm web trong một cuộc trò chuyện | Dừng việc truy xuất cho truy vấn của người dùng đó, làm giảm khả năng hiển thị trong tìm kiếm do người dùng yêu cầu |
Để được trích dẫn, hãy cho phép Claude-SearchBot và Claude-User. Việc có cho phép ClaudeBot hay không là một quyết định riêng về huấn luyện. Anthropic cho biết các bot của họ tuân thủ robots.txt, hỗ trợ chỉ thị Crawl-delay và công bố địa chỉ IP của bot tại claude.com/crawling/bots.json để thiết lập danh sách cho phép trên tường lửa.
Anthropic không công bố cách Claude chọn những trang đã truy xuất để trích dẫn, và tôi không tìm thấy báo cáo trích dẫn tương đương với các công cụ của Claude. Dữ liệu bạn có thể dựa vào là nhật ký máy chủ và referrer.
Cách để Google AI Overviews, AI Mode và Gemini trích dẫn nội dung của bạn
Câu trả lời của Google khá đơn giản: không cần làm gì đặc biệt. Tài liệu của Google cho biết không cần tệp mới ở dạng máy có thể đọc, tệp văn bản AI hay markup để xuất hiện trong AI Overviews hoặc AI Mode. Chỉ cần đáp ứng điều kiện xuất hiện trong Search thông thường.
- Mở rộng truy vấn. Google cho biết cả hai tính năng có thể thực hiện nhiều lượt tìm kiếm liên quan trên các chủ đề phụ để xây dựng câu trả lời và chọn các trang hỗ trợ. Một trang trả lời rõ ràng cho một chủ đề phụ có thể được chọn cho chủ đề đó ngay cả khi không xếp hạng đầu cho truy vấn chính.
- Kiểm soát bản xem trước có thể đem lại tác động hai chiều.
nosnippet,data-nosnippet,max-snippetvànoindexgiới hạn những gì Search có thể hiển thị. Nếu trang có quy tắc nosnippet mà bạn quên mất, trang có thể không đủ điều kiện, vì vậy hãy kiểm tra các template. - Google-Extended. Google cho biết tùy chọn này giới hạn việc sử dụng nội dung của bạn để huấn luyện AI và làm cơ sở cho các hệ thống Google khác. Chặn nó là lựa chọn không tham gia huấn luyện, nhưng hãy đọc kỹ cách Google diễn đạt trước khi thực hiện: grounding (dùng nội dung làm cơ sở) cũng là phần quyết định nội dung có được dùng trong câu trả lời hay không.
- Báo cáo. Lưu lượng từ AI Overviews và AI Mode được tính trong báo cáo Hiệu suất của Search Console, thuộc loại tìm kiếm Web. Tài liệu đó không tách riêng hai nguồn này, nên bạn không thể cô lập chúng khỏi lượt nhấp thông thường tại đây.
Gemini cần một lưu ý. Trang dành cho nhà xuất bản của Google đề cập đến AI Overviews và AI Mode. Tôi không tìm thấy quy tắc trích dẫn riêng cho ứng dụng Gemini ngoài tùy chọn Google-Extended nói trên, vì vậy đừng mặc định rằng cách AI Overviews hoạt động cũng áp dụng cho ứng dụng Gemini.
Cách để Perplexity trích dẫn nội dung của bạn
Perplexity công bố hai tác nhân. PerplexityBot được xây dựng để đưa các website lên và liên kết tới chúng trong kết quả tìm kiếm của Perplexity; Perplexity cũng cho biết bot này không được dùng để thu thập nội dung cho các foundation model AI. Hãy cho phép bot nếu bạn muốn website có thể được tìm thấy.
Perplexity-User lại khác. Bot này hoạt động khi một người đặt câu hỏi cần Perplexity truy cập một trang, và Perplexity cho biết bot thường bỏ qua robots.txt vì yêu cầu bắt nguồn từ người dùng. Điều này dẫn đến một hệ quả thực tế: quy tắc trong robots.txt sẽ không ngăn bot này một cách đáng tin cậy, nên quyền truy cập của tác nhân này phải được kiểm soát trong tường lửa. Perplexity công bố danh sách IP cho cả hai tác nhân dưới dạng tệp JSON và khuyến nghị kết hợp nhận diện user-agent với xác minh IP trong quy tắc WAF.
Cách để Microsoft Copilot trích dẫn nội dung của bạn
Copilot là công cụ duy nhất ở đây mà nhà cung cấp có báo cáo cho bạn. Bing Webmaster Tools có báo cáo AI Performance bao quát Microsoft Copilot, các bản tóm tắt do AI tạo trong Bing và một số tích hợp đối tác được chọn. Báo cáo hiển thị tổng số lượt trích dẫn, số trang được trích dẫn trung bình mỗi ngày, số lượt trích dẫn ở cấp trang và grounding queries—những cụm từ AI đã dùng khi truy xuất nội dung của bạn. Bing đã bổ sung thêm các chế độ xem trích dẫn trong một bản cập nhật sau đó, vì vậy hãy kiểm tra những gì tài khoản của bạn hiện đang hiển thị.
Hướng dẫn dành cho nhà xuất bản do Bing công bố gồm: đào sâu chuyên môn ở những chủ đề bạn đã được trích dẫn, sử dụng heading, bảng và mục FAQ, củng cố tuyên bố bằng ví dụ và dữ liệu, giữ nội dung chính xác và cập nhật, đồng thời dùng IndexNow để thay đổi được tiếp nhận nhanh hơn. Bing cũng cho biết họ tôn trọng tùy chọn của chủ sở hữu nội dung được thể hiện qua robots.txt.
Nếu chỉ làm một việc cho Copilot, hãy xác minh website trong Bing Webmaster Tools và đọc các grounding queries. Chúng cho biết những câu hỏi nào đang được dùng để tìm nội dung của bạn—điều mà không công cụ nào khác trong bài này hiển thị.
Cách để Grok trích dẫn nội dung của bạn
Ở đây, bằng chứng hiện có không đủ. Tài liệu dành cho nhà phát triển của xAI mô tả Web Search, X Search và Citations dưới dạng các công cụ, nhưng tôi không tìm thấy trang nào của xAI cung cấp token crawler, quy tắc robots.txt hoặc báo cáo trích dẫn cho chủ website. Một số website bên thứ ba liệt kê user-agent của Grok và mô tả công cụ này là không đáng tin cậy trong việc tự nhận diện, nhưng đó không phải tuyên bố của xAI, nên tôi sẽ không biến chúng thành lời khuyên.
Lời khuyên trung thực vẫn là điều kiện nền tảng chung: giữ cho các trang công khai, tải nhanh và được lập chỉ mục trong những công cụ tìm kiếm lớn; đồng thời theo dõi referrer để phát hiện lưu lượng từ grok.com hoặc x.com. Bất kỳ ai bán checklist tối ưu riêng cho Grok đều đang phỏng đoán.
Một robots.txt cho các công cụ đã công bố cơ chế kiểm soát
Ví dụ này cho phép các crawler tìm kiếm và truy xuất được đề cập ở trên, đồng thời không tham gia hai crawler chỉ phục vụ huấn luyện. Hãy xem các dòng liên quan đến huấn luyện là quyết định của bạn, không phải khuyến nghị.
# Search and citation crawlers: allow
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Training crawlers: opt out (your call)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /Có ba điểm cần lưu ý. Thứ nhất, nhóm wildcard User-agent: * với lệnh disallow trên toàn bộ website sẽ chặn mọi tác nhân bạn không nêu tên, bao gồm Claude-User. Thứ hai, robots.txt không kiểm soát đáng tin cậy các trình truy xuất do người dùng khởi tạo, nên Perplexity-User cần được quyết định ở cấp tường lửa. Thứ ba, tôi cố ý không đưa Google-Extended vào vì mô tả của Google gắn công cụ này với cả grounding và huấn luyện. Hãy quyết định riêng về tùy chọn đó.
Một số đội ngũ cũng xuất bản tệp llms.txt. Google nói rõ tệp này không cần thiết cho các tính năng AI của họ, và không nhà cung cấp nào khác công bố đây là yếu tố ảnh hưởng đến trích dẫn. Nếu vẫn muốn có tệp này, công cụ tạo llms.txt miễn phí của Netalith có thể tạo tệp trong một phút.
Cách viết các trang mà mọi công cụ đều có thể trích dẫn
Đây là nhận định thực tế, không phải chính sách của nhà cung cấp, nhưng các nhà cung cấp đều hướng về cùng một cách làm. Google không khuyến nghị gì ngoài thực hành Search tốt. Bing khuyến nghị heading rõ ràng, bảng, mục FAQ, dữ liệu và tính cập nhật. Một trang đáp ứng cả hai cũng sẽ dễ được hệ thống truy xuất trích dẫn.
- Mở đầu mỗi phần bằng câu trả lời. Sau đó mới nêu điều kiện hoặc ngoại lệ.
- Biến mỗi H2 thành một câu hỏi. Các hệ thống mở rộng truy vấn cần một trang trả lời được chủ đề phụ, chứ không chỉ đề cập đến chủ đề đó.
- Đưa thông tin cụ thể. Phiên bản, ngày tháng, nguồn được nêu tên và con số giúp phân biệt trang của bạn với một bản diễn giải lại từ nguồn khác.
- Giữ câu trả lời trong HTML. Nội dung chỉ xuất hiện sau khi client-side rendering hoặc nằm sau màn hình đăng nhập thì không thể được truy cập.
- Cập nhật một cách dễ nhận biết. Dòng ghi ngày cập nhật giúp ích cho người đọc và theo Bing, tính mới của nội dung cũng rất quan trọng.
Cách đo lường việc các công cụ AI có trích dẫn bạn hay không
| Công cụ | Nơi kiểm tra |
|---|---|
| Google AI Overviews / AI Mode | Báo cáo Hiệu suất trong Search Console, loại tìm kiếm Web (trộn với lượt nhấp thông thường) |
| Microsoft Copilot | Bing Webmaster Tools, báo cáo AI Performance |
| ChatGPT | Bộ lọc phân tích với utm_source=chatgpt.com |
| Claude, Perplexity, Grok | Chưa có báo cáo được công bố: sử dụng nhật ký máy chủ và tên miền referrer |
Chỉ hai công cụ trong số này cung cấp dữ liệu trích dẫn thực sự. Với các công cụ còn lại, phân tích nhật ký cho biết crawler có ghé thăm hay không và URL nào nhận được lượt nhấp từ người dùng. Hãy kiểm tra hàng tuần vì câu trả lời AI có thể thay đổi giữa các lần hỏi, còn thay đổi crawler cần thời gian mới được áp dụng.
Trình tự thực hiện thực tế
- Gỡ các lệnh chặn bot trên diện rộng trong robots.txt và tường lửa; thêm các dải IP đã được công bố vào danh sách cho phép.
- Cho phép các bot tìm kiếm và truy xuất; quyết định riêng về các bot huấn luyện.
- Xác nhận các trang đã được lập chỉ mục và không có quy tắc nosnippet hoặc noindex nào bị đặt nhầm.
- Xác minh Bing Webmaster Tools và Search Console, rồi đọc các báo cáo mà chúng cung cấp.
- Viết lại những trang tốt nhất để mỗi phần trả lời một câu hỏi ngay từ đầu.
- Rà soát nhật ký và báo cáo hàng tuần, đồng thời đối chiếu với những trang bạn đã thay đổi.
Nếu bạn cần hỗ trợ các bước về quyền truy cập và đo lường trên tất cả công cụ này, hãy yêu cầu báo giá miễn phí từ Netalith. Nguồn của hướng dẫn này: tài liệu về tính năng AI của Google và website của bạn và tài liệu crawler của Anthropic. Thông tin về Perplexity, Bing và xAI được lấy từ các trang tài liệu do chính các nhà cung cấp này công bố.
CÂU HỎI THƯỜNG GẶP
Câu hỏi thường gặp
Tôi có cần markup đặc biệt để xuất hiện trong Google AI Overviews không?
Không. Google cho biết không cần tệp mới ở dạng máy có thể đọc, tệp văn bản AI hay markup. Trang phải được lập chỉ mục và đủ điều kiện xuất hiện trong Search kèm đoạn trích thì mới có thể được hiển thị dưới dạng liên kết hỗ trợ.
Tôi nên cho phép bot Claude nào để được trích dẫn?
Hãy cho phép Claude-SearchBot vì bot này cải thiện chất lượng kết quả tìm kiếm, và Claude-User vì bot này truy cập trang khi người dùng yêu cầu. ClaudeBot phục vụ huấn luyện mô hình, nên việc cho phép bot này là một quyết định riêng.
Perplexity có tuân thủ robots.txt không?
PerplexityBot có, và được mô tả là crawler tìm kiếm chứ không phải crawler huấn luyện. Perplexity-User thường bỏ qua robots.txt vì hoạt động theo yêu cầu của người dùng, nên hãy kiểm soát bot này trong tường lửa.
Làm cách nào để xem lượt trích dẫn của Copilot cho website?
Hãy sử dụng báo cáo AI Performance trong Bing Webmaster Tools. Báo cáo hiển thị tổng số lượt trích dẫn, các trang được trích dẫn, số lượt ở cấp trang và grounding queries trên Microsoft Copilot cùng các bản tóm tắt AI của Bing.
Tôi có thể tối ưu nội dung cho Grok không?
Tôi không tìm thấy tài liệu nào của xAI cung cấp token crawler, quy tắc robots.txt hoặc báo cáo trích dẫn cho chủ website. Hãy giữ các trang công khai và được lập chỉ mục, đồng thời theo dõi lưu lượng referrer thay vì làm theo những checklist chưa được kiểm chứng.
Có chiến lược nào hiệu quả với mọi công cụ AI không?
Chỉ có các nguyên tắc nền tảng: giữ cho trang có thể được thu thập dữ liệu và lập chỉ mục, tránh chặn bot trên diện rộng, trả lời một câu hỏi trong mỗi phần và đo lường bằng các báo cáo mà từng nhà cung cấp cung cấp. Ngoài ra, cách chọn trang để trích dẫn vẫn chưa được công bố.