I. Giới Thiệu

Tạo Robots.txt là công cụ visual builder miễn phí giúp tạo file robots.txt chuẩn cho website mà không cần nhớ cú pháp. Thay vì gõ thủ công từng dòng lệnh, bạn chọn preset, thêm rule, nhập sitemap — preview realtime hiển thị kết quả ngay lập tức, kiểm tra syntax tự động và download file .txt về máy chỉ trong vài giây.

robots.txt là file quan trọng điều khiển crawler của Google và các bot khác — file sai cú pháp hoặc cấu hình sai có thể block Google crawl toàn bộ trang web, gây hậu quả nghiêm trọng cho SEO. Tool có tích hợp kiểm tra syntax tự động để đảm bảo file luôn hợp lệ trước khi download.

II. Tính Năng

Tính năng	Chi tiết
Preset nhanh	5 preset phổ biến — 1 click áp dụng
User-agent rules	Thêm rule cho từng bot cụ thể
Allow / Disallow	Cho phép hoặc chặn từng path cụ thể
Crawl-delay	Đặt thời gian delay giữa các request
Sitemap	Thêm một hoặc nhiều URL sitemap
Preview realtime	Xem file robots.txt khi đang chỉnh
Kiểm tra syntax	Xác nhận file hợp lệ trước khi dùng
Copy	Copy nội dung 1 click
Download	Tải file robots.txt về máy
Chi phí	Hoàn toàn miễn phí

III. Năm Preset Nhanh

Preset	Dùng cho	Nội dung chính
Cho phép tất cả	Site mới, muốn Google crawl toàn bộ	`Allow: /` cho tất cả bot
Chặn tất cả	Site đang maintenance hoặc staging	`Disallow: /` cho tất cả bot
Chặn AI crawlers	Không muốn AI (GPT, Claude, Gemini) dùng nội dung	Disallow GPTBot, ClaudeBot, Google-Extended...
Chặn thư mục admin	Site WordPress, chặn `/wp-admin/`	Disallow các path admin
WordPress standard	Site WordPress chuẩn	Chặn admin, uploads cụ thể
E-commerce standard	WooCommerce, Shopify	Chặn cart, checkout, account

IV. Hiểu Về Cấu Trúc Robots.txt

# Robots.txt cho tools.taphoammo.vn

User-agent: *              # Áp dụng cho tất cả bot
Disallow: /admin/          # Chặn crawler vào /admin/
Disallow: /wp-admin/       # Chặn crawler vào /wp-admin/
Allow: /public/            # Cho phép crawler vào /public/
Crawl-delay: 10            # Delay 10 giây giữa các request

User-agent: GPTBot         # Áp dụng riêng cho bot của OpenAI
Disallow: /                # Chặn GPTBot toàn bộ site

Sitemap: https://tools.taphoammo.vn/sitemap.xml

V. Hướng Dẫn Sử Dụng

Cách nhanh — Dùng Preset:

Bước 1 — Truy cập Tạo Robots.txt trên MMO Tools Hub.

Bước 2 — Chọn Preset nhanh phù hợp — ví dụ: "WordPress standard" hoặc "Chặn AI crawlers".

Bước 3 — Xem Preview realtime bên phải — kiểm tra nội dung đã đúng chưa.

Bước 4 — Nhập URL Sitemap nếu có — ví dụ: https://example.com/sitemap.xml

Bước 5 — Kiểm tra badge "Syntax hợp lệ ✅" ở cuối preview.

Bước 6 — Nhấn Download để tải file robots.txt về máy.

Cách nâng cao — Tùy chỉnh User-agent Rules:

Bước 1 — Trong phần User-agent rules, nhấn "+ Thêm rule".

Bước 2 — Chọn User-agent từ dropdown:

* (Tất cả bot) — áp dụng cho mọi crawler
Googlebot — chỉ Google Search
GPTBot — bot của OpenAI
ClaudeBot — bot của Anthropic
Bingbot — bot của Microsoft Bing
Hoặc nhập tên bot tùy chỉnh

Bước 3 — Thêm Allow và Disallow paths — ví dụ:

Allow: /public/
Disallow: /admin/, /private/, /api/

Bước 4 — Đặt Crawl-delay (giây) nếu cần giới hạn tần suất crawl.

Bước 5 — Thêm nhiều rule cho nhiều bot khác nhau nếu cần.

VI. Preset Chặn AI Crawlers — Tại Sao Quan Trọng?

Kể từ 2023, các công ty AI như OpenAI (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended) triển khai bot để thu thập dữ liệu huấn luyện AI. Nhiều chủ website không muốn nội dung của mình bị dùng để train AI mà không có sự đồng ý.

Các AI bot phổ biến cần chặn:

Bot	Công ty	User-agent
GPTBot	OpenAI (ChatGPT)	`GPTBot`
ClaudeBot	Anthropic (Claude)	`ClaudeBot`
Google-Extended	Google (Gemini)	`Google-Extended`
CCBot	Common Crawl	`CCBot`
FacebookBot	Meta (AI training)	`FacebookBot`

Chặn AI bot không ảnh hưởng đến Googlebot (search) hay Bingbot — website vẫn được index bình thường trên Google và Bing.

VII. Sau Khi Tải File — Cách Upload Lên Website

WordPress:

Dùng plugin Yoast SEO hoặc RankMath → SEO → Tools → File Editor → Robots.txt
Hoặc upload file trực tiếp vào thư mục gốc / của hosting qua FTP/File Manager

Hosting thông thường: Upload file robots.txt vào thư mục public_html/ (thư mục gốc website)

Verify sau khi upload: Truy cập https://your-domain.com/robots.txt để xác nhận file đã hoạt động

VIII. Các Lỗi Robots.txt Thường Gặp

Lỗi	Hậu quả	Cách phòng tránh
`Disallow: /` cho Googlebot	Google không crawl được toàn bộ site	Luôn test trước khi upload
Syntax sai	Bot bỏ qua toàn bộ file	Dùng badge "Syntax hợp lệ" của tool
Upload sai thư mục	File không có tác dụng	Upload đúng vào root `/`
Thiếu Sitemap	Google phải tự tìm URL	Luôn thêm Sitemap URL vào robots.txt
Chặn file CSS/JS	Google không render được trang đúng	Không Disallow `/wp-content/` hay static assets

IX. Đối Tượng Phù Hợp

Webmaster / Developer — tạo robots.txt chuẩn cho mọi loại website.
Chủ website WordPress — áp dụng ngay preset WordPress standard.
Chủ shop online — dùng preset E-commerce để chặn cart/checkout khỏi index.
Content creator — chặn AI crawlers để bảo vệ nội dung khỏi bị dùng train AI.

Tạo Robots.txt loại bỏ hoàn toàn rào cản kỹ thuật của việc viết file robots.txt thủ công — preset nhanh, visual builder trực quan, preview realtime và kiểm tra syntax tự động đảm bảo file luôn đúng trước khi upload. Đặc biệt với preset Chặn AI Crawlers — bảo vệ nội dung của bạn khỏi bị các AI bot thu thập mà không cần kiến thức kỹ thuật. Hoàn toàn miễn phí tại tools.taphoammo.vn.