Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc sở hữu file robots.txt là khai báo tặng phương tiện search biết rằng những nội dung nào trên web site của bạn được tặng phép các bot tìm kiếm và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi có một phương tiện tìm thông báo web site của bạn, điều đầu tiên mà nó tìm kiếm tất cả là file Robots.txt . File này sẽ nói với công cụ search những gì cần phải và không cần phải lập chỉ mục. Nó cũng có lẽ chỉ ra vị trí website của bạn trên XML Sitemap. Sau đó các công cụ search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin web của bạn theo như là hướng dẫn cụ thể của file Robots.txt (các dụng cụ tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt thường nằm ở thư mục gốc của bạn, bạn có lẽ tiện lợi tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn hạn chế được các lỗi đưa cho web site song song cho phép mọi các công cụ tìm kiếm thu thập thông báo về web site của bạn. Ví dụ web site bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt

5/5 - (2 bình chọn)

File robots.txt là gì? Hướng dẫn tùy chỉnh trên wordpress

Nguyễn Thanh Tuấn (sieutocviet.com)

Với 3 năm thực chiến CSS, JS 8 năm kinh nghiệm trong quản trị web site tư vấn giải pháp Seo top, Kinh doanh online tối ưu nhất cho tập đoàn quốc tế.
Hiện là quản lý kinh doanh tại Siêu Tốc Việt.