Tập tin file robots.txt là gì? Hướng dẫn tạo tùy chỉnh trên wordpress
Khi có một công cụ tìm kiếm thông tin trang web của bạn, điều đầu tiên mà nó tìm kiếm hầu hết là file Robots.txt vậy file này là gì có tác dụng gìRobots.txt là dạng tập tin đặc biệt không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo cho công cụ tìm kiếm biết rằng những nội dung nào trên website của bạn được cho phép các bot tìm kiếm và lập chỉ mục.
Khi có một công cụ tìm kiếm thông tin trang web của bạn, điều đầu tiên mà nó tìm kiếm hầu hết là file Robots.txt . File này sẽ nói với công cụ tìm kiếm những gì nên và không nên lập chỉ mục. Nó cũng có thể chỉ ra vị trí trang web của bạn trên XML Sitemap. Sau đó các công cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin trang web của bạn theo như hướng dẫn của file Robots.txt (các công cụ tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).
File Robots.txt thường nằm ở thư mục gốc của bạn, bạn có thể dễ dàng tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn tránh được các lỗi cho trang web đồng thời cho phép tất cả các công cụ tìm kiếm thu thập thông tin về trang web của bạn.
Ví dụ website bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txtFile Robots mặc định của wordpress:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Hoặc Bạn có thể tham khảo code này
User-agent: *
Disallow: /wp-admin/
User-agent: *
Allow: /
Disallow: /*?*
Disallow: /*/?*
Sitemap: https://web.sieutocviet.com/sitemap.xml