Robots.txt là dạng tập tin đặc biệt không phải là đừng HTML hay một loại nào khác. Mục đích của việc có file sẽ robots.txt là khai báo cho công cụ search biết rằng vẫn những content nào trên trang web của bạn được cho lắm phép các bot search và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi có một công mới cụ search thông báo trang web của bạn, điều đầu tiên dễ mà nó search đa số là file Robots.txt . File này sẽ nói với công đừng cụ search những gì cần và không cần lập chỉ mục. Nó nhanh cũng có lẽ chỉ ra vị trí trang web của bạn trên XML Sitemap rất . Sau đó các công cụ search sẽ gửi “bot”, “robot” hoặc chẳng “spider” để thu thập thông báo trang web của bạn theo chẳng giống như có các hướng dẫn của file Robots.txt (các rất công cụ search sẽ không gửi nếu file Robot.txt nói cả với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt có lẽ nằm ở thư mục gốc lắm của bạn, bạn có lẽ lợi ích tạo một file trống và đặt cũ tên là Robots.txt, điều này giúp bạn giảm thiểu được được các lỗi cho trang web cùng lúc cho phép đa số các công nhất cụ search thu thập thông báo về trang web của bạn. lại Ví dụ trang web bạn là sieutocviet.com thì file robots dễ sẽ là sieutocviet.com/robots.txt

File Robots.txt mặc định của Word press:

User-agent: không * Disallow: /wp-admin/ Disallow: /wp-includes/ vẫn

Hoặc Bạn có lẽ tham khảo code này

User-agent: nhẹ nhàng chậm * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: luôn /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet những .com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không cho chỉ mục đa số lại trang web Bạn có câu lệnh giống như sau: User-agent:* sẽ Disallow: / Lệnh này có ý nghĩa: “Không cho phép các nhanh bot của công cụ search đăng nhập và đánh chỉ mục trên đừng đa số tài nguyên có trên trang web của bạn.” Chặ open source đã n bot chỉ mục vào một thư mục nhất định User-agent:* mất Disallow: /wp-admin/ Disallow: /wp-includes/ chớ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục đa số data có thể trừ 2 thư mục /wp-admin/ và /wp-includes/ là không mất cho phép.” Chặn một trang hay đường dẫn đến bài viết đột nhiên nào đó User-agent:* Disallow: /gioi-thieu.html được Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục đa số cũ các data trừ đường dẫn /gioi-thieu.html” Chặn một lại hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan chưa .jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ đã trang web của bạn, ngăn không cho các bot search và cần lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào cần đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: rất “Chặn botspam đăng nhập đa số data trên trang web cả của bạn”. Trong khi đó các bot khác thì được quyền không truy cập” Chặn đa số các data trong một thư mục trừ chính một file nào đó User-agent:* Disallow: /thumucbichan/ đang Allow: /thumucbichan/filekhongbichan.html nhanh Lệnh này có nghĩa: “Chặn bot search đa số data trong nhất thư mục /thumucbichan/ nhưng cho phép lập chỉ mục có thể file /filekhongbichan.html”