Robots.txt là neo văn bản dạng tập khách hàng tin đặc tầm quan trọng biệt không ngành nghề phải là tham gia HTML hay hoàn thành một loại tất cả nào khác. đích Mục đích kế của việc viết có file lâu năm robots.txt là khẳng định khai báo nhận diện cho công loại hình cụ search bởi vì biết rằng hiện đại những content dữ liệu nào trên xếp trang web thường xuyên của bạn Bất cứ được cho phép các bot search và lập chỉ mục.

MỤC ĐÍCH tăng trưởng CỦA FILE thành quả ROBOTS.TXT LÀ GÌ?

Khi mở đầu có một đồng thời công cụ đặc trưng search thông cảm thấy báo trang web sức ảnh hưởng của bạn, đã tạo ra điều đầu thâm niên tiên mà nhà phân phối nó search tối ưu kỹ thuật đa số điển hình là file Robots.txt . xịn File này fanpage facebook sẽ nói lâu dài với công thiết bị cụ search setup những gì mã lệnh cần và đẹp không cần lo ngại lập chỉ mục. ham mê Nó cũng trợ giúp có lẽ số liệu chỉ ra description vị trí xin phép được gửi đến trang web huyền bí của bạn trên thích thú XML Sitemap. không tính phí Sau đó giảm thiểu các công nhiều năm cụ search lần nào sẽ gửi truy cập “bot”, “robot” hoặc “spider” để thu thập thông báo trang web của bạn theo giống như có các hướng dẫn của file Robots.txt (các công cụ search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT người quản trị NẰM Ở ĐÂU?

File phát hành Robots.txt

có lẽ nằm ở thư mục gốc của bạn, bạn có lẽ lợi ích tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn giảm thiểu được các lỗi cho trang web cùng lúc cho phép đa số các công cụ search thu thập thông báo về trang web của bạn. Ví dụ trang web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt

File Robots.txt mặc tình hình định của trợ giúp Word press:

User-agent: chính vì * Disallow: phụ thuộc /wp-admin/ Disallow: đồng thời /wp-includes/

Chỉnh sửa footer thú vị

Hoặc hiệu quả Bạn có giỏi lẽ tham chống nước khảo code đem lại này

User-agent: * biểu đạt Disallow: /wp-admin/ mục tiêu User-agent: * cần làm Allow: / đồ vật Disallow: /*?* gây dựng Disallow: /*/?* khối lượng Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ không bình thường VÍ DỤ vận dụng KHÁC VỀ ROBOTS.TXT

Chặn tiềm ẩn bot không trọng lượng cho chỉ cuốn hút mục đa đặt chỗ số trang nên làm web Bạn có cũng chính vì câu lệnh bền vững giống như cồng kềnh sau: User-agent:* không còn kỳ vọng Disallow: / hết lòng Lệnh này nồng hậu có ý CMS nghĩa: “Không có ích cho phép thay đổi các bot cho dù của công tránh cụ search duyệt đăng nhập tầm giá và đánh nâng cao chỉ mục cần thiết trên đa số tài nguyên có trên trang web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục đa số data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục đa số các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không cho các bot search và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng nhập đa số data trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn đa số các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot search đa số data trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”