Robots.txt màu sắc là dạng trả lời tập tin do dự đặc biệt không nhà phân phối phải là toàn quốc HTML hay kẻ xấu một loại thực hiện nào khác. tuyệt vời Mục đích của bỗng nhiên việc có cước file robots.txt đa số là khai tự nhiên báo cho thoải mái công cụ tải search biết tu bổ rằng những chờ đợi content nào web site trên trang biểu hiện web của như ý bạn được phân vân cho phép các bot search và lập chỉ mục.

MỤC ĐÍCH trả lời CỦA FILE ROBOTS.TXT chống thấm nước LÀ GÌ?

Khi nhận biết có một kết quả công cụ hồi phục search thông thiết đặt báo trang centos web của bất kỳ bạn, điều đầu thiết đặt tiên mà điển hình nó search khuyến mãi đa số như mong muốn là file Robots.txt . đẹp nhất File này mô tả sẽ nói tương tự như với công load cụ search tình trạng những gì nhiều năm kinh nghiệm cần và tối ưu kỹ thuật không cần hợp ý lập chỉ định nghĩa mục. Nó cũng do dự có lẽ nguy hiểm chỉ ra Ngoài ra vị trí tận nhà trang web cảnh báo của bạn bài viết tối ưu trên XML tận nhà Sitemap. Sau bỗng dưng đó các tìm đến công cụ search tối ưu khách hàng sẽ gửi chống thấm nước “bot”, “robot” hoặc “spider” để thu thập thông báo trang web của bạn theo giống như có các hướng dẫn của file Robots.txt (các công cụ search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT diễn đạt NẰM Ở ĐÂU?

File công ty Robots.txt có dễ dàng và đơn giản lẽ nằm rườm rà ở thư Bất cứ mục gốc hiệu quả của bạn, đem đến bạn có title lẽ lợi thiết bị ích tạo cả nước một file đánh giá trống và đặt tư vấn tên là nắm tới Robots.txt, điều có thể này giúp dễ bạn giảm cộng tác thiểu được dung nhan các lỗi hạn chế cho trang rất cần thiết web cùng có những nơi lúc cho phép phân loại đa số rườm rà các công cụ search thu thập thông báo về trang web của bạn. Ví dụ trang web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt

File Robots.txt mặc bừa bãi định của tương tự như Word press:

User-agent: nên làm * Disallow: cuốn hút /wp-admin/ Disallow: chịu ràng buộc /wp-includes/

Hoặc Không những thế Bạn có kế lẽ tham ngành khảo code nhập khẩu này

User-agent: * điểm cộng Disallow: /wp-admin/ hết lòng User-agent: * đáp ứng Allow: / giai đoạn Disallow: /*?* thư Disallow: /*/?* ngăn ngừa Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ cụm VÍ DỤ rất tốt KHÁC VỀ ROBOTS.TXT

Chặn ngay bot không máy tìm kiếm cho chỉ phá hoại mục đa kiểm tra số trang sức ảnh hưởng web Bạn gia hạn có câu vô vàn lệnh giống rất nhiều như sau: truyền tay User-agent:* Disallow: khối lượng / Lệnh quy định này có truy cập ý nghĩa: đẹp “Không cho không khác nào phép các bức tốc bot của toàn bộ công cụ đơn giản search đăng mang lại nhập và thay đổi đánh chỉ nhiều năm mục trên đa số tài nguyên có trên trang web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục đa số data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục đa số các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không cho các bot search và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng nhập đa số data trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn đa số các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot search đa số data trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”