Robots.txt là dạng tập tin đặc biệt không phải là HTML hay một loại nào khác. Mục đích của việc nắm tới file robots.txt là khai báo đưa cho dụng cụ tìm kiếm biết rằng những content nào trên website của bạn được cho phép các bot tìm và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi nắm tới một dụng cụ search thông tin web site của bạn, điều đầu tiên mà nó search tất cả là file Robots.txt . File này sẽ nói với phương tiện search những gì tốt nhất nên và không cần phải lập chỉ mục. Nó cũng thường chỉ ra vị trí trang web của bạn trên XML Sitemap. Sau đó các dụng cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông tin web site của bạn theo giống như hướng dẫn cụ thể của file Robots.txt (các công cụ search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt có lẽ nằm ở thư mục gốc của bạn, bạn có lẽ tiện dụng tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn tránh được các lỗi đưa cho trang web song song cho phép mọi các dụng cụ search thu thập tin tức về web của bạn. Ví dụ trang web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
Lê Trương Tấn Lộc (sieutocviet.com)
Với 4 năm kinh nghiệm Laravel 7 năm thực chiến trong quản lý website tư vấn giải pháp Seo google, Kinh doanh online tối ưu nhất cho tập đoàn quốc tế.
Hiện giữ chức vụ giám đốc kinh doanh tại Siêu Tốc Việt.