Tập tin file robots.txt là gì? Hướng dẫn tạo tùy chỉnh trên wordpress

Khi có một công cụ tìm kiếm thông tin trang web của bạn, điều đầu tiên mà nó tìm kiếm hầu hết là file Robots.txt vậy file này là gì có tác dụng gì