Robot. txt được sử dụng như một phần của các robot loại trừ tiêu chuẩn, một giao thức tự nguyện của Internet lưu trữ tôn trọng rằng các bot disallows từ việc lập các trang nhất định được tạo ra bởi người sáng tạo như là giới hạn. Như một kết quả, Kho lưu trữ Internet đã không hiển thị một số trang web mà bây giờ không thể truy cập qua máy Hãng. Hiện tại, Lưu trữ Internet áp dụng robot. txt quy tắc retroactively; nếu một trang web chặn các kho lưu trữ Internet, chẳng hạn như chăm sóc sức khỏe, bất kỳ trang lưu trữ nào trước đây từ miền cũng không có sẵn. Trong trường hợp các trang web bị chặn, chỉ có những con robot. tập tin txt đã được lưu trữ.
Robot loại trừ tiêu chuẩn loại nào?
tự nguyện