Trong năm 1996 Brewster Kahle, với Bruce Gilliat, phần mềm phát triển để bò và tải về tất cả các trang web rộng thế giới có thể truy cập được công khai, phân cấp Chuột, hệ thống bảng tin Netnews (Usenet), và phần mềm tải về. Thông tin được thu thập bởi những crawlers này không bao gồm tất cả các thông tin có sẵn trên Internet, vì nhiều dữ liệu bị giới hạn bởi nhà xuất bản hoặc được lưu trữ trong cơ sở dữ liệu không thể truy cập được. Những crawlers này cũng tôn trọng các robot loại trừ tiêu chuẩn cho các trang web mà chủ sở hữu chọn cho họ không xuất hiện trong kết quả tìm kiếm hoặc được lưu giữ. Để vượt qua sự mâu thuẫn trong một số trang web lưu trữ một phần, lưu trữ-nó. org được phát triển vào năm 2005 bởi Internet lưu trữ như là một phương tiện cho phép các tổ chức và nội dung sáng tạo để tình nguyện thu hoạch và bảo tồn bộ sưu tập nội dung kỹ thuật số, và
Chương trình cần thiết để bò và lưu trữ web được tạo ra khi nào?
1996