sebsauvage.net

Ce site n'est pas le site officiel.
C'est un blog automatisé qui réplique les articles automatiquement

Robots.txt meant for search engines don’t work well for web archives | Internet Archive Blogs

Sunday 23 April 2017 at 07:51

Archive.org ne va plus tenir compte des robots.txt pour archiver les sites. C'est très bien. Trop de sites se servent des robots.txt pour faire disparaître des pages d'archive.org par simple convenance.
(Permalink)

Source: https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/