Shaare your links...
31103 links
Liens en vrac de sebsauvage
Home
Login
RSS Feed
ATOM Feed
Tag cloud
Picture wall
Daily
All links of one day
in a single page.
<
Previous day
-
Next day
>
Daily RSS Feed
The Daily Shaarli
Sunday 23, April 2017
Robots.txt meant for search engines don’t work well for web archives | Internet Archive Blogs
Archive.org ne va plus tenir compte des robots.txt pour archiver les sites. C'est très bien. Trop de sites se servent des robots.txt pour faire disparaître des pages d'archive.org par simple convenance.