User-Agent: * Disallow: /music? Disallow: /widgets/radio? Disallow: /show_ads.php Disallow: /affiliate/ Disallow: /affiliate_redirect.php Disallow: /affiliate_sendto.php Disallow: /affiliatelink.php Disallow: /campaignlink.php Disallow: /delivery.php Disallow: /music/+noredirect/ Disallow: /harming/humans Disallow: /ignoring/human/orders Disallow: /harm/to/self Allow: /
lunedì 2 agosto 2010
Le tre leggi della robotica
Il file robots.txt di last.fm è fatto così:
Iscriviti a:
Commenti sul post (Atom)
3 commenti:
buontemponi! come ci sei arrivato?
Girellando qua e là... Era una segnalazione su boing boing (http://boingboing.net/2010/07/27/lastfms-robotstxt.html)
È utile dare sempre nomi significativi ai files :-)
Posta un commento