lunedì 2 agosto 2010

Le tre leggi della robotica

Il file robots.txt di last.fm è fatto così:

User-Agent: *
Disallow: /music?
Disallow: /widgets/radio?
Disallow: /show_ads.php

Disallow: /affiliate/
Disallow: /affiliate_redirect.php
Disallow: /affiliate_sendto.php
Disallow: /affiliatelink.php
Disallow: /campaignlink.php
Disallow: /delivery.php

Disallow: /music/+noredirect/

Disallow: /harming/humans
Disallow: /ignoring/human/orders
Disallow: /harm/to/self

Allow: /

3 commenti:

Giuseppe Lipari ha detto...

buontemponi! come ci sei arrivato?

zar ha detto...

Girellando qua e là... Era una segnalazione su boing boing (http://boingboing.net/2010/07/27/lastfms-robotstxt.html)

Juhan ha detto...

È utile dare sempre nomi significativi ai files :-)