Si no se desea que la araña de Archive.org entre en tu web hay que indicarlo en el fichero Robots.txt del siguiente modo:
User-agent: ia_archiver
Disallow: /
Esto tendrá otro efecto, eliminará de Wayback Machine todo el contenido que tengan recopilado de tu web.
El fichero Robots.txt hay que colocarlo en la raiz de tu web (www.dnzapping.es/robots.txt).





Suscribirse a DnZapping
