Elradon » robots.txt http://elradon.me Weil es doch so viel zu schreiben gibt! Sun, 25 Dec 2011 21:30:25 +0000 en hourly 1 http://wordpress.org/?v=3.2.1 Archive.org aussperren http://elradon.me/blog/archive-org-aussperren.html http://elradon.me/blog/archive-org-aussperren.html#comments Fri, 12 Sep 2008 14:24:51 +0000 Elradon http://elradon.me/?p=9 Das Internet archivieren, das möchte archive.org. Doch es gibt verschiedene Gründe seine eigene Seite nicht in der Wayback Machine sehen zu wollen. Dank des Robots Exclusion Protocol ist es natürlich möglich archive.org auszusperren und selbst schon indizierte Versionen seiner Seite zu deaktivieren.

Wenn man ersteinmal weiß, wie es geht, ist es auch nicht schwer…

User-agent: ia_archiver
Disallow: /

in einer robots.txt sperrt sowohl den Zugriff für den Spider, als auch deaktiviert es den Zugriff auf schon indizierte Seiten.

Selbstverständlich ist es auch möglich einzelne Dateien anzuschließen. Etwa so:

User-agent: ia_archiver
Disallow: /impressum.html

]]> http://elradon.me/blog/archive-org-aussperren.html/feed/ 4