Sep 12
Aktualisiert am: 6. November 2009
Das Internet archivieren, das möchte archive.org. Doch es gibt verschiedene Gründe seine eigene Seite nicht in der Wayback Machine sehen zu wollen. Dank des Robots Exclusion Protocol ist es natürlich möglich archive.org auszusperren und selbst schon indizierte Versionen seiner Seite zu deaktivieren.
Wenn man ersteinmal weiß, wie es geht, ist es auch nicht schwer…
User-agent: ia_archiver
Disallow: /
in einer robots.txt sperrt sowohl den Zugriff für den Spider, als auch deaktiviert es den Zugriff auf schon indizierte Seiten.
Selbstverständlich ist es auch möglich einzelne Dateien anzuschließen. Etwa so:
User-agent: ia_archiver
Disallow: /impressum.html
Related Posts
Keine passenden Posts gefunden
Hallo,
hmmm – verschiedene Gründe?
Bezieht sich das nur auf DC, oder gibt es Deiner Meinung nach auch noch andere Gründe, die Archiv-Seite auszuschließen?
Gruß aus Eime
Hey Martin,
die kompletten Unterseiten von web.archive.org sind per robots.txt für alle Crawler ausgeschlossen; DC kann man also schon mal ausschließen.
Anderes Problem ist beispielsweise Urheberrecht und Markenrecht. Wenn man mal ne Abmahnung bekommt und den Rechtsverstoß sozusagen aus der Welt schaffen soll, wobei manche hier auch Googlecache und halt auch archive.org einbeziehen, hat man es leichter, wenn die Seite erst gar nicht indiziert ist.
Ein anderer Grund ist, dass man, wenn man seine Seite offline stellt, dafür einen Grund hat, die Informationen nicht mehr öffentlich zugänglich zu machen. Da ist es der Person dann auch unerwünscht, wenn die Inhalte wo anders abgerufen werden können.
Mir persönlich ist es bei manchen Seite nicht so angenehm, wenn man sieht, wie sie eins ausgesehen haben. Am Anfang waren meine Kenntnisse in den verschiedenen Bereichen (php, html, css) im Vergleich zu heute beschränkt. Würd das wer sehn.. *g*
Ein weiterer Grund könnte natürlich sein, dass dort auch persönliche Daten etwa aus dem Impressum gespeichert werden….
Ist jetzt zwar keine klare Argumentationslinie, aber ich hoffe deine Frage soweit beantwortet zu haben =)
Grüße aus Hannover nach Eime
Stimmt, – von dem Gesichtspunkt aus gesehen kann es tatsächlich sinnvoll sein.
Wieder mal den eigenen Horizont erweitert *grins*
Also Danke für die ausführliche Antwort – schönen Samstag noch und hoffentlich auch einen sonnigen Sonntag
Och, ich freu mich doch, wenn jemand hier schreibt =) Vor allem, weil der Blog so neu ist!
Auch dir noch einen schönen Abend und nen sonnigen Sonntag