Selbstverständlich ist es ab und dann mal notwendig, dass man an seiner Website bestimmte Wartungsarbeiten durchführt. Und um den User nicht unnötig zu verwirren, kann man den natürlich darüber informieren und eine Datei hochladen, auf welcher kundgetan wird, dass man eben gerade in diesem Moment an der Website arbeitet. Nur was geschieht, wenn genau dann der Googlebot vorbeischaut?

Wenn man nicht in weiser Voraussicht die notwendigen Vorkehrungen trifft, dann kann das ins Auge gehen. So offensichtlich geschehen bei der Website der Band The Killers. Sucht man aktuell via Google nach der Band, dann steht auf Platz 1 der Suchergebnisse zwar die offzielle Bandwebsite, nur trägt diese den Titel:

Sorry, we are currently down for maintenance.

Ein Screenshot des Ergebnisses findet ihr oben! Ebenfalls im Screenshot zu erkennen: lustergerweise ist dasselbe bei Suchergebnis Nr. 3 geschehen deren Titel folgendermaßen lautet:

Unbenannte Seite

Da ist die noch nicht fertiggestellt Seite offensichtlich bereits online gewesen. In beiden Fällen sind offensichtlich nicht die notwendigen Vorkehrungen getroffen worden um ein unerwünschtes crawling durch den Googlebot zu verhindern. Dies kann mitunter zu Zugriffseinbrüchen führen, denn wenn ich nach der Band suche, und beim ersten Ergebnis in großen Lettern geschrieben steht, die Seite wäre down, dann klicken viele auf Ergebnis Nr. 2: Wikipedia. Besser also voraus denken:

Googlebot aussperren via robots.txt

Am besten man sagt dem Googlebot er soll für die Zeit der Wartungsarbeiten ganz einfach mal nicht vorbeischauen. Und am einfachsten geht das über die robots.txt Datei. Hier die notwendigen Infos zum aussperren des Googlebot sowie von anderen Spidern.