RankSider will remain RankSider.

Wie Sie den Googlebot aussperren

Als Webseitenbetreiber ist die Suchmaschinenoptimierung für Sie eine wichtige Maßnahme, um Ihre Webseite oder Ihr Blog sichtbarer zu machen und mehr Leser zu gewinnen. Doch zum SEO gehört ebenso, dass es nicht bei jeder Seite Sinn ergibt, sie durch den Googlebot indexieren zu lassen. Zum Beispiel, wenn Sie nicht möchten, dass Ihr Impressum über Google gefunden werden kann.

Um den Googlebot auszusperren, gibt es verschiedene Wege, je nach Art der Seite bzw. des Links:

  • robots.txt
  • Speichern Sie diese Datei im obersten Verzeichnis auf Ihrem Server (nicht in einem Unterverzeichnis), um dem Webcrawler den Zugriff auf die Dateien und Verzeichnisse auf Ihrem Server zu verweigern. Laut Googles offizieller Informationsseiten lesen weder der Googlerobot noch andere, seriöse Webcrawler mit robots.txt gesperrte Seiten (auch, wenn es rein technisch möglich ist). Die robots.txt eigent sich jedoch nicht für Webseiten, die viele dynamische Seiten enthalten, also beispielsweise für Online-Shops mit vielen Filterfunktionen.

  • “Noindex”-Meta-Tags
  • Dieses Tag bewirkt, dass die komplette Seite, auf der Sie es eingebaut haben, nicht indexiert wird. Natürlich können Sie Ihre vollständige Webseite inklusive aller Unterseiten für das Crawling sperren, indem Sie überall den “Noindex”-Meta-Tag setzen.

  • passwortgeschützte Verzeichnisse
  • Wenn Sie Dateien haben, die nicht indexiert werden und somit über Google auffindbar sein sollen, können Sie diese auf Ihrem Server in ein passwortgeschütztes Verzeichnis schieben. Beachten Sie allerdings, dass dieser Passwortschutz auch für Ihre Nutzer gilt! Daher ist dies nur für Blogs und Webseiten geeignet, die rein für den privaten Zweck erstellt werden und bei dem nur bestimmte Personen Zugriff haben sollen (beispielsweise bei einem Blog über Ihre geplante Hochzeit).

  • 404 ausliefern
  • Eine nicht gerade saubere, doch denkbare Möglichkeit ist es, dem Googlebot eine 404-Seite (Page Not Found Error) auszuliefern, dem Nutzer jedoch stattdessen den gewohnten Content anzuzeigen. Dies ist jedoch nur als Notlösung praktikabel und sollte bei Verwendung bald in eine effizientere Methode wie Nofollow oder robots.txt umgewandelt werden.

  • leerer Body
  • Ebenfalls eher etwas für fortgeschrittene Bastler und daher ohne umschweifende Erläuterung: Sie können dem Googlebot nur die HTML mit komplett leerem Body anzeigen und für den Nutzer die Seite über JavaScript bzw. AJAX nachladen.

  • iFrames verwenden
  • Nochmals etwas für Bastler: Der Googlebot kann keine iFrames lesen, was häufig zu Problemen mit dem Content führt. Dies kann man natürlich bewusst nutzen, indem man seinen gesamten Content in iFrames darstellt. Aber: Kommunizieren Sie die Source ihrer iFrames nicht! Taucht der Link zur Source in einer anderen Quelle auf, kann Ihr Content, der unter diesem Link liegt, natürlich dennoch indexiert werden.

  • User-Agent abfragen
  • Wenn Sie serverseitig den User-Agent abfragen, können Sie einstellen, dass (ausschließlich) dem User-Agent, den der Googlebot angibt, eine 404-Seite oder ein leeres Dokument ausgegeben wird.


» Möglichkeiten, besonders schnell indexiert zu werden
» Die Geschichte von Google oder: Wie eine Suchmaschine die Welt eroberte