Warum sollte ich die Indexierung beeinflussen?

Wenn man eine Webseite hat kann man sich denken, ich habe eine Webseite und will gefunden werden, somit soll alles in den Index. Das wäre aber nicht die sinnvollste Herangehensweise. Schaut man sich den klassischen Aufbau einer Webseite an, kann es durchaus Seiten geben, die man nicht indexieren möchte. Also sollte man sich Gedanken machen, welche Seiten für die Indexierung in Frage kommen.

Klassischer Aufbau einer Webseite
Beispiel klassischer Aufbau einer Webseite

Man muss sich überlegen, welche Inhalte der Webseite relevant für die Suche in einer Suchmaschine sind. Möglicherweise können z.B. Zusatzinformationen zu einem Produkt ausgeschlossen werden, wenn nur nach dem Produkt gesucht wird. Denn der Kunde erwartet, dass diese Zusatzinformation auf der Seite des Produktes verlinkt ist. Dann können noch die Datenschutzseite oder Landingpages, die nur über gewisse Kampagnen-Links erreichbar sein sollen, von der Indexierung ausgeschlossen werden.

Wie kann ich die Google Indexierung beeinflussen?

Die Indexierung durch den Google Bot kann mit verschiedenen Methoden beeinflusst werden.

  1. Im HTML-Head direkt auf der URL. Auf der Seite sind Metadaten im Code, die dem Bot sagen, was er machen darf. Es gibt zwei Befehle “noindex” und “nofollow”.
    1. Noindex: Sagt dem Bot, dass er diese Seite nicht in den Index mit aufnehmen soll.
    2. Nofollow: Sagt dem Bot, dass er keinem Link auf dieser Seite folgen soll.
  2. Über die Einstellungen in der robots.txt-Datei. Unterschied zur ersten Methode ist, dass ich über diese Datei das Verhalten des Bots auf der gesamten Webseite beeinflussen kann.
  3. Einen Bereich per .htaccess ausschließen. Diese Methode wird meistens auf Entwicklungsumgebungen angewendet, um den Zugriff nur für autorisierte Benutzer mit Logindaten zuzulassen.
Benötigt Ihre Webseite einen Feinschliff oder Sie möchten eine neue Webseite?
mehr über Webseiten Entwicklung
Beispiel einer sinnvollen Indexierung-Richtlinie
Je nach Inhalt der Seite ist es dann sinnvoll, die Indexierung zu beeinflussen.

Das Beeinflussen der Indexierung bringt auch den Vorteil, dass der Crawler (so werden die Bots auch genannt) mehr oder weniger geführt wird. So sagen wir welcher Inhalt auf der Webseite wichtig ist. Jede Webseite hat ein gewisses „Crawling-Budget“, welches durch eine sinnvolle Indexierungs-Strategie nicht unnötig aufgebraucht wird. Mehr Informationen direkt von Google gibt es hier.

weitere Interessante Artikel zum Thema