Crawling ist der Prozess, bei dem Suchmaschinen-Bots das Internet nach neuen Inhalten durchkämmen. Indexierung ist das anschließende Speichern dieser Inhalte in der gigantischen Datenbank der Suchmaschine.
Stellen Sie sich Google als riesige Bibliothek vor. Der Crawler ist der Bibliothekar, der neue Bücher sucht. Die Indexierung ist das Einsortieren Ihres Buches in den Katalog. Wenn Ihr Buch nicht im Katalog steht, kann es von keinem Kunden ausgeliehen werden.
Wenn Ihre Website technische Fehler hat (z. B. falsche „noindex“-Tags), schicken Sie den Bibliothekar aktiv weg. Sie können die besten Texte der Welt haben – wenn Google sie nicht indexieren darf, bleiben Ihre Besucherzahlen konsequent auf Null.
Das einzige Tool, das Ihnen schwarz auf weiß zeigt, ob Google Ihre Seite indexiert hat oder warum sie abgelehnt wurde. Ein absolutes Pflicht-Tool für jedes KMU, das gefunden werden will.
Moderne, stark animierte Websites können oft nicht richtig gecrawlt werden, weil Suchmaschinen den komplexen Code nicht ausführen können. Google sieht dann nur einen leeren Bildschirm. Halten Sie es technisch sauber.
Das ist das Türsteher-Schild für den Googlebot. Ein einziges falsch gesetztes Zeichen in dieser Textdatei kann Ihre gesamte Website über Nacht komplett aus den Google-Suchergebnissen löschen.