Cost of Retrieval: Warum Google manche Seiten nicht crawlt oder indexiert

Einleitung

Wenn man die meisten SEOs nach den wichtigsten Ranking-Faktoren fragt, hört man oft die Antworten „Content“ und „Backlinks“. Auch wenn Google-Mitarbeiter dem wahrscheinlich widersprechen würden, spreche ich aus eigener Erfahrung: Diese beiden Faktoren gehören zu den zentralen Bausteinen. Allerdings gibt es noch weitere Aspekte, die darüber entscheiden, ob der Content und die Backlinks überhaupt wirksam werden. Der Cost of Retrieval, ein Teilbereich des technischen SEO, befasst sich genau mit der Frage, ob und wie Google die eigene Website crawlen und indexieren kann.

Im Folgenden möchte ich erläutern, wie Google Websites verarbeitet – beziehungsweise auch nicht – und welchen Einfluss das auf die eigenen Rankings haben kann. Ich gehe dabei auf die wesentlichen Faktoren des Cost of Retrieval Konzepts ein und gebe konkrete Tipps, wie du deine eigene Seite dafür optimieren kannst.

Was ist Cost of Retrieval

Cost of Retrieval stammt ursprünglich aus dem Bereich des Information Retrieval – einem Forschungsfeld, in dem es darum geht, gezielt Informationen aus großen Datenmengen zu extrahieren. Grundsätzlich beschreibt der Begriff den Aufwand, den es erfordert, bestimmte Daten aus einem umfangreichen Datensatz herauszufiltern.

Übertragen auf die Suchmaschinenoptimierung könnte man es so formulieren: Es stellt sich die Frage, ob sich der rechnerische Aufwand, Informationen aus einer Website zu extrahieren, wirklich lohnt. Ein anschauliches Beispiel ist das einer Waage mit zwei Waagschalen: Auf der einen Seite befindet sich die Arbeit, die ein Computer leisten muss, um die Informationen zu gewinnen; auf der anderen Seite steht der Informationsgehalt der Seite. Überwiegt der Informationswert den Aufwand, lohnt sich der Prozess – ist der Arbeitsaufwand zu hoch, lohnt es sich eben nicht.

Damit eine Suchmaschine diese Abwägung vornehmen kann, muss sie immer beide Seiten berücksichtigen. In der Regel werden daher zunächst nur wenige Seiten einer Domain gecrawlt – erst danach entscheidet sich, ob der zusätzliche Speicherplatz und die Rechenleistung für den Rest der Inhalte gerechtfertigt sind.

Relevanz von Cost of Retrieval

Für Suchmaschinenanbieter

Das oben genannte Beispiel verdeutlicht die grundlegende Frage, mit der sich große Suchmaschinen wie Google auseinandersetzen: Lohnt es sich, eine Webseite zu indexieren, oder ist ihr Informationsgehalt zu gering? Angesichts der täglich neu veröffentlichten Seiten im Netz müssen Suchmaschinen effizient „haushalten“. Eine kleine Randbemerkung: Jede Webseite, die in den Index aufgenommen wird, wird nicht nur einmal auf den eigenen Servern von Google und Co. gespeichert, sondern es werden auch mehrere Snapshots angelegt. Auch das kontinuierliche Crawlen und Indexieren erfordert erhebliche rechnerische Arbeit und immense Speicherkapazitäten. Daher ist es sinnvoll, bereits im Vorfeld zu prüfen, ob es sich lohnt, eine gesamte Website mit vielen Unterseiten abzuspeichern. Das dient nicht zuletzt auch als Spam-Prävention.

Der schlimmste Fall, der eintreten kann, wenn deine Website den Ansprüchen von Suchmaschinen wie Google nicht gerecht wird, ist, dass sie schlichtweg ignoriert wird – beim Crawlen, Indexieren und letztlich in der Google-Suche. Es kann also passieren, dass deine Website nur teilweise oder gar nicht in den Suchergebnissen erscheint, wenn Google, Bing und Co. sie nicht korrekt lesen können.

Für die Nutzer

Die Faktoren, die zur Bewertung des Cost of Retrieval herangezogen werden, überschneiden sich teilweise mit denen, die für ein gutes Nutzererlebnis entscheidend sind. Ist eine Website also so aufgebaut, dass sie von Suchmaschinen problemlos gecrawlt und abgerufen werden kann, wirkt sich dies häufig auch positiv auf die Benutzerfreundlichkeit aus. Umgekehrt kann es auch sein, dass Schwierigkeiten in der Usability auch den Crawl- und Indexierungsprozess beeinträchtigen können.

Faktoren für Cost of Retrieval

Der Inhalt

Bevor wir uns die technischen Faktoren genauer anschauen, sollten wir uns kurz die Frage stellen, ob es sich überhaupt lohnt, eine Website zu crawlen und zu indexieren – ganz unabhängig davon, wie gut sie technisch aufgebaut ist. Entscheidend dafür ist vor allem der Inhalt, den es zu extrahieren gilt. Ist der Content neu, originell oder zumindest anders als das, was schon im Netz zu finden ist?

Google und andere Suchmaschinen müssen Websites nicht zwingend indexieren, wenn deren Inhalte in ähnlicher Form bereits existieren. Das lässt sich am besten am Beispiel Duplicate Content zeigen: Wenn ein Text schon vor Jahren irgendwo online veröffentlicht wurde, warum sollte Google diesen Inhalt auf einer neuen Website erneut crawlen und indexieren? In einem solchen Fall ist die Wahrscheinlichkeit hoch, dass die neue Seite schlicht ignoriert wird.

Dies gilt letztlich auch für Inhalte, die mit Hilfe von Trainingsdaten großer Large Language Models wie ChatGPT, Claude, Mistral, Gemini, Llama oder Deepseek generiert wurden. Je origineller der Inhalt, desto besser für Suchmaschinen und am Ende natürlich auch für die Nutzer.

Komplexität der Darstellung von Inhalten

Zwischen Websites, die einfach nur Texte in Schwarz auf weißem Hintergrund präsentieren – oftmals klassische Blogs – und aufwändig gestalteten Seiten mit vielen Effekten beim Scrollen, liegt eine riesige Bandbreite. Webdesign ist inzwischen eine regelrechte Kunstform, und jedes Jahr werden zahlreiche Awards für das beste Design vergeben. Doch aus Sicht einer Suchmaschine sollte eine Website vor allem so aufgebaut sein, dass sowohl Nutzer als auch Suchmaschinen-Crawler sie schnell und einfach verstehen und bedienen können. Inhalte sollten daher nicht versteckt sein, und auch das Springen von einer Unterseite zur nächsten sollte problemlos möglich sein.

Meine Erfahrung zeigt: Komplexe Designs, die erst durch aufwendiges JavaScript oder umfangreiches CSS möglich werden, erschweren Suchmaschinen oft das Crawlen und Indexieren einer Website. Google, Bing und Co. sind inzwischen zwar recht gut darin, auch JavaScript-lastige Websites zu erfassen, dennoch bewährt sich in der Praxis meist ein schlankerer Ansatz mit möglichst statischen Seiten. Je einfacher eine Seite technisch gestaltet ist, desto leichter fällt es den Suchmaschinen, sie vollständig, regelmäßig und zuverlässig zu indexieren.

Beim Erstellen einer Website steht man häufig vor folgender Entscheidung: Entweder man spart Zeit, indem man auf Lösungen setzt, mit denen man eine Seite schnell zusammenklicken kann – dann aber oft mit jeder Menge zusätzlichem Code, der das Crawlen und Indexieren durch Suchmaschinen erschweren kann. Oder man nimmt sich von vornherein mehr Zeit für eine technisch saubere und schlanke Umsetzung, mit der Suchmaschinen anschließend deutlich besser umgehen können. Letzteres ist langfristig meist die nachhaltigere Variante, da eine gut crawlbare Website in der Regel auch bessere Rankings erzielt.

Durchschnittliche Serverantwortzeit

Wer sich schon mal intensiver mit der Google Search Console auseinandergesetzt hat, dem sind vermutlich die Crawling-Statistiken in den Einstellungen aufgefallen. Dort bekommt man nicht nur eine Übersicht darüber, wie viele Crawling-Anfragen Google in den letzten drei Monaten gestellt hat, sondern sieht auch die durchschnittliche Reaktionszeit der Website. Dieser Wert beschreibt, wie lange der Webserver braucht, um auf die Anfragen des Googlebots zu antworten.

Je niedriger die durchschnittliche Reaktionszeit, desto effizienter kann Google die eigene Website crawlen. Andersherum bedeutet eine hohe Reaktionszeit, dass Google deutlich länger warten muss, um die gewünschten Informationen zu erhalten. Das kann dazu führen, dass der Bot insgesamt weniger Seiten in derselben Zeit besucht, wodurch möglicherweise wichtige Inhalte später oder gar nicht erfasst werden.

Google empfiehlt hier Werte von unter 200. Realistischer sind aber Werte von 200-400. Ab 600 kann es zum Problem werden, wenn Google Websites nicht mehr so effizient crawlen und indexieren kann.

Anzahl und Größe der Seiten

Beim Crawling einer Website spielen vor allem zwei Faktoren eine entscheidende Rolle: Zum einen, wie häufig Google und andere Suchmaschinen die Website besuchen, und zum anderen, wie viele Unterseiten dabei gecrawlt werden müssen. Aus meiner Erfahrung lohnt es sich, die Anzahl dieser Unterseiten möglichst gering zu halten. Konkret heißt das: keine unnötigen Seiten erstellen, die kaum Inhalt bieten, technische Probleme beheben, die versehentlich zusätzliche Seiten erzeugen, und Inhalte oder ganze Seiten konsequent löschen, wenn diese nicht mehr gebraucht werden. Weniger Unterseiten bedeutet für Google weniger Aufwand beim Crawlen – und sorgt letztlich dafür, dass die wirklich relevanten Inhalte zuverlässig gefunden und indexiert werden.

Nicht nur die Anzahl der Seiten kann zum Problem werden, sondern auch deren Größe in Megabyte. Letztlich verursacht jedes zusätzliche Megabyte für Google höhere Kosten, da von jeder Seite mehrere Snapshots auf den Servern abgelegt werden müssen. Bei einer einzelnen Seite fällt das vielleicht noch nicht stark ins Gewicht, doch bei Onlineshops mit Tausenden von Produkten und Kategorien wächst der benötigte Speicherplatz schnell in den Gigabyte-Bereich. Auch deshalb sollten Produkt- und Kategorieseiten idealerweise nicht größer als 1–2 Megabyte sein. Das ist nicht nur für Suchmaschinen sinnvoll, sondern verbessert gleichzeitig das Nutzererlebnis, da Kunden sich dadurch wesentlich schneller und angenehmer im Shop bewegen können.

Technische “Roadblocks”

Darüber hinaus gibt es auch noch technische Roadblocks – also Probleme, die das Crawling einer Website erschweren oder komplett verhindern können. Zu den wichtigsten gehören beispielsweise:

• 404-Fehler: Die Seite ist nicht auffindbar oder aktuell nicht abrufbar.
• 500er-Fehler: Interne Serverprobleme, durch die der Zugriff auf Inhalte verhindert wird.
• Eine fehlerhaft konfigurierte robots.txt-Datei, die Suchmaschinen fälschlicherweise den Zugriff auf Inhalte verweigert.
• Falsch gesetzte Robots-Meta-Tags wie noindex oder nofollow, die dafür sorgen, dass Seiten oder Inhalte nicht indexiert oder verfolgt werden.
• Weiterleitungsschleifen (Redirect Loops), die den Crawler ins Leere laufen lassen.
• Inhalte, die vollständig über JavaScript nachgeladen werden und vom Crawler möglicherweise nicht erkannt werden.
• Canonical-Tags, die inkorrekt gesetzt sind und damit verhindern, dass Google die richtige Seite indexiert.

Wie lassen sich Probleme hinsichtlich Cost of Retrieval finden?

Oftmals genügt bereits ein kurzer Blick in die Google Search Console. Wie oben beschrieben, findest du dort in den Einstellungen die Crawling-Statistiken. Kommt der Google-Crawler nur sehr selten vorbei, deutet das entweder auf technische Probleme hin oder darauf, dass die Inhalte für Google schlicht „nicht interessant“ genug sind. Vor einiger Zeit konnte man mit dem Präfix cache:domain.org im Chrome-Browser sogar direkt sehen, wann Google die Website zuletzt gecrawlt und als Snapshot gespeichert hat. Lag dieser Zeitpunkt nicht lange zurück, war das meist ein gutes Zeichen – Google schaute regelmäßig vorbei, um neue Inhalte zu entdecken. War der Snapshot jedoch älter, deutete das möglicherweise auf inhaltliche oder technische Probleme hin.

Ein weiterer Vorteil des mittlerweile eingestellten Präfixes cache: war, dass man die Website im Google-Cache einfach auf Fehler überprüfen konnte. Wurde die Seite nicht richtig dargestellt oder indexiert, ließ sich das direkt erkennen und beheben. Als Alternative hierfür eignet sich heute aber auch die Wayback Machine von archive.org. Dort lassen sich ebenfalls ältere Snapshots abrufen und mögliche Probleme mit der Darstellung oder dem Design nachvollziehen.

Neben dem cache:-Präfix gibt es noch weitere nützliche Befehle, die sich direkt in der Google-Suche einsetzen lassen. Beispielsweise zeigt dir der Befehl site:domain.org alle Seiten einer Domain an, die von Google indexiert wurden. Dabei stellt sich natürlich die Frage: Erscheinen hier wirklich alle Seiten, oder werden auch ungewollte Dateien wie PDFs und andere Formate angezeigt, die eigentlich gar nicht in den Suchergebnissen erscheinen sollen? Mithilfe dieses einfachen Suchpräfixes kannst du das schnell herausfinden. Und das Beste daran: Die gängigen Suchmaschinen – darunter Bing, Brave Search, DuckDuckGo und Yep – unterstützen ähnliche Präfix-Befehle, sodass du auf mehreren Plattformen einen umfassenden Überblick über deine indexierten Inhalte bekommst.

Neben der Google Search Console werfe ich übrigens auch gern mal einen Blick in die Bing Webmaster Tools. Hier findet man immer wieder spannende Hinweise auf Fehler und technische Probleme. Bei einem unserer Kunden kam zum Beispiel der Hinweis „HTML zu lang“. Nach einem kurzen Check im Seitenquelltext stellte sich tatsächlich heraus, dass die HTML-Datei insgesamt über 12.000 Zeilen hatte. Das waren knapp 8000 Zeilen mehr als Konkurrenz-Websites. Das Problem dabei: Beim Crawlen könnte irgendwann die Zeit ablaufen, und die Seite wird schlicht nicht vollständig erfasst.

Apropos Seitenquelltext: Ein direkter Blick in den HTML-Code lohnt sich eigentlich immer. Hier zeigen sich häufig unmittelbar Fehler, die das Crawlen und Indexieren beeinträchtigen können, etwa falsch gesetzte Robots-Meta-Tags oder fehlerhafte Canonical-Tags.

Um die technische Basis einer Website wirklich fundiert bewerten zu können, empfiehlt es sich, zusätzlich ein eigenes Tool für einen vollständigen Crawl zu nutzen. Hierfür eignen sich etablierte SEO-Tools wie SEMrush, Ahrefs oder Ryte, aber auch Desktop-Programme wie der Screaming Frog. SEMRush, Ahrefs und Ryte geben dir direkt eine priorisierte Übersicht mit den wichtigsten Problemen an die Hand. Beim Screaming Frog hingegen musst du die Ergebnisse eigenständig interpretieren, dafür sind die Ergebnisse detaillierter und lassen sich auf verschiedenste Weisen darstellen.

Wie optimiere ich meine Website für Cost of Retrieval

Schon beim Aufbau von Websites und Webshops solltest du nicht nur den Nutzer, sondern auch die Suchmaschine von Anfang an im Blick haben. Hier ein paar Tipps, wie Google deine Website optimal crawlen und indexieren kann. Alle Tipps lassen sich gleichermaßen auf Websites und Onlineshops anwenden – unabhängig davon, ob du ein bestimmtes CMS oder ein Shopsystem verwendest. Nur bei statischen Seiten, die ohne Datenbank auskommen, entfällt der Punkt der Datenbankoptimierung.

• Originelle und wertvolle Inhalte:
  Sorge dafür, dass deine Inhalte originell sind und echten Mehrwert bieten. Automatisch generierte Texte von Chatbots sollten dabei vermieden werden, denn letztlich muss es sich für Suchmaschinen lohnen, deine Website zu crawlen und zu indexieren.
• Nur so viele Seiten wie nötig:
  Erstelle nur die Seiten, die wirklich erforderlich sind. Viele Seiten mit wenig Text und Inhalt bringen weder dem Nutzer noch den Suchmaschinen etwas und können den Crawling-Prozess unnötig belasten.
• Statische Seitenstruktur bevorzugen:
  Baue deine Website möglichst statisch auf. Komplexe Effekte, die aufwendig mit Javascript statt mit CSS umgesetzt werden, erschweren es Suchmaschinen, die Inhalte korrekt zu verarbeiten. Eine gute Faustregel ist die Frage, ob die Seite auch funktionstüchtig bleibt, wenn ausschließlich der reine Text dargestellt wird.
• Übermäßigen Einsatz von Javascript vermeiden:
  Zu viel Javascript kann nicht nur die Ladezeiten verlängern, sondern auch die Interpretation und das Rendern der Website durch Google, Bing und Co. behindern. Ein schlanker Code verbessert die Performance und erleichtert das Crawlen. Pro-Tipp: Auch das interne Verlinken mittels Javascript sollte vermieden werden. Crawler können das im Zweifelsfall nicht interpretieren und folgen den Links nicht.
• Wichtige Inhalte nicht verstecken:
  Vermeide es, essenzielle Inhalte zu verstecken, etwa durch Lazy Loading bei Texten oder Ladeanimationen beim Wechseln der Unterseiten.

Tipps für die technische Optimierung

• Schneller Hoster:
  Hier sollte nicht gespart werden. Shared Hosting – also der geteilte Webspace – ist für Business-Websites oder Webshops oft nicht optimal, da die Ladezeiten durch die Mitbenutzung anderer Websites beeinträchtigt werden können. Ein eigener Webserver, sei es physisch oder in der Cloud, bietet mehr Performance und erlaubt zudem technische Anpassungen, die sowohl die Ladezeit als auch die Crawlbarkeit deiner Website verbessern.
• IPv6 & HTTP/3:
  Sobald du einen eigenen Webserver betreibst, empfiehlt es sich, IPv6 und möglichst auch HTTP/3 zu aktivieren. Beide Technologien können den Zugriff auf deinen Server verbessern, da sie moderneres Routing und geringere Latenzzeiten ermöglichen. Das Ergebnis: eine optimierte Reaktionszeit, die sowohl für Suchmaschinen als auch für Nutzer von Vorteil ist.
• Datenbank-Optimierungen:
  Bei CMS und Systemen, die auf relationalen Datenbanken basieren, gilt: Halte die Datenbank so schlank wie möglich. Eine zu umfangreiche Datenbank – ohne entsprechende Optimierung, Indexierung und Caching – kann zu längeren Zugriffszeiten führen und somit die Performance deiner Website negativ beeinflussen. Auch hier gilt: Je schneller die Daten abgerufen werden können, desto reibungsloser funktionieren sowohl die Nutzererfahrung als auch das Crawling durch Suchmaschinen.
• DNS:
  Eine relativ unkomplizierte Optimierungsmaßnahme ist die Nutzung eines schnellen DNS-Anbieters. Das DNS übersetzt die Domain in die benötigte IP-Adresse, damit der Browser die Website abrufen kann. Reagiert das DNS zügig, verbessert das unmittelbar die Ladezeit deiner Seite. In diesem Zusammenhang ist der kostenlose Plan von Cloudflare sehr empfehlenswert –  Dessen DNS-Dienst gehört zu den schnellsten und zuverlässigsten, was letztlich nicht nur die Performance deiner Website, sondern auch deren Crawlbarkeit positiv beeinflusst.

Ausblick

Jeden Tag kommen Tausende neuer Websites online – häufig mit kopierten oder automatisch generierten Inhalten. Auch deswegen wird Google künftig noch strenger auf die Qualität der Inhalte achten und genau hinschauen, ob Websites gut crawlbar und indexierbar sind. Die hier vorgestellten Maßnahmen und Faktoren sollen dir dabei helfen, dass Google deine Website ordnungsgemäß crawlt und indexiert, sodass sie auch in Zukunft in den Suchergebnissen sichtbar bleibt. Falls du aktuell Probleme damit hast, dass bei deiner oder einer anderen Website nicht alle Seiten von Google erfasst werden, bieten dir diese Tipps vielleicht erste Ansatzpunkte, um die Ursachen zu identifizieren und zu beheben.

Häufige Fragen

Was ist Cost of Retrieval?

Cost of Retrieval im SEO ist ein Konzept, welches die Arbeitsleistung einer Suchmaschine für das Crawlen und Indexieren einer Website dem Nutzen gegenübergestellt. Kurz: Lohnt es sich, diese Website zu crawlen und zu indexieren oder sind die Inhalte zu schlecht und dafür der Aufwand zu hoch?

Warum sind nicht alle meine Seiten auf Google zu finden?

Nicht alle deine Seiten sind in der Google Suche zu finden, weil sie entweder den qualitativen Ansprüchen von Google nicht genügen oder aber weil deine Website nicht ordnungsgemäß gecrawlt werden kann. Beides lässt sich aber mit mehr oder weniger einfachen Mitteln verbessern.