Der Suchriese nimmt sich engagierter Webmaster an und veröffentlich anspruchsvolle Tipps. Es geht um "Slurp" den hauseigenen Spider; wem der zuviel an Aktivitäten entwickelt, der darf sanft ausbremsen. Empfohlen werden das Gzip-Verfahren, Smart-Caching sowie die Nutzung der Datei robots.txt mit einem speziellen, Kommando. Das sieht dann so aus:
User-agent: Slurp
Crawl-delay: 100
Ist der Eintrag vorhanden, gönnt sich "Slurp" in diesem Fall eine Pause von 100 Sekunden zwischen zwei Anfragen.
Wie hilfreich war dieser Beitrag?
Klicke auf die Sterne um zu bewerten!
Durchschnittliche Bewertung 0 / 5. Anzahl Bewertungen: 0