Robot-Fänger: Wann kommen die Bots von Google und Co.?

von Berthold Krayer

Jeder will es wissen: Wann und wie oft indexieren die Robots von Google und Co. meine Seiten? Und auf welchen Seiten meines Projektes tummeln sie sich mit Vorliebe?

In den Logfiles immer wieder Ausschau zu halten, ist zeitaufwändig. Wer auf Software und lange Quellcodes verzichten will, dem sei folgender Codeschnipsel empfohlen.

Der Codeschnipsel ist in PHP geschrieben und kann mittels Include-Befehl schnell in die gewünschte(n) Seite(n) eingebaut werden.

 <?php include("robotfaenger.php"); ?>
    

Das Script erkennt die Spider von Google, MSN, Fireball, Alexa, Exalead und Fast. Es notiert Datum und Uhrzeit, die URL, den Host und die IP-Adresse des Bots.

      <?php 
    $trackurl = $_SERVER['PHP_SELF'] ; 
    $trackUserAgent =strtolower($_SERVER['HTTP_USER_AGENT']); 
    if (stristr($trackUserAgent ,"archiver")) {$trackrobot="Alexa";}
    
    if (stristr($trackUserAgent ,"exabot")) {$trackrobot="Exalead";}
    
    if (stristr($trackUserAgent ,"fast")) {$trackrobot="Fast";}
    
    if (stristr($trackUserAgent ,"firefly")) {$trackrobot="Fireball";}
    
    if (stristr($trackUserAgent ,"googlebot")) {$trackrobot="Google";}
    
    if (stristr($trackUserAgent ,"msnbot")) {$trackrobot="MSN";}
    
    $trackdate = date('Y-m-d'); 
    $tracktime = date('H:i:s'); 
    $trackhost = $_SERVER['HTTP_HOST']; 
    $trackaddr = $_SERVER['REMOTE_ADDR']; 
    $referer = $_SERVER['HTTP_REFERER']; 
    if ($trackrobot != "") { 
    // Suchmaschinen // 
    $eingeloggt = "
    trackrobot= $trackrobot
    trackurl= $trackurl 
    trackdate= $trackdate
    tracktime= $tracktime
    trackhost= $trackhost
    trackaddr= $trackaddr
    ";
    mail (webmaster@eineseite.de, "Der $trackrobot war da!", "$eingeloggt");
    } ?> 

Diese Daten können auf verschiedene Weise genutzt oder übermittelt werden. Möchte man eine Statistik errechnen, empfiehlt sich das Speichern in eine MySQL-Datenbank oder Textdatei. Im hier vorgestellten Fall wird eine Email gesendet. So ist man stets zeitnah informiert. Dies lohnt sich vor allem für kleine und besonders für neue Websites.

Weitere Beiträge:

• 5 Ideen wie Sie wiederkehrende Arbeitsschritte & Marketingprozesse gewinnbringend im Internet automatisieren! Ein Gastbeitrag von Robert Nabenhauer.
• Wachstum durch Facebook-Gewinnspiele: Wie Sie über Facebook virale Gewinnspiele & eine schnell wachsende Fangemeinde aufbauen
• Wie Sie aufmerksamkeitsstarke Prelaunch-, Launch- und Relaunch-Szenarien aufbauen und dabei Viralität, Spannung & Kaufkraft erzeugen
• Wie Sie waschechte Iphone-Apps mit PhoneGAP entwickeln, um am lukrativen App-Markt mitzumischen
• Wie Sie Ihr Shop-Sortiment so präsentieren, dass der Kunde in Zukunft mehr findet und eher kauft! Ein Gastbeitrag von Nicolas Schmidt-Voigt.
• 11 faszinierende BuddyPress-Plugins, um kostenlos aus WordPress ein soziales Netzwerk zu zaubern
• Die Vorboten einer neuen Internet-Industrie! Ein exklusiver Rückblick & Blick hinter die Kulissen der Clickbank-Exchange 2011 in New York.