Dirk Metzmacher 22. Februar 2005

Seitensauger – Nein danke!

Kein Beitragsbild

So genannte Offline-Reader oder „Websauger“ können sich komplette Websites mit hoher Geschwindigkeit einverleiben und so auch offline genießbar machen. Das diese Programme nicht selten Unmengen von 404 Fehlern in den Serverlogs hinterlassen und jede Menge Traffic erzeugen, möchte man sie manchmal lieber draußen wissen.

Mit Hilfe der .htaccess Datei kann so manches verhindert werden, was anders nicht oder nur mit erheblichem Aufwand zu erreichen ist. Allerdings erlaubt nicht jeder Provider den Einsatz der .htaccess Datei oder schränkt deren Funktionalität ein. Hier heißt es: Ausprobieren oder den Provider fragen.

Kein Zugriff auf diese Website
Möchte man vermeiden, dass Download-Programme auf die eigene Website zugreifen, erreicht man das mit einer „RewriteEngine“:

  RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^ClientXYZ.* RewriteRule
    ^/.* - [forbidden] 

Screenshot

Dieser Offline-Browser soll draußen bleiben

Noch mehr aussperren
Es ist durchaus möglich, mehrere Clients gleichzeitig auszusperren. Für jeden dieser Clients ist dann allerdings eine eigene „RewriteCond“ Anweisung nötig, die mit einem logischen „ODER“ verknüpft wird.

       RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^ClientABC.* [OR] RewriteCond
    %{HTTP_USER_AGENT} ^ClientXYZ.* RewriteRule ^/.* - [forbidden] 

Screenshot

Der „Webkopierer“ hat hier auch nichts verloren

Du kommst hier nicht rein
Noch einen Schritt weiter geht man, wenn Clienten, die einer bestimmten Domain entstammen, ausgesperrt werden sollen.

       RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^ClientABC.* [OR] RewriteCond
    %{HTTP_USER_AGENT} ^ClientXYZ.* RewriteCon %{REMOTE_HOST} ^www\.bestimmtedomain\.tld$
    [NC] RewriteRule ^/.* - [forbidden] 

Screenshot

Auch Getleft soll keinen Traffic verursachen

Umleitung für ungewünschte Gäste
Anstatt den Zugriff zu verbieten, lässt sich auch eine Umleitung einrichten.

       RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^ClientABC.* [OR] RewriteCond
    %{HTTP_USER_AGENT} ^ClientXYZ.* RewriteCond %{REMOTE_HOST} ^www\.bestimmtedomain\.tld$
    [NC] RewriteRule ^/index\.html$ /keinzutritt.html [R,L] 

Screenshot

Das „Web“ darf woanders herunter geladen werden

Beispiel .htaccess
Der HTTP_USER_AGENT des zu sperrenden Clients muss bekannt sein, um diesen Trick nutzen zu können. Eine Liste solcher USER_AGENTS findet man bei Psychedelix.

So könnte der Inhalt der .htaccess aussehen:

       RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^WebCopy.* [OR] RewriteCond
    %{HTTP_USER_AGENT} ^Teleport.* [OR] RewriteCond %{HTTP_USER_AGENT} ^WebFetcher.*
    [OR] RewriteCond %{HTTP_USER_AGENT} ^WebStripper.* [OR] RewriteCond %{HTTP_USER_AGENT}
    ^Wget.* [OR] RewriteCond %{HTTP_USER_AGENT} ^WebMirror.* [OR] RewriteCond
    %{HTTP_USER_AGENT} ^fetch.* RewriteRule ^/.* - [forbidden] 

Screenshot
Anti-Weazel mit .htaccess

100% sicher ist man so zwar nicht, da viele Seitensauger in der Lage sind, sich zu tarnen. Sie verändern einfach die Angabe USER_AGENT. Ungetarnte aber bleiben draußen.

Erstveröffentlichung 22.2.2005

Dirk Metzmacher

Dirk Metzmacher

Dirk Metzmacher ist der Herausgegeber des Photoshop-Weblogs, sowie Fachjournalist und Photoshop-Profi, dessen Tutorials seit über 12 Jahren Leser von Fachpublikationen wie Galileo Press, DigitalPhoto, Dr.Web, Print24, PSD-Tutorials oder Noupe von den Grundlagen zum Thema Photoshop bis hin zu professionellen Arbeitsweisen begleitet haben. Sein Twitter-Account und seine Facebookseite.
Dr. Webs exklusiver Newsletter
Hinweise zum Datenschutz, also dem Einsatz von Double-Opt-In, der Protokollierung der Anmeldung, der Erfolgsmessung, dem Einsatz von MailChimp als Versanddienstleister und deinen Widerrufsrechten findest du in unseren Datenschutzhinweisen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Kennst du schon unseren Newsletter?

Hinweise zum Datenschutz, also dem Einsatz von Double-Opt-In, der Protokollierung der Anmeldung, der Erfolgsmessung, dem Einsatz von MailChimp als Versanddienstleister und deinen Widerrufsrechten findest du in unseren Datenschutzhinweisen.