Da hab ich doch glatt die diversen Googlebots und den msnbot ausgeschlossen als ich am Montag die .htaccess auf der Eierlegenden Wollmilchsau angepasst habe. Lag nur daran das

RewriteCond %{HTTP_USER_AGENT} bot
RewriteRule ^.*$ – [F]

alle Bots auschloss, deren User-Agent *bot* im Namen enthielt, darunter eben auch oben erwähnte… Fehler ist nun behoben. Insgesamt werden nun über 500 verschiedene User-Agents, dutzende IPs, einige IP-Ranges und ein paar Refferer komplett ausgeschlossen von der Site.

Den vielen (Bot-)Anfragen von letzter Woche bin ich auf der Spur. Pangora, ein Vermarkter von/für Preissuchmaschinen generierte über dessen Partner affilinet die letzten Julitage über ungewöhnlich viele Klicks. Pangora selbst ist das auch aufgefallen und entsprechend wurde affilinet vorrübergehend aus deren Programm gekickt. Mit der Abrechnung werde ich detailierte Logs von Pangora erhalten. Mal schauen was da so drin steht.

Seit Vorgestern kamen viele Zugriffe von einer Site des Filehosters files.to. Ungewöhnlich. Ich kann leider nicht genau lokalisieren von wo aus genau auf deren Servern zugegriffen wird, da die Ursprungs-URL leider nur verkürzt gelogt wurde Hab erstmal nen 403 drauf gelegt für Leute die von files.to kommen. Brachte auch größtenteils Erfolg, dennoch kommt ein ungewöhnlich hoher Anteil an Besuchern derzeit aus dem östlichen Europa und Asien…

Werde morgen endlich mal schauen wie ich den ganzen Sinnlosbots ebenfalls einen 403 zur Antwort gebe. Hab da auch schon ein entsprechendes Tool im Supportforum entdeckt.