Suchmaschinen-Spider erkennen und ausfiltern

Wer seine Logfiles gerne nach Besuchen von Suchmaschinen Bots und Spidern untersuchen möchte, oder evtl. extra behandeln möchte, der findet unter www.iplists.com eine komplette Liste aller bekannten Suchmaschinenspider mit IP-Adressen.

In der Liste sind alle Spider, der bekannten Suchmaschinen, nach Anbietern sortiert.