Informationen zum Searchmetrics Bot
Der SearchmetricsBot oder auch Webcrawler oder Spider genannt ist der Prozess, der regelmäßig Webseiten erfasst und die so gewonnenen Daten für Analysen und Auswertungen aufbereitet.
UserAgent
Der SearchmetricsBot nutzt einen UserAgent wie “Mozilla/5.0 (compatible; SearchmetricsBot; http://www.searchmetrics.com/en/searchmetrics-bot/)”. Der User-Agent wird beim Aufrufen einer Webseite des SearchmetricsBots immer angegeben und ist in Statistiken und Logfiles über den User-Agent identifizierbar.
Sperren von Inhalten
Es ist praktisch unmöglich Webinhalte grundsätzlich geheim zu halten, außer durch den Einsatz von Zugangsbeschränkungen wie Passwörter. In dem Moment, in dem irgendjemand einen Link auf Ihre Seiten setzt werden sie auch von Suchmaschinen und über kurz oder lang auch vom SearchmetricsBot gefunden. Wenn Sie nicht wollen, dass der SearchmetricsBot Ihre Webseiten oder Teile davon erfasst, so nutzen Sie bitte die robots.txt dafür. Benutzen Sie innerhalb Ihrer robots.txt einfach den Eintrag “User-agent: SearchmetricsBot“ um einen Anweisungsblock für den SearchmetricsBot zu kennzeichnen. Eine gute Erklärung, Beispiele und weiterführende Links zur robots.txt finden Sie u.a. bei Google in der Webmaster Zentrale unter “Blockieren oder Entfernen“ oder auf Wikipedia.
Beispiel:
Wenn Sie nicht möchten, dass der SearchmetricsBot Ihre Seite “/geheim.html” erfasst, dann geben Sie in Ihrer robots.txt folgende Regel an:
User-agent: SearchmetricsBot
Disallow: /geheim.html
Was wird erfasst?
Der SearchmetricsBot ist nicht vergleichbar mit den Crawlern großer Suchmaschinen, die möglichst alle Inhalte einer Website erfassen wollen. Der SearchmetricsBot beschränkt sich in der Regel auf ausgewählte interessante Seiten und untersucht die Struktur dieser Seiten.
Probleme melden
Sollten einmal Probleme mit dem SearchmetricsBot auf Ihren Webseiten auftreten, so können Sie uns gern darüber informieren.
Wir sind stets bemüht Qualität des Crawlers zu verbessern und freuen uns über jedes Feedback.
Für Fragen oder Anmerkungen zum SearchmetricsBot wenden Sie sich bitte per E-Mail an bot@searchmetrics.com.