Der SearchmetricsBot oder auch Webcrawler oder Spider genannt ist der Prozess, der regelmäßig Webseiten erfasst und die so gewonnenen Daten für Analysen und Auswertungen aufbereitet.
Der SearchmetricsBot nutzt einen UserAgent wie “Mozilla/5.0 (compatible; SearchmetricsBot; https://www.searchmetrics.com/en/searchmetrics-bot/)”. Der User-Agent wird beim Aufrufen einer Webseite des SearchmetricsBots immer angegeben und ist in Statistiken und Logfiles über den User-Agent identifizierbar.
Es ist praktisch unmöglich Webinhalte grundsätzlich geheim zu halten, außer durch den Einsatz von Zugangsbeschränkungen wie Passwörter. In dem Moment, in dem irgendjemand einen Link auf Ihre Seiten setzt werden sie auch von Suchmaschinen und über kurz oder lang auch vom SearchmetricsBot gefunden. Wenn Sie nicht wünschen, dass der SearchmetricsBot Ihre Webseiten oder Teile davon erfasst, so nutzen Sie bitte die robots.txt dafür. Benutzen Sie innerhalb Ihrer robots.txt einfach den Eintrag “User-agent: SearchmetricsBot“ um einen Anweisungsblock für den SearchmetricsBot zu kennzeichnen. Eine gute Erklärung, Beispiele und weiterführende Links zur robots.txt finden Sie u.a. bei Google in der Webmaster Zentrale unter “Blockieren oder Entfernen“ oder auf Wikipedia.
Beispiel:
Wenn Sie nicht möchten, dass der SearchmetricsBot Ihre Seite “/geheim.html” erfasst, dann geben Sie in Ihrer robots.txt folgende Regel an:
User-agent: SearchmetricsBot
Disallow: /geheim.html
Der SearchmetricsBot ist nicht vergleichbar mit den Crawlern großer Suchmaschinen, die möglichst alle Inhalte einer Website erfassen wollen. Der SearchmetricsBot beschränkt sich in der Regel auf ausgewählte interessante Seiten und untersucht die Struktur dieser Seiten.
Sollten Probleme mit dem SearchmetricsBot auf Ihrer Webseite auftreten, so können Sie sich uns gern darüber informieren. Wir sind stets bemüht die Qualität des Crawlers zu verbessern und freuen uns über jedes Feedback.
Für Fragen oder Anmerkungen zum SearchmetricsBot wenden Sie sich an bot@searchmetrics.com.