Robots.txt
Die Datei robots.txt ist eine Textdatei, die auf dem Server einer Website gespeichert werden kann.
Sie legt fest, ob und welche Unterseiten der Website die Crawler von Suchmaschinen besuchen und in ihren Index aufnehmen dürfen. Dadurch können bestimmte Unterseiten vom Suchergebnis ausgeschlossen werden.
Beispiel: Man kann über die Datei robots.txt alle Archivinhalte eine Website vom Suchergebnis ausschließen. Einige Suchmaschinen ignorieren jedoch die Datei robots.txt. Daher sollten Unterseiten, die auf keinen Fall in Suchmaschinen auftauchen dürfen, passwortgeschützt werden.
Erweitern Sie Ihr Wissen mit unseren kuratierten Packs.
C
E
G
Google Ads (AdWords)
Google Analytics
Google Images
Google Keyword Planner
Google Lighthouse
Google+-Local (Google Places)
Google Maps
Google Mobile Updates
Google My Business
Google News
Google Panda Update
Google Penguin Update
Google Phantom Update
Google Places
Google Search Console
Google Shopping
Google Trends
Google Updates Überblick
Google Hummingbird Algorithmus
K
S
Search Engine Marketing (SEM)
Search Engine Optimization (SEO)
Seite
Seitenbeschreibung
Seiteninhalt
Seitentitel
SEO Visibility FAQ
SERP (Search Engine Result Page)
Sitemap.xml
SSL-Verschlüsselung
Statuscodes
Strukturierte Daten
Suchbegriff
Suchbegriffsanhäufung
Suchbegriffsdichte
Suchbegriffsnähe
Suchergebnis
Suchmaschine
Suchmaschinen-Spam
Suchmaschinen-Werbung
Suchmaschinenanmeldung
Suchmaschinen-Marketing
Suchmaschinenoptimierung
Suchvolumen
Suchintention