Robots.txt

Die Datei robots.txt ist eine Textdatei, die auf dem Server einer Website gespeichert werden kann.

Sie legt fest, ob und welche Unterseiten der Website die Crawler von Suchmaschinen besuchen und in ihren Index aufnehmen dürfen. Dadurch können bestimmte Unterseiten vom Suchergebnis ausgeschlossen werden.

Beispiel: Man kann über die Datei robots.txt alle Archivinhalte eine Website vom Suchergebnis ausschließen. Einige Suchmaschinen ignorieren jedoch die Datei robots.txt. Daher sollten Unterseiten, die auf keinen Fall in Suchmaschinen auftauchen dürfen, passwortgeschützt werden.

Erweitern Sie Ihr Wissen mit unseren kuratierten Packs.

Core Web Vitals
Verbessern Sie durch Core-Web-Vitals-Optimierungen Ihre Website Performance!
10 Ressourcen
Searchmetrics Session: Webinar Agenturen LP Header
SEO- und Content-Ressourcen für Agenturen
12 Ressourcen
Searchmetrics SEO Guide für Beginner 2020
Mehr Umsatz für Ihr Unternehmen dank Top-Rankings in den Suchmaschinen
61 Ressourcen
Google Update Januar 2020: Aktuelle News & Analysen
Wie wirken sich Google Updates auf Unternehmens-Rankings aus?
20 Ressourcen
Searchmetrics Glossar: Google Knowledge Graph sind Online-Wettbewerber?
Online Marketing - Bewährte Strategien und Lösungen für Unternehmen
44 Ressourcen
A
Accelerated Mobile Pages (AMP) Agile Content Development ALT-Attribut Ankertext (Anchor Text)
B
Backlink Bad Neighborhood Bing Blocker Branchenbuch Briefing Broken Link
C
Canonical Tag Click Through Rate (CTR) Cloaking Content Editor Content-Gap-Analyse Content Marketing Content-Relevanz Content Score Conversion Conversion Rate Conversion-Rate-Optimierung Cookies Crawler
D
Defekter Link Direct Answers Domain Popularity Domain Trust Doppelter Inhalt Duplicate Content
E
Ecosia
F
Featured Snippets Frame
G
Google Ads (AdWords) Google Analytics Google Images Google Keyword Planner Google Lighthouse Google+-Local (Google Places) Google Maps Google Mobile Updates Google My Business Google News Google Panda Update Google Penguin Update Google Phantom Update Google Places Google Search Console Google Shopping Google Trends Google Updates Überblick Google Hummingbird Algorithmus
H
Homepage Htaccess
I
Index Interne Verlinkung
K
Keyword Keyword Density Keyword-Kannibalisierung Keyword Proximity Keyword Stuffing Knowledge Graph
L
Link Popularity Linkjuice Link-Text
M
Meta Description Meta-Suchbegriff Meta Tag Meta Title
N
Net Promoter Score (NPS) – Definition, Messung, Pro & Cons Nofollow-Attribut
O
Offpage-Optimierung Online-Konkurrenz und Online-Wettbewerb Onpage-Optimierung Organic Traffic
P
Paid Listing Paid Search Traffic Plagiate Finder Progressive Web Apps
R
RankBrain Ranking-Chancen Ranking-Faktor Ranking Redirect Rich Snippets Robots.txt
S
Search Engine Marketing (SEM) Search Engine Optimization (SEO) Seite Seitenbeschreibung Seiteninhalt Seitentitel SEO Visibility FAQ SERP (Search Engine Result Page) Sitemap.xml SSL-Verschlüsselung Statuscodes Strukturierte Daten Suchbegriff Suchbegriffsanhäufung Suchbegriffsdichte Suchbegriffsnähe Suchergebnis Suchmaschine Suchmaschinen-Spam Suchmaschinen-Werbung Suchmaschinenanmeldung Suchmaschinen-Marketing Suchmaschinenoptimierung Suchvolumen Suchintention
T
Themenrelevanz Topic Explorer
U
Universal Search URL User Experience User Signals
W
Web-Katalog Webmaster-Richtlinien Website Website-Struktur Web-Verzeichnis
Z
Zero Click Searches