Was ist ein Robots-Meta-Tag?
Robots-Meta-Tags sind Tags, die für Suchmaschinen wichtig sind. Sie stellen Handlungsanweisungen für Spider dar. In den Anweisungen wird festgehalten, ob Crawler die Seite im Index aufnehmen dürfen und ob verlinkten Seiten gefolgt werden darf. Auch ob Snippets gewünscht sind und ob eine Kopie im Google Cache erfolgen soll, ist über die Robots-Meta-Tags möglich.
Welche Bedeutung haben Robots-Meta-Tags für SEO?
Aufgrund der Tatsache, dass verschiedene Anweisungen den Crawlern gegeben werden können, sind die Robots-Meta-Tags für die Suchmaschinenoptimierung wichtige Elemente. Webmaster oder Suchmaschinenoptimierer können verhindern, dass unter anderem unfertige Webseiten oder Seiten mit doppeltem Content im Index aufgenommen werden. Durch die Anweisungen kann einem schlechteren Ranking oder einer Abstrafung entgegengewirkt werden.
Durch die Robots Anweisungen können Webmaster das Crawlingverhalten der Suchmaschinen direkt beeinflussen. Soll eine Webseite komplett indexiert und den Verlinkungen gefolgt werden, geben Webmaster einfach die entsprechenden Anweisungen und senden den Link der Sitemap an Google Robots. Dadurch besuchen Crawler nach kurzer Zeit bereits die Seite und nehmen neue Inhalte auf.
Auf einer Webseite gibt es auch Seiten, die nicht unbedingt im Index aufgenommen werden müssen. Ein Impressum muss beispielsweise nicht zwingend im Index aufgenommen werden. Andere Seiten hingegen sind wichtig und sollten unbedingt in den SERPs weit oben erscheinen.
