Hallo zusammen,
ichm habe seit ein paar Jahren meine erste Affiliate-Seite am Laufen und kümmere mich jetzt in der Sommerpause endlich um technische Dinge, die ich immer vor mir hergeschoben habe. Eine Sache die mich beschäftigt ist die robots.txt – ich habe ehrlichgesagt nie wirklich verstanden was man da sinnvoll eintragen sollte und was nicht.
Derzeit habe ich bei mir nur das Standard-WP-Ding drin, also /wp-admin/ gesperrt und sonst kaum was. Aber ich lese immer wieder unterschiedliche Meinungen: Manche sagen man soll alles offen lassen was crawlbar ist, andere empfehlen bestimmte Seiten zu sperren wie Tag-Archive, Suchergebnisseiten, Autoren-Seiten usw.
Meine Frage: Was habt ihr bei euren Affiliate-Seiten in der robots.txt tatsächlich gesperrt und warum? Gibt es Bereiche wo man bei Affiliate-Seiten besonders aufpassen sollte? Ich frage mich zum Beispiel auch ob Tracking-Parameter oder Weiterleitungsseiten (ich leite Affiliate-Links über eigene Seiten weiter) irgendwie eine Rolle spielen.
Bin kein Technik-Profi, also bitte nicht zu kompliziert erklären wenn möglich. Freue mich über konkrete Beispiele aus der Praxis.
Das ist tatsächlich eins von diesen Themen wo man schnell was falsch machen kann wenn man blind Empfehlungen aus alten Tutorials folgt. Ich hab mich da auch mal durch verschiedene Meinungen gewühlt – kurze Antwort: weniger ist oft mehr.
Für Affiliate-Sites konkret: Tag-Archive und Autoren-Seiten kann man sperren wenn du keinen Blog betreibst und da wirklich null SEO-Wert drinsteckt. Suchergebnisseiten (?s=) sollte man eigentlich immer sperren, das ist Pflicht. Ansonsten würd ich vorsichtig sein – was du sperrst wird auch nicht indexiert, und manchmal stecken in Kategorie-Seiten etc. doch Rankings drin die man nicht auf dem Schirm hat.
Zu deinen Weiterleitungsseiten für Affiliate-Links: Ich würde die Route über /go/ oder ähnliches auf jeden Fall in der robots.txt sperren. Erstens willst du nicht dass Google da durchcrawlt und irgendwas falsch interpretiert, zweitens nützen dir diese Seiten SEO-technisch eh nichts. Hatte das auch mal kurz im Sommer-Projekte-Thread erwähnt, der Aspekt technische Hygiene ist halt Grundlage bevor man irgendwas skaliert.
Wichtig: robots.txt sperrt nur das Crawling, nicht das Indexieren. Wenn du willst dass Seiten wirklich nicht auftauchen brauchst du zusätzlich noindex-Tags. Das wird gerne verwechselt.
Wie Stefan oben schreibt, der Punkt mit robots.txt vs. noindex ist wirklich entscheidend – das ist der Fehler den ich bei mehreren meiner früheren Seiten gemacht hab. Seiten in robots.txt gesperrt und trotzdem im Index gelandet weil Google den Link irgendwo gesehen hat.
Mein Tipp: Schau dir erst mal mit der Google Search Console an welche Seiten überhaupt gecrawlt werden, bevor du anfängst irgendwas zu sperren. Dann siehst du konkret wo Handlungsbedarf ist statt auf Verdacht rumzubasteln.