Moin zusammen,
ich teste gerade eine neue LP für einen E-Commerce-Partner und bin unsicher, wann ich meine Experiment-Ergebnisse wirklich ernst nehmen darf.
Mein Setup: ich fahre derzeit ca. 150-200 Besucher pro Woche auf die Page, Conversion-Rate liegt bei etwa 2-2,5%. Wenn ich zwei Varianten teste (Headline A vs. B), dann hab ich pro Variante also nur ca. 75-100 Visits in der Woche.
Meine Frage: Bei dieser Besucherzahl – wie lange sollte ich das Experiment wirklich laufen lassen, bevor ich eine Variante als "Gewinner" deklariere? Ich habe gelesen, dass man mindestens 100 Conversions pro Variante braucht für statistische Signifikanz. Bei meinen Zahlen würde das ja 4-5 Wochen dauern. Macht es Sinn, so lange zu warten? Oder teste ich einfach zu klein?
Auch interessiert mich: Gibt es einen Punkt, wo mehr Traffic für Tests sinnlos wird, weil die Ergebnisse überoptimiert sind?
Danke für eure Erfahrungen – ich dokumentiere die Ergebnisse dann wie immer im Detail.
Also ich nutze da gerne online Calculator – gibst du deine erwartete Baseline-Conversion-Rate und die Effektgröße ein, und der spuckt dir aus, wie lange du laufen musst. Das erspart dir die manuelle Rechnerei.
Bei 2-2,5% CR und nur 100 Visits pro Woche pro Variante: Ja, das ist knapp. Aber wenn du merkst, dass eine Variante deutlich schlechter läuft (z.B. 50% weniger Conversions), kannst du auch früher stoppen – dann ist es klar. Nur wenn die Unterschiede minimal sind, brauchst du die volle Zeit.
Wie lange lässt du denn aktuell pro Experiment laufen, bevor du ne Entscheidung triffst?
Markus, da sprichst du einen wichtigen Punkt an. Aus meinen Projekten kann ich sagen: 100 Conversions pro Variante ist eine gute Faustregel, aber nicht in Stein gemeißelt. Entscheidend ist die Effektgröße – wenn deine Variante B 40% besser performt, brauchst du weniger Traffic als wenn es nur 5% Unterschied sind.
Für deine Situation würde ich ehrlich sagen: 4-5 Wochen ist völlig realistisch. Der Sommer ist eh eine fiese Zeit für Tests, weil die Conversion-Raten sowieso schwanken. Mein Tipp: Dokumentier parallel auch externe Faktoren (Wetter, Feiertage, saisonale Effekte), dann kannst du später besser differenzieren, ob deine Variante wirklich besser ist oder nur gute Woche.
Zu deiner Frage nach zu viel Traffic: Naja, damit habe ich eher selten Probleme. Mehr Daten = präzisere Ergebnisse. Das Problem ist eher, wenn man zu früh stoppt.