Hey zusammen,
ich sitze gerade an einem neuen Funnel und überlege, wie ich meine Test-Strategie aufziehe. Bisher bin ich bei meinen Projekten eher klassisch mit A/B-Tests vorgegangen – eine Variable, clear winner, nächste Variable. Hat mir über Jahre hinweg gute Ergebnisse gebracht.
Aber jetzt habe ich einen Use-Case, wo ich gleichzeitig an mehreren Stellen was optimieren könnte: Headline, CTA-Button-Farbe und Position eines Trust-Elements. Theoretisch würde ein multivariater Test schneller Insights bringen, wenn ich mehrere Kombinationen parallel teste.
Mein Problem: Der Traffic auf diesem Projekt ist noch nicht riesig – so 800-1200 Besucher pro Woche. Bei einem vollständig faktoriellen Design würde ich ja schnell 8+ Varianten haben. Das bedeutet pro Variante nur ~100-150 Visitor pro Woche. Ist das noch sinnvoll oder verschwende ich da einfach Zeit und Daten?
Wie würdet ihr das angehen? Gibt es Szenarien, wo ihr sagt: "Hier lohnt sich ein multivariater Test definitiv", und andere, wo es einfach A/B bleiben sollte?
Vielen Dank für eure Gedanken!
Marco D., ehrlich gesagt würde ich bei 800-1200 Weekly Visitors von multivariaten Tests die Finger lassen. Das ist einfach zu wenig Traffic, um statistisch belastbare Ergebnisse zu kriegen – und das musste ich selbst schmerzlich lernen.
Bei deinen Varianten-Kombinationen landest du pro Variante bei unter 150 Besuchern pro Woche. Das Rauschen in den Daten wird dich fertig machen. Du wirst wahrscheinlich falsche Gewinner identifizieren und dann auf Basis von Zufall optimieren.
Mein ehrlicher Tipp: Bleib bei sequenziellen A/B-Tests. Test zuerst die Headline – das bringt meiner Erfahrung nach meist die größten Effekte. Dann Headline-Winner gegen Button-Farbe. So hast du pro Test mindestens 400+ Besucher und echte statistische Power.
Multivariate Tests lohnen sich erst ab deutlich höherem Traffic – ich würde sagen 5000+ pro Woche minimum, besser mehr. Gerade bei Affiliate-Funnels ist es wichtiger, dass du schnell lernen kannst, nicht dass du alles auf einmal testest.