A/B-testing ist etwas, müssen Sie jetzt tun—vor allem, wenn kleine Verbesserungen von sagen wir 1% oder 2% können produzieren beeindruckende Umsatz-Verbesserungen auf der ganzen Linie.
Was Ist A/B-Tests?
Bevor wir uns mit den Besonderheiten eines erstaunlichen A/B-Testframeworks befassen, machen wir einfach einen Schritt zurück und stellen sicher, dass wir alle auf derselben Seite sind, wenn wir über A/B-Tests im Allgemeinen sprechen., A/B-Tests in der digitalen Marketing-und Conversion-Optimierung, auch als A/B-Tests oder A / B-Tests bezeichnet, ist der Prozess des Testens von zwei Versionen einer Webseite oder App mit kontrollierten Unterschieden.
Die Seiten werden den Benutzern zufällig präsentiert. Wenn Leistungsdaten gesammelt werden, werden die Seiten analysiert, um festzustellen, welche Version eine bessere Leistung erbringt.
Was sind die Vorteile von A / B-Tests?
Das Testen von Variationen einer Website oder App mit statistischer Strenge ermöglicht es Ihnen, Ihre Seite zu messen und zu optimieren, um sicherzustellen, dass Sie die Conversions maximieren., Unabhängig davon, ob Sie eine Änderung der Kopfzeile oder nur die Farbe einer Schaltfläche testen, verlassen Sie sich nicht auf die Theorie, um diese Entscheidungen zu leiten, zu testen und den Daten die Entscheidungsfindung zu ermöglichen.
Lassen Sie uns schnell rechnen, um ein Bild von den Auswirkungen zu zeichnen, die es haben kann.
Stellen Sie sich Ihr Produkt verkauft bei $100 und Sie haben 10.000 Besuche pro Monat auf Ihrer Webseite. 3% von ihnen konvertieren und generieren einen Umsatz von 30,000 USD für dieses eine Produkt.
Sie A / B-Test einige Änderungen an der Seite, und Ihr Test zeigt Ihnen, dass Ihre neue Seite Version verbessert Ihre Conversion-Rate um 3% (so jetzt konvertieren Sie 3,09% der Besucher)., Weniger als 0.1% zusätzliche Conversions klingt nicht nach viel, aber Sie haben gerade zusätzliche $900 pro Monat Umsatz generiert. Selbst wenn Sie zu diesem Zeitpunkt aufhören zu testen, haben Sie $ 10,800 Jahresumsatz hinzugefügt
Wenn Sie weiter testen und zwei weitere Male mit dem gleichen Ergebnis einer 3% igen Verbesserung der Conversion-Rate testen, steigt Ihre Conversion-Rate um 9.3% (1.03 * 1.03 * 1.03). Es ist eine Menge wie Compounding Interesse. Ihr erster Monat mit der neuen Conversion-Rate hat einen inkrementellen Conversion-Wert von $ 2,782. Über ein Jahr wird dies zu einem inkrementellen $33,382 führen.,
In diesem speziellen Beispiel führten die Tests zu inkrementellen Einnahmen von mehr als einem Monat.
Bitte beachten Sie, dass dies geschieht, wenn der Datenverkehr konstant bleibt. Sie haben nicht in ein höheres Anzeigenvolumen, mehr E-Mails zur Verteilung von Inhalten, Sitewide SEO oder irgendetwas anderes investiert, das Ihren Traffic steigern würde. Sie erhalten nur mehr Wert aus dem Verkehrsvolumen, das Sie bereits erhalten. Sie optimieren für $ – Wert jedes Besuchers.
Welche Arten von A/B-Tests Liefern Ergebnisse?
Es gibt zahlreiche Metriken und sogar Bereiche von Daten zu erkunden., Hier sind 3 Möglichkeiten, wie wir Split-Tests verwenden können, um sicherzustellen, dass wir die bestmöglichen Conversion-Raten haben.
Preisexperimente
Früher gab es eine Marketingtheorie, dass Preise, die mit 7 enden, tatsächlich besser konvertiert wurden als jede andere Zahl. Warum? Da ein Preis, der mit 0 (Null) endet, sich als zu allgemein und nicht spezifisch genug erwiesen hat, wurde 9 häufig verwendet. Dann wurden Preise, die mit 9 endeten, so häufig, dass es keine nennenswerte positive Reaktion mehr auslöst und sich nicht mehr auf eine Conversion-Rate auswirkt. Also, warum denkst du, siehst du jetzt Preise, die mit 7 enden?,
Der 7 wurde ursprünglich mit einem A/B-Test nachgewiesen, bei dem die Preisgestaltung getestet wurde, um den besten Optimierungspunkt zu finden. Das haben die Daten vorgeschlagen, und Sie können es immer noch in einigen SaaS-Preisen sehen.
Dies ist möglicherweise nicht die richtige Empfehlung für Ihre website und Ihr Publikum. Es ist eine gute Idee, Ihre eigenen Tests durchzuführen und die Nummer zu finden, die insbesondere für Sie am besten konvertiert wird. Verwenden Sie Best Practice und Branchenwissen, um zu bestimmen, was Sie versuchen, aber lassen Sie Ihre eigenen A/B-Testdaten die Entscheidung vorantreiben.,
Farbtheorie
Ein weiteres Beispiel für das Testen von A / B-Versionen einer Website oder einer bestimmten Seite ist die Farbe des CTA.
Gelb war lange Zeit ein beliebter Favorit. Auch hier zeigten die Daten dank eines B-Tests, dass gelbe Schaltflächen besser konvertiert wurden. Seitdem hat die Industrie Farben mehr getestet.
Daten aus eingehenderen Tests legen nahe, dass dies eher mit dem Kontrast zwischen Hintergrund und CTA zusammenhängt. Nicht unbedingt gelb, wie auffällig der CTA im Kontext der Seite ist., Es ist jedoch immer eine gute Idee, Variationen zu testen und zu sehen, was für Ihren spezifischen CTA im Kontext Ihres spezifischen Brandings funktioniert.
Mausverfolgung
Etwas so Einfaches wie das Verfolgen der Reise des Benutzers auf einer Webseite kann zu großen umsetzbaren CRO-Daten führen. Wo konzentrieren Besucher ihre Zeit und Aufmerksamkeit? Wo kommen sie auf die Seite, wenn sie sich entscheiden zu gehen?
Es gibt eine Vielzahl von Maus-Tracking und Heatmap-Software, die Ihnen zeigen, wo genau auf der Seite Ihr Benutzer die meiste Zeit verbringt, und wo sie abfallen., Indem Sie die Interaktion des Benutzers mit Ihrer Website auf diese Weise testen, können Sie den Daten erlauben, Feature-Layouts, CTA-Platzierungen usw. zu bestimmen.
Mit dieser Art von Wissen können Sie fundierte Entscheidungen treffen, um Ihre Tests zu entwerfen und die Ergebnisse dieser Änderungen zu messen.
Heuristische Analyse
Es reicht nicht aus, eine gut aussehende Webseite oder App zu entwerfen; Die Seite muss auch das Publikum davon überzeugen, die gewünschte Aktion auszuführen.
Heuristiken sind empirische Faustregeln oder Best Practices, die in der Vergangenheit getestet und zur Herstellung von UX-Designs implementiert wurden., Jede Seite, jedes Produkt und jede Dienstleistung ist jedoch einzigartig. Anstatt nur sicherzustellen, dass Ihre Seite zu branchenbesten Praktiken passt, dh zu Best Practices, die aus den Tests anderer stammen, ist es sinnvoll, Elemente wie Ihre Call-to-Action-Platzierung und Conversion-Raten in Echtzeit zu testen. Lassen Sie das Design Ihrer Website datengesteuert sein.
Die Wichtigkeit der Verwendung eines A/B-Testframeworks
Sie können sich nicht einfach auf A / B-Tests stürzen. Ein willkürlicher Ansatz führt zum Scheitern.,
Wenn Sie wie die meisten Unternehmen sind, haben Sie nur so viele Ressourcen und so viel Geld, dass Sie lernen müssen, Prioritäten zu setzen-manchmal rücksichtslos. Wenn Sie nicht können, stagniert Ihr Wachstum oder Sie beginnen zu schrumpfen. A / B-Tests sind der schnellste, einfachste und kostengünstigste Weg, um herauszufinden, wie Sie mehr Traffic generieren, mehr Leads generieren und mehr Umsatz erzielen können. Wenn Sie mit A/B-Tests erfolgreich sein möchten, müssen Sie im Voraus eine Strategie und Prioritäten entwickeln—was schwierig sein kann.
Hier bei McGaw.io, wir haben etwas entworfen, das wir das VICE A/B Testing Framework nennen., Mit diesem Framework können wir viele der häufigsten A/B-Testfehler vermeiden, die durch mangelnde Strategie und Organisation verursacht werden.
In diesem Beitrag werden wir das VICE Framework durchgehen und genau aufschlüsseln, wie es funktioniert. Wir werden untersuchen, wie Sie den VICE-Ansatz verwenden können, um Ihre Ziele (wie Einnahmen oder Benutzeranmeldungen) zu maximieren, ohne mehr Geld für die Verkehrssteuerung ausgeben zu müssen. Am Ende werden Sie verstehen, wie Sie dieses Framework in Ihrem eigenen Unternehmen verwenden, damit Sie von allem profitieren können, was A/B-Tests zu bieten haben.,
The Importance of Creating Hypotheses
If you take a look at the McGaw.io blog, Sie werden sehen, dass wir bereits die Grundlagen behandelt haben, wie Sie mit A/B-Tests beginnen können, wie was zu testen und welche Tools zu verwenden.
Der Fokus dieses Beitrags liegt darauf zu untersuchen, wie Sie A/B—Tests durchführen können, die eher positive Ergebnisse liefern-und der Schlüssel dazu ist unser VICE Framework und unsere Vorlage für A/B-Tests.
Bevor Sie in A/B-Tests eintauchen, müssen Sie zuerst einige Hypothesen bilden.,
Hypothesen sind im Wesentlichen, was Sie denken, wird als Ergebnis bestimmter Änderungen passieren.
Wenn wir das VICE Framework verwenden, nutzen wir Hypothesen als Ausgangspunkt. Das Generieren von Hypothesen ist wichtig, da ohne sie Ihren Experimenten die Richtung fehlt. Es ist eine gute Idee, eine breite Palette von Hypothesen im Voraus zu entwickeln. Wenn Sie eine Vielzahl von Hypothesen aufstellen, verbessern Sie Ihre Fähigkeit, Tests in Zukunft schnell zu implementieren, und erhöhen so die Rate, mit der Sie Website-Conversions steigern können.,
Sie sollten mindestens eine Hypothese für jedes Element einer Seite erstellen, die Sie testen möchten.
Pro Tipp: Unterlassen Sie A/B-Tests mehr als ein Element einer Seite zu einem bestimmten Zeitpunkt. Das gleichzeitige Testen mehrerer Elemente einer Seite macht es schwierig herauszufinden, welche Änderungen tatsächlich zu bestimmten Ergebnissen führen.
Pro Tipp: Unterlassen Sie A/B-Tests mehr als ein Element einer Seite zu einem bestimmten Zeitpunkt. Das gleichzeitige Testen mehrerer Elemente einer Seite macht es schwierig herauszufinden, welche Änderungen tatsächlich zu bestimmten Ergebnissen führen.,
Pro Tipp: Obwohl es hilfreich sein kann, Hintergrundwissen darüber zu haben, was beim Ausführen von Tests gut funktioniert, müssen Sie nicht immer die Best Practice befolgen. In einigen Fällen stellen Sie möglicherweise fest, dass das Vornehmen radikaler Änderungen und das Widersprechen bewährter Verfahren tatsächlich zu besseren Konvertierungen führt.
Der VICE-Ansatz
Wenn es um A / B-Tests geht, ist es wichtig, einige schnelle Gewinne unter den Gürtel zu bekommen.
Wenn Sie sich um niedrig hängende Früchte kümmern, sind Sie in einer besseren Position, um Zeit mit den anspruchsvolleren Experimenten zu verbringen, in die Sie eintauchen möchten., Außerdem, je früher Sie einige gewinnende A/B-Tests haben, desto mehr werden Sie von den Compoundierungsverbesserungen profitieren, die mit der Verbesserung der Conversions einhergehen.
Pro-Tipp: Wenn Sie Kundenarbeit leisten, kann die Generierung schneller Gewinne noch wichtiger sein, da Sie die Möglichkeit haben, zu beweisen, dass es sich lohnt, sich auf A/B-Tests zu konzentrieren.
Wie können Sie in diesem Sinne die niedrig hängenden Früchte identifizieren und die Experimente oder Hypothesen bestimmen, die am wahrscheinlichsten funktionieren?
Sicher, eine Kristallkugel könnte hier hilfreich sein, aber wahrscheinlich haben Sie keine.
Trotzdem, hier bei McGaw.,io, wir denken, wir haben das Nächstbeste-den VICE-Ansatz.
VICE steht für:
- V – Geschwindigkeit
- ich – Impact
- C – Vertrauen
- E – Leichtigkeit
Die Idee hier ist, dass Sie die Gäste Ihre Hypothesen von 0-10 (10 höchsten/meisten empfohlen), in Bezug auf jede der oben genannten Faktoren.
Sie tally dann diese Ergebnisse, so dass Sie eine „Gesamt.“
Holen Sie sich hier die VICE Framework Vorlage!,
Diese Summe hilft, die Wahrscheinlichkeit einer Hypothese oder eines Experiments zu ermitteln, die Ergebnisse liefert, wenn Sie mit allen anderen Tests verglichen werden, die Sie auf einer Site oder Seite ausführen möchten. Wenn Sie schnelle Gewinne erzielen möchten, kann es hilfreich sein, die Tests mit den höchsten Punktzahlen zu priorisieren.
Hier ist ein Überblick darüber, wie unser Framework in Aktion aussieht, wobei der folgende Abschnitt hervorgehoben ist:
Wenn wir hineinzoomen und genauer hinschauen, können Sie sehen, wie wir Hypothesen bilden, jede Kategorie bewerten und die Summen zusammenfassen.,
Jede dieser Kategorien stellt verschiedene Faktoren dar, die Sie beim Ausführen eines A/B-Tests berücksichtigen müssen. Schauen wir uns jeden genauer an, damit Sie ihm eine möglichst genaue Punktzahl geben können.
Velocity
Velocity ist die Geschwindigkeit, mit der ein Test durchgeführt werden kann.
Ihre Geschwindigkeit Gäste sollten sich auf zwei wesentliche Faktoren: (1) wie viel traffic eine Seite ist immer und (2) wie krass eine änderung sein wird.
Wie viel Verkehr
Im Allgemeinen, je mehr Verkehr eine Website bringt, desto schneller kann ein Test ausgeführt werden., Mehr Datenverkehr bedeutet mehr Daten und mehr Daten bedeuten, dass es weniger Zeit braucht, um herauszufinden, ob die Ergebnisse statistisch signifikant sind (etwas, das wir später behandeln werden).
Wenn wir für Velocity punkten, integrieren wir uns in Google Analytics, um die genaueste Nummer zu erhalten (möchten Sie, dass wir Ihr VICE Framework in Google integrieren, kontaktieren Sie uns.). Die Geschwindigkeit wird basierend auf der Menge des Datenverkehrs festgelegt, der eine Seite durchläuft. Wenn eine Seite 50.000 Menschen pro Woche bekommt, können wir statistische Signifikanz ziemlich schnell treffen., Wenn eine Seite nur 500 Zugriffe pro Woche erhält, dauert es länger, bis Sie genügend Daten haben, um sich auf die Ergebnisse zu verlassen
Kühnheit der Veränderung
Das Erreichen statistischer Signifikanz geht nicht nur darum, wie viele Personen auf Ihre Website kommen. Es geht auch darum, wie groß oder merklich die Änderung ist, die Sie testen. Je weniger merklich die Änderung ist, desto unwahrscheinlicher ist es, dass sie sich auf das Benutzerverhalten auswirkt, sodass Ihr Test umso länger dauert, bis er statistische Signifikanz erreicht., Wenn Sie beispielsweise den Navigationstext auf eine fett gedruckte Schriftart aktualisieren, erhöht dies wahrscheinlich nicht die Anzahl der Klicks, die Sie erhalten, dramatisch—es dauert also länger, bis Sie ein Niveau erreicht haben, auf dem Sie sicher sein können, dass die Änderung einen Unterschied macht.
Wenn Sie jedoch eine dramatische Veränderung vornehmen, können Sie die statistische Signifikanz schneller erreichen. Beispielsweise werden mehr Benutzer eine brandneue Call-to-Action-Schaltfläche bemerken, sodass Sie in kürzerer Zeit genügend Daten erhalten sollten, um auf Ihre Ergebnisse vertrauen zu können.,
Denken Sie so: Wenn der Test für die Benutzererfahrung dramatischer oder polarisierender ist, sollten Sie erwarten, dass die Geschwindigkeit höher ist, da Sie einen Unterschied schneller sehen.
Andere Faktoren
Es ist auch wichtig, die Verkehrszahlen in Bezug auf die Anzahl der Optionen auf einer bestimmten Seite zu betrachten. Je mehr Optionen (wie Links) es gibt, desto länger dauert es im Allgemeinen, um den Test abzuschließen.
Und basierend auf Ihrem Unternehmen oder Ihrem Verkaufszyklus müssen Sie möglicherweise andere Faktoren berücksichtigen., Wenn beispielsweise der Verkaufszyklus für eines Ihrer Produkte sechs Wochen lang ist, können Sie in einer Woche nicht einmal einen kleinen Test abschließen.
Versuchen Sie, Ihre individuellen Geschäftsbeschränkungen bei der Bewertung von Velocity zu berücksichtigen.
Impact
Impact ist, wie viel eine Änderung zu einer Verbesserung der Conversions beitragen wird.
Wenn Sie überlegen, welche Auswirkungen Punktzahl eine bestimmte Hypothese zu geben, ist es wichtig, zuerst an Ihr Ziel zu denken. Wenn es Ihr Ziel ist, die Nutzung einer kostenlosen Testversion zu erhöhen, erhalten Änderungen auf der kostenlosen Testseite einen höheren Impact Score., Wenn Sie die E-Mail-Erfassung erhöhen möchten, um Ihrem Verkaufsteam mehr Leads zu geben, geben Sie den Hypothesen, die sich wahrscheinlich auf diesen Bereich auswirken, eine höhere Punktzahl.
Sobald Sie Ihr Ziel vor Augen haben, müssen drei weitere Faktoren berücksichtigt werden: (1) die Kühnheit der Änderung, (2) die Platzierung der Seite im Trichter und (3) Ihre Analysedaten.
Kühnheit der Veränderung
Wie wir oben mit Velocity erwähnt haben, ist eine Änderung für Ihre Benutzer umso wahrscheinlicher, je deutlicher sie sich auf ihr Verhalten auswirkt., Dramatische Änderungen haben normalerweise einen höheren Impact-Score, da Benutzer sie eher bemerken und daher Ihre Conversion-Rate eher beeinflussen.
Platzierung im Trichter
Es ist auch wichtig zu prüfen, wo die Seite im Trichter ist. Im Allgemeinen haben Seiten in der Nähe der Oberseite des Trichters oft mehr Einfluss als die am unteren Rand—einfach weil mehr Benutzer sie sehen werden. So könnte beispielsweise eine Änderung auf der Homepage einen höheren Impact Score erzielen als eine Serviceseite.
Der andere Seitentyp, der normalerweise einen hohen Impact-Score erzielt, sind Checkout-und Preisseiten., Impact Score sollte für jeden Ort höher sein, an dem Benutzer versuchen, Ihnen Geld zu geben. Sie möchten diesen Prozess so einfach wie möglich machen.
Analysedaten
Schließlich möchten Sie Ihre Analysedaten betrachten, um Auswirkungen zu erzielen (benötigen Sie Hilfe beim Betrachten Ihrer Analysedaten, kontaktieren Sie uns). Wenn Sie Google Analytics (und das sollten Sie sein) und Google Ecommerce verwenden, können Sie den Wert einer Seite in Ihrem Trichter sehen. Je höher der Seitenwert in Google Analytics ist, desto höher sollte der Impact Score sein.,
Wenn Sie wirklich cool werden möchten, haben wir ein geheimes VICE-Framework, das wir direkt in Ihr Google Analytic-Konto integrieren und basierend auf den Zahlen, die Sie in Google Analytics haben, Ihre Anzeigenwirkung erzielen können. Kontaktieren Sie uns, wenn Sie erstaunlich sein wollen.
Vertrauen
Vertrauen ist, wie Sie über die Chancen einer bestimmten Hypothese günstige Ergebnisse produzieren fühlen.
Je mehr Sie über diese Art von Tests wissen, desto genauer werden Sie sein, wenn es darum geht, Vertrauensbewertungen im Voraus zu verschreiben., Denn obwohl A / B-Tests von Fall zu Fall funktionieren, werden Sie feststellen, dass es häufig auftretende Probleme gibt, die häufig mit gängigen Lösungen gelöst werden können. Ein Beispiel hierfür könnte die Aufnahme eines Testimonials in eine Zielseite sein.
Wenn Sie ganz neu im Testen sind, überdenken Sie es nicht und geben Sie Ihre beste Vermutung. Durch das Erstellen von Hypothesen und das Aufschreiben Ihres Vertrauens erhalten Sie schnell ein besseres Verständnis dafür, welche Tests wahrscheinlich erfolgreich sind.,
Wenn Sie anfangen, Vorhersagen zu treffen, kann es hilfreich sein, zu verfolgen, wie Sie und Ihr Team bei der Vorhersage vorgehen—nicht als eine Art Bestrafung (A/B-Tests können sogar für einen Experten knifflig sein), sondern als Lehrmöglichkeit. Oft können Sie Muster in Ihren Konfidenzwerten sehen. Vielleicht überschätzt jemand in Ihrem Team immer die Auswirkungen von Farbe oder jemand anderes unterschätzt die Bedeutung der Homepage.,
Wenn jemand konsistent korrektere Vermutungen als der Rest des Teams erhält, könnte es sogar eine gute Idee sein, den Tests, denen er hohes Vertrauen entgegenbringt, eine etwas höhere Anzahl zu geben.
Da wir ein Unternehmen sind, das von Daten angetrieben wird, erstellen wir ein Modell, das die Leistung der Vergangenheit berücksichtigt und die Punktzahlen unseres Teams bei Bedarf automatisch reduziert oder erhöht. Das mag für die meisten Unternehmen etwas übertrieben sein, aber Sie können das allgemeine Prinzip anwenden, ohne es in einer Formel quantifizieren zu müssen., Lassen Sie uns wissen, ob Sie ein Beta-Tester dieses neuen Tools sein möchten:)
Ease
Ease ist das Niveau der technischen Fähigkeiten, die erforderlich sind, um eine Änderung vorzunehmen.
Uff. Wir sind fast fertig. Glücklicherweise ist Leichtigkeit normalerweise die am einfachsten zu erzielende Kategorie. Sie müssen nur überlegen, wen Sie für die Änderung benötigen und wie viel Zeit sie benötigen. Fragen Sie sich, ob eine der Anpassungen im Zusammenhang mit einem bestimmten Experiment von jemandem in Ihrem Team vorgenommen werden kann oder ob Sie einen Entwickler oder Designer an Bord bringen müssen.,
Split-Test-Tools wie Optimizely oder Visual Website Optimizer machen es Vermarktern leicht, einfache Änderungen vorzunehmen, z. B. das Entfernen einer Schaltfläche oder das Ändern einer Überschrift. Das Ändern des gesamten Stils einer Seite oder sogar das Hinzufügen neuer Seiten zu einer Website kann jedoch viel komplizierter sein.
Solche Änderungen erfordern wahrscheinlich die Hilfe eines Entwicklers und vielleicht sogar eines Texters, um die Arbeit richtig zu erledigen. Haben Sie keine Angst, sie einzuschleifen und hier eine genauere Punktzahl zu erhalten.
Sobald Sie festgestellt haben, wer Sie einen bestimmten Test ausführen müssen, überlegen Sie, wie lange es dauern wird., Wenn Sie einen Entwickler für Stunden und Stunden Arbeit bezahlen, einen externen Auftragnehmer einstellen oder ein Mitglied Ihres Marketingteams für eine Woche verlieren müssen, geben Sie dem Test eine niedrigere Ease-Punktzahl. Wenn es nicht viel Zeit braucht und Sie nur ein Mitglied Ihres Teams benötigen, geben Sie ihm eine höhere Punktzahl.
Validierung des Erfolgs
Das VICE Framework macht es viel einfacher, den Prozess des korrekten A / B-Testens der verschiedenen Elemente einer Website zu durchlaufen, ohne überwältigt zu werden., Das Framework kann Sie jedoch nicht vor den Urteilsfehlern schützen, die Sie möglicherweise machen, wenn Sie feststellen, ob ein Experiment erfolgreich war oder nicht.
In einigen Fällen kann es so aussehen, als ob Sie Konvertierungen verbessert haben, aber im Laufe der Zeit können die Änderungen nicht zu einer konsistenten Zunahme der Konvertierungen führen. Um sich vor einer solchen Situation zu schützen, müssen Sie sicherstellen, dass Ihre Ergebnisse als statistisch signifikant gelten.
Wenn sie statistisch nicht signifikant sind, könnte das, was Sie für eine Verbesserung halten, tatsächlich nur ein Flash-in-the-Pan-Ergebnis sein., Idealerweise sollten Ihre Experimente eine statistische Signifikanz von mindestens 95% haben. Indem Sie die statistische Signifikanz Ihrer Ergebnisse überprüfen und sicherstellen, dass sie über 95% liegen, können Sie zuverlässig feststellen, ob Sie eine Gewinnvariation auf Ihren Händen haben und ob sich die Änderungen lohnen.
Nun, wenn Sie nicht mathematisch geneigt sind oder das Konzept der statistischen Signifikanz Sie erschreckt—keine Sorge. Wir haben den Effin A/B Testrechner erstellt. Mit dieser einfachen Chrome-Erweiterung können Sie feststellen, ob Ihre Ergebnisse statistisch signifikant sind oder nicht.,
Es ist sehr einfach zu bedienen. Sie müssen lediglich Ihre Verkehrs-und Konvertierungsnummern eingeben und das Tool zeigt Ihre Ergebnisse an. Sie müssen sich nicht mit komplizierten Formeln herumschlagen!
Natürlich können Sie andere Tools und Methoden verwenden. Was auch immer Sie tun, stellen Sie einfach sicher, dass Sie immer die statistische Signifikanz Ihrer Ergebnisse überprüfen, bevor Sie sich für eine Gewinnvariation entscheiden.
Schlussfolgerung
Die Durchführung von A / B-Experimenten kann sehr schnell sehr überwältigend werden. Mit unserem VICE-Ansatz können Sie dies jedoch verhindern., Vorausgesetzt, Sie verbringen die Zeit damit, Hypothesen aufzustellen, müssen Sie nur den VICE-Ansatz verwenden, um herauszufinden, wo Sie sich konzentrieren sollten.
Sobald Sie einige Daten im Zusammenhang mit dem Test generiert haben, überprüfen Sie dessen statistische Signifikanz. Abhängig vom zurückgegebenen Ergebnis wissen Sie, ob sich die Änderungen lohnen. A / B-Tests sind etwas, das Sie so schnell wie möglich tun möchten, also versuchen Sie, Maßnahmen zu ergreifen, was Sie schnell gelernt haben.
Sicher, beim ersten Mal werden Sie die Dinge vielleicht nicht richtig machen—aber der umgekehrte Ansatz wird definitiv die Wahrscheinlichkeit eines Scheiterns und verschwendeter Anstrengung verringern.,