Multivariate tests en A / B-tests vereenvoudigd: technieken voor het optimaliseren van webpagina's testen

multivariate testing

Invoering:

Er zijn veel websites en applicaties die we vaak gebruiken. Terwijl we ze gebruiken, besteden we waarschijnlijk niet veel aandacht aan hoe de website tot de huidige versie is gekomen - aan de andere kant, als er iets niet klopt, zullen we de site / app waarschijnlijk nooit meer bezoeken.

De vraag is: wat is er nodig om 'het' goed te krijgen?

Wat je leert:

• Multivariate testen en A / B-testen
• Wat is multivariate testen?
• Soorten MVT-testen:
• Hoe multivariate tests te doen
• Fouten die moeten worden vermeden
• Wat te doen en wat niet te doen
• Voors en tegens
• A / B-testen
• Voors en tegens van A / B-tests:
• A / B-tests versus multivariate tests versus gesplitste tests
• Multivariate testen
• A / B / Split / Multivariate testtools
• Aanbevolen literatuur

Multivariate testen en A / B-testen

De 'it' is het vaakst de functionaliteit - waarvoor we ijzersterke QA-processen hebben om te testen en te evalueren. Maar het ‘het’ ook bestaat uit vormgeving, een combinatie van elementen, plaatsing van inhoud op een pagina, soms zelfs kleur, oriëntatie etc. die een prominente rol spelen in de algemene acceptatie van het product door de eindgebruiker.

Een tak van testen die op dit gebied veel kan helpen, is de Multivariate testen en A / B-testen ​

In het artikel van vandaag zullen we bespreken Multivariate (MVT) testen en A / B-testen typen in detail.

Beide zijn gericht op het optimaliseren van webpagina's en het verbeteren van de conversieratio (de snelheid waarmee bezoekers klant worden of terugkerende bezoekers, op hun beurt zaken) voor een website.

Wat is multivariate testen?

Laten we beginnen met een Voorbeeld ​

Als een bepaalde website bezig is met het ontwerpen / herontwerpen / bepalen van de effectiviteit van een pagina die een afbeelding en de bijbehorende tekst zou moeten hebben - Na zorgvuldige afweging en beraadslaging als het bedrijf de volgende twee afbeeldingen en twee zinnen opslaat - kunnen de mogelijke combinaties hiervan zijn als volgt:

1) Afbeelding 1

2) Afbeelding 2

poort triggering versus poort doorsturen

3) Kop / zin 1: 'Het doel moet nul ongevallen zijn'

4) Kop / zin 2: 'Ons doel: geen ongeval'

Combinaties:

In het bovenstaande voorbeeld hebben we variaties op de combinaties van de velden getest om te zien welke goed past. Simpel gezegd, dat is juist multivariate testen.

Meer technisch en specifiek wordt de onderstaande formule gebruikt om het nee te bepalen. van mogelijke combinaties die nodig zijn om de verschillende combinaties te testen en dat is:

(# Variaties op Element A) X (# Variaties op Element B)… .. = (Totaal # Variaties)

In het bovenstaande voorbeeld zijn er 2 variaties voor de Headline en 2 variaties voor de afbeelding.

Dus volgens de formule zijn er in totaal 4 combinaties van de variaties die gelijktijdig moeten worden getest om de beste variatiecombinatie te vinden.

• Het belangrijkste doel van het uitvoeren van multivariate testen is het meten en bepalen van de effectiviteit van elke variatiecombinatie op het uiteindelijke systeem.
• Nadat de variatiecombinaties zijn voltooid, wordt het testen om het meest succesvolle ontwerp te bepalen gestart zodra er voldoende verkeer door de site is ontvangen.
• De resultaten die met elke variatiecombinatie worden verkregen, worden vergeleken met de andere om erachter te komen welk ontwerp het meest geschikt is om het uiteindelijke doel te bereiken (in de meeste gevallen verkoop ​
• Deze statistieken geven een duidelijk beeld of de specifieke verandering al dan niet nuttig is geweest.
• Ook kan een positieve of negatieve impact op de interactie van de gebruiker worden geanalyseerd

Dit hele proces van continu multivariate testen, het verbeteren van het ontwerp op basis van de verkregen resultaten en het bereiken van de bedrijfsdoelen daardoor ( Voorbeeld: langere betrokkenheidstijd voor een gebruiker op een bepaalde pagina) wordt aangeroepen Optimalisatie van bestemmingspagina's ​ wiens doel is om meer gebruikers te trekken en ze betrokken te houden op een bepaalde pagina.

Dit proces omvat grotendeels testen met meerdere variaties, het verzamelen van statistieken en het aanbrengen van wijzigingen op basis van de verkregen waarden / resultaten.

Niet alleen beperkt tot websites, maar ook multivariate testen zijn vereist voor mobiele apps. Websites en mobiele apps zijn samengesteld uit combinaties van variabele elementen en daarom worden multivariate tests uitgevoerd om erachter te komen welke combinatie van variaties het beste werkt.

Dit speelt een cruciale rol in de internetmarketingstrategie.

Soorten MVT-testen:

Op basis van de verdeling van verkeer over meerdere varianten, zijn er meerdere soorten multivariate testen dat kan worden uitgevoerd:

a) Volledige factoriële testen:

Het is de meest geprefereerde vorm van MVT-testen waarbij elke mogelijke combinatie van elementvariaties gelijkelijk wordt getest door websiteverkeer ernaar om te leiden totdat er een winnaar is gevonden. Alle mogelijke combinaties krijgen een gelijke kans. Het beste van deze methode is dat er geen aannames zijn en dat deze is gebaseerd op harde cijfers / statistieken, waardoor het zeer betrouwbaar en het meest aanbevolen is.

Het enige nadeel is het verkeer. Met de toename van het aantal verschillende combinaties is er veel websiteverkeer nodig om de data te analyseren en de winnaar te bepalen.

b) Fractionele of gedeeltelijke factoriële testen:

Zoals de naam aangeeft, wordt slechts een fractie van alle varianten van variantcombinaties blootgesteld aan websiteverkeer. Voor de rest van de combinaties worden statische wiskundige berekeningen en analyses uitgevoerd om de beste conversieratio te vinden.

Taguchi-methode is de meest populaire methode voor fractionele factorieel multivariate testen. Deze methode geeft een minder nauwkeurig resultaat omdat slechts een steekproef van de variaties wordt getest en niet alle. Hoewel deze methode minder tijd kost om de winnaar te analyseren, kan het resultaat nooit als zo nauwkeurig worden beschouwd als in het geval van Full Factorial testing.

c) Adaptieve multivariate tests:

Dit is een nieuwe benadering van multivariate testen. In dit geval wordt de real-time respons van de bezoekers op de webpagina geanalyseerd om de beste variantcombinatieversie te bepalen.

d) Discrete keuze:

Deze methode legt de interactie-effecten bloot, zeg maar hoe mensen een compromis creëren vanuit het perspectief van een aankoopbeslissing. Het is een complexe techniek die systematisch de attributen of inhoudselementen varieert.

e) Optimaal ontwerp:

Deze methode omvat iteraties en testgolven. Naast het testen van het maximale aantal creatieve variaties in minimale tijd, stelt het marketeers ook in staat om rekening te houden met relaties, interacties en beperkingen tussen inhoudselementen van een website of app. Dit helpt bij het vinden van de optimale oplossing.

Laten we verder gaan met een belangrijke vraag: Kan webmarketing worden geoptimaliseerd door multivariate testen?

Het antwoord is een volmondig 'Ja'.

Met behulp van multivariate testen kunnen we duidelijk bepalen wat er moet worden geïmplementeerd en wat moet worden vermeden. Alles is gericht op de beleving van de bezoeker.

Bij het uitvoeren van multivariate testen wordt rekening gehouden met de volgende aspecten:

# 1. De voorwaarde voor multivariate testen is: Definieer marketingdoelen of onderzoek doelen voor de website. Hieronder staan ​​een paar voorbeelden:

• Maak maximale inkomsten / winsten door te adverteren, producten te verkopen en te betalen voor klikken.
• Creëer naamsbekendheid bij de klantenkring
• Bespaar uitgaven, bijvoorbeeld: begeleid gebruikers naar zelfbediening via veelgestelde vragen in plaats van online, in persoonlijke service.

#twee. Alleen die dingen moeten worden getest die echt gericht zijn op de marketingdoelstellingen van de organisatie.

# 3. Kies alleen die elementen die de marketingdoelstellingen nauwkeurig meten.

Voorbeelden kunnen zijn:

• Om meer geld te verdienen, moeten de pagina's met opties zoals ‘Nu kopen’ / ‘betaling’ / stromen om een ​​registratie of aanmelding te voltooien, worden bekeken.
• Om bekendheid bij bezoekers en promotie te creëren, kan ‘verzenden naar een vriend’ / ‘een vriend verwijzen’ / ‘delen’ enz. Van pas komen
• Voor besparingen kan de nadruk liggen op elementen zoals veelgestelde vragen, hulp, contact opnemen, bellen, klikken op ‘Toevoegen aan winkelwagentje’ die naar bedankpagina's leiden, enz.

Hoe multivariate tests te doen

1. Identificeer een probleem

De eerste stap is het identificeren van het probleem. Dit geeft u de mogelijkheid om uw website of app te verbeteren. Het probleem kan bijvoorbeeld zoiets zijn als waarom de bezoekers van de website niet op de downloadknop klikken.

2. Formuleer hypothese

Stel een hypothese op om de webpagina te verbeteren. De hypothese kan bijvoorbeeld zijn dat klanten niet op de downloadknop klikken omdat de zichtbaarheid ervan niet aantrekkelijk is. Dus door het aantrekkelijk te maken, zouden er meer downloads zijn.

3. Creëer variaties

Selecteer de factoren en creëer variaties. Stel dat de twee factoren de kop ‘Downloaden’ en de link ‘PDF-producent’ zijn. Als voorbeeld hebben we hieronder 12 variaties:

4. Bepaal uw steekproefomvang

Ontdek hoeveel bezoekers er nodig zijn op elke pagina, hoe lang u nodig heeft om de test uit te voeren, hoeveel variaties u heeft en de statistische significantie.

5. Test uw tools

Test alles (voornamelijk, werkt uw webpagina / app goed) voordat u de test start, zodat niets uw testresultaten verpest.

6. Begin verkeer te rijden

Leid het verkeer naar uw varianten.

7. Analyseer uw resultaten

Na het uitvoeren van de test gedurende een aanzienlijke hoeveelheid tijd, krijg je de resultaten om te analyseren. Hieronder ziet u een voorbeeld:

Degenen met een betrouwbaarheidsniveau van 95% of meer zijn statistisch significante resultaten.

8. Leer van uw resultaten

Dit is de laatste en een belangrijke stap. Van de multivariate test leert u over uw webpagina's / app en zijn bezoekers. U kunt dit leren gebruiken voor toekomstige tests.

Een woord van waarschuwing - Pas op voor de volgende zaken bij het uitvoeren van multivariate tests:

Fouten die moeten worden vermeden

1. Onjuiste keuze van varianten ​Voor b.v. stel dat we de lettergrootte, kleur en stijl van de koptekst tegelijkertijd wijzigen onder één versie van de variatiecombinatie. Het zal dan moeilijk zijn om uit de ontvangen gegevens te analyseren welke variatie van de kop (of het nu gaat om lettergrootte, kleur of stijl) ervoor zorgde dat de bezoeker anders reageerde.
2. Een te korte duur van een multivariate testrun ​Het vroegtijdig beëindigen van de testrun en het kiezen van een klein aantal gegevens om de winnaar te analyseren, kan leiden tot ongeldige statistieken.
3. Een te lange duur van een multivariate testrun. De test te lang laten lopen om de marginale gegevens te analyseren, leidt ook tot veel tijdverspilling
4. Verkeerd begrip van Key Indicators. Focussen, analyseren en volgen van de variabele combinatie van die indicatoren die onbeduidend zijn of geen verband houden met het einddoel
5. Slechts een paar Key Performance Indicators worden geïdentificeerd, terwijl vele anderen niet worden gevolgd
6. Het type bezoekersverkeer naar een webpagina bepalen. Dit kan erg riskant en problematisch zijn, omdat niet alle bezoekers hetzelfde zijn.
7. De resultaten niet analyseren en het aanbrengen van de juiste wijzigingen op de site.

Do's en niet

Uit bovenstaande lijst een samenvatting van Wat te doen en wat niet te doen zou kunnen:

Niet:

Probeer niet veel variabelen in de test op te nemen. Hoe meer variabelen er moeten worden getest; des te groter zullen de combinaties zijn, wat op zijn beurt betekent dat er meer verkeer nodig is om significante statistieken te verzamelen.

Do's:

1. Bekijk een voorbeeld van alle varianten van variantcombinaties voordat u met de test begint, omdat sommige ervan incompatibel of onlogisch kunnen zijn. Een van de combinaties van variabelen is bijvoorbeeld dat de kop '50% korting op abonnement' zegt en de knop 'Gratis abonnement' zegt. Dergelijke moeten worden verwijderd.

2. Bepaal de impact van combinatieversies op de conversieratio. Het is een goed idee om alleen die combinaties op te nemen die een grotere impact hebben op de conversieratio.

3. Schat het webpaginaverkeer om significante statistische gegevens te verzamelen. Voordat u met de test begint, is het beter om een ​​duidelijk beeld te hebben van het webpaginaverkeer. Als een webpagina slechts 100-200 bezoekers per dag heeft, moeten we een paar variabelen alleen overwegen voor het uitvoeren van de multivariate test.

Voors en tegens

Tot nu toe hebben we gezien wat multivariate testen is, hoe het wordt gedaan, fouten, factoren, wat u wel en niet moet doen, enz. Laten we nu eens kijken naar enkele Voordelen en Nadelen ervan:

Voordelen:

1. Beter inzicht en begrip van het effect van variabelen of elementen op de conversieratio Meer verkeer leidt tot meer statistische gegevens die op hun beurt leiden tot betere analyse en besluitvorming in termen van de beste combinatie van variabelen om het uiteindelijke doel te bereiken.
2. In termen van ontwerp- en lay-outwijzigingen is multivariate testen flexibel.

Nadelen:

1. Multivariate testruns duren langer.
2. Er is veel webpaginaverkeer nodig om significante statistieken te krijgen.
3. Moeilijker om testruns op te zetten.
4. Vereist meer aantal variabelecombinatieversies voor testrun.

A / B-testen

Omdat dit een korte lijst is van alles wat met multivariant testen te maken heeft, is er geen einde aan de verscheidenheid aan tests die kunnen worden gedaan om webpagina-optimalisatie uit te voeren en een andere populaire beschikbare methode is de A / B-testen ​

Wat is A / B-testen?

​ beeld bron)

A / B-testen wordt ook wel Splitsen testen ​De split-testing is echter anders. We zullen het verschil tussen beide zien in het laatste deel van deze tutorial.

Bij A / B-testen worden twee versies van dezelfde webpagina getest met evenveel webpaginaverkeer. De versie die het maximale aantal conversies krijgt, is de uiteindelijke winnaar. Deze nieuwe versie verhoogt zeker de conversieratio.

Voorbeeld van een A / B-splitstest:

Laten we het begrijpen de werking van A / B-testen met een klein voorbeeld ​

De bovenstaande afbeelding is van een webpagina voor veiligheidsbewustzijn.

Deze afbeelding bestaat uit een grijze knop met de tekst ' Doe een quiz en win spannende prijzen Deze originele webpagina wordt beschouwd als ‘A-versie’. Nu is ‘B-versie’ ontworpen met een variatie in kleur van de knop van grijs naar rood.

Dit wordt weergegeven in de onderstaande afbeelding:

Live webpaginaverkeer wordt omgeleid naar beide versies. Nadat voldoende bezoekers de test hebben gedaan en met de ontvangen statistische gegevens, kan eenvoudig worden bepaald welke versie een hoger effect heeft op de conversieratio.

Hier in het bovenstaande voorbeeld een knop met de tekst ' Doe een quiz en win spannende prijzen ”In rode kleur trok meer bezoekers om op de knop te drukken en een quiz te doen dan de oudere grijze knop.

Zo werd het uiteindelijke doel van de webpagina om meer inkomsten te genereren bereikt.

Voordelen en Nadelen van A / B-tests:

Voordelen:

1. Gemakkelijke en eenvoudige methode om experimenten op te zetten voor het optimaliseren van webpagina's.
2. Betrouwbare en nauwkeurige resultaten kunnen gemakkelijk worden bepaald, zelfs bij weinig webpaginabezoek.
3. Tests kunnen zeer snel worden uitgevoerd en statistische gegevens kunnen worden geanalyseerd om het uiteindelijke doel te bereiken.
4. Niet veel afhankelijk van enige vorm van technologie.
5. Meer geschikt voor veranderingen in lay-out, inhoud, ontwerp van elke webpagina.

Nadelen:

1. Er kunnen slechts een paar, of laten we zeggen, een beperkt aantal wijzigingen tegelijk aan een webpagina worden aangebracht.
2. Het is niet mogelijk om de impact van verschillende variabelen op een webpagina op elkaar te bepalen.

Vergelijkingstabel:

A / B-tests versus multivariate tests versus gesplitste tests

A / B-testen, multivariate testen en split-testen zijn de drie belangrijkste soorten UX (User Experience) variant testen. Laten we eens kijken hoe ze van elkaar verschillen.

De onderstaande twee afbeeldingen geven u een zeer goede illustratieve vergelijking tussen A / B-tests en multivariate tests.

Multivariate testen

Split testen:

We hebben hier een andere variant, de zogenaamde split-URL-testen, die veel gecompliceerder is dan A / B-testen en ook inhoudt server-side wijzigingen , waar we twee verschillende webpagina's hebben die tegen elkaar worden getest. Dit type testen werkt goed voor bestemmingspagina's in gevallen waarin het ontwerpteam moet beslissen welke beter zal werken.

A / B / Split / Multivariate testtools

Er zijn veel tools op de markt voor deze drie soorten UX-testen. Ik zou hier een paar beste noemen die je kunt verkennen. Ze zijn Google Optimize, Optimizely, VMO, Qubit, Maxymiser en AB Tasty.

Gevolgtrekking ​

Beide methoden, A / B en Multivariate testen, verhogen de conversieratio, verbeteren de prestaties en optimaliseren webpagina's en apps. Beide zijn op hun eigen manier nuttig en hebben ook hun unieke tekortkomingen en uitdagingen. Het is aan ons om te bepalen en te analyseren welke methode het beste bij de vereiste past.

Wij, testers, zijn voornamelijk betrokken bij het testen van de wijzigingen die zijn gedaan om Multivariate of A / B-tests te implementeren. Zodra deze wijzigingen zijn aangebracht en getest, kunnen deze door het marketing- of bedrijfsteam in de productieomgeving worden uitgevoerd om de resultaten te verzamelen.

Het is dus erg belangrijk dat testers deze wijzigingen zeer zorgvuldig testen, anders zouden de uiteindelijke resultaten onnauwkeurig zijn, wat resulteert in enorme zakelijke verliezen, aangezien dit meestal rechtstreeks verband houdt met de bedrijfsopbrengsten.

Aanbevolen literatuur

• Beste softwaretesttools 2021 (QA Test Automation Tools)
• Primer eBook downloaden testen
• Statisch testen en dynamisch testen - Verschil tussen deze twee belangrijke testtechnieken
• Laadtests met HP LoadRunner-zelfstudies
• Verschil tussen Desktop, Client Server Testing en Web Testing
• Wat is gammatesten? De laatste testfase
• Wat is conformiteitstesten (conformiteitstesten)?
• Software testen QA Assistant Job