Testare multivariată și testare A / B simplificată: Cum se testează tehnicile de optimizare a paginilor web

multivariate testing

Introducere:

Există multe site-uri web și aplicații pe care le folosim adesea. În timp ce le folosim, probabil că nu acordăm multă atenție asupra modului în care site-ul a devenit versiunea sa actuală - pe de altă parte, dacă ceva nu pare corect, probabil că nu vom mai vizita niciodată site-ul / aplicația.

Întrebarea este - Ce este nevoie pentru a-l face corect?

Ce veți învăța:

• Testare multivariată și testare A / B
• Ce este testarea multivariată?
• Tipuri de testare MVT:
• Cum se efectuează testarea multivariată
• Greșeli care ar trebui evitate
• Ce să faci și ce să nu faci
• Argumente pro şi contra
• Testare A / B
• Pro și contra testelor A / B:
• Testarea A / B vs Testarea multivariată vs Testarea divizată
• Testare multivariată
• Instrumente de testare A / B / Split / Multivariate
• Lectură recomandată

Testare multivariată și testare A / B

„It” este cel mai adesea funcționalitatea - pe care o avem pentru a testa și a evalua procesele QA solide. Dar și „ea” constă din design, o combinație de elemente, plasarea conținutului pe o pagină, uneori chiar culoare, orientare etc., care joacă un rol proeminent în acceptarea generală a produsului de către utilizatorul său final.

O ramură de testare care poate ajuta foarte mult în acest domeniu este Testare multivariată și testare A / B .

În articolul de astăzi, vom discuta Testarea multivariată (MVT) și Testarea A / B tipuri în detaliu.

Ambele sunt vizate pentru optimizarea paginilor web și îmbunătățirea ratei de conversie (rata la care vizitatorii devin clienți sau vizitatori care revin - la rândul lor, afaceri) pentru un site web.

Ce este testarea multivariată?

Să începem cu un Exemplu .

Dacă un anumit site web lucrează la proiectarea / reproiectarea / determinarea eficacității unei pagini care ar trebui să aibă o imagine și textul corespunzător - După o analiză atentă și deliberare dacă compania prezintă următoarele două imagini și două propoziții - posibilele combinații ale acestora ar putea fii după cum urmează:

1) Imaginea 1

2) Imaginea 2

3) Titlu / propoziție 1: „Scopul trebuie să fie ZERO accidente”

4) Titlu / propoziție 2: „SCOPUL NOSTRU: FĂRĂ ACCIDENT”

Combinații:

În exemplul de mai sus, am testat variații ale combinațiilor de câmpuri pentru a vedea care dintre acestea se potrivește bine. Simplu spus, chiar acolo există teste multivariate.

Mai tehnic și mai specific, formula de mai jos este utilizată pentru a determina nr. a combinațiilor posibile care sunt necesare pentru a testa diferitele combinații și anume:

(# Variații ale elementului A) X (# Variații ale elementului B) ... .. = (Total # variații)

În exemplul de mai sus, există 2 variante pentru titlu, precum și 2 variante pentru imagine.

Astfel, conform formulei, există un total de 4 combinații ale variațiilor care trebuie testate concomitent pentru a găsi cea mai bună combinație de variații.

• Scopul principal al efectuării testării multivariate este măsurarea și determinarea eficacității fiecărei combinații de variații pe sistemul final.
• După finalizarea combinațiilor de variații, testarea pentru a determina cel mai reușit design este inițiată după ce site-ul primește suficient trafic.
• Rezultatele obținute cu fiecare combinație de variații sunt comparate cu celelalte pentru a afla ce design este cel mai potrivit pentru a atinge obiectivul final (în majoritatea cazurilor este Vânzări ).
• Aceste statistici oferă o imagine clară a faptului dacă modificarea anume a fost utilă sau nu.
• De asemenea, poate fi analizat și un impact pozitiv sau negativ asupra interacțiunii utilizatorului

Întregul proces de testare continuă multivariată, îmbunătățirea proiectării pe baza rezultatelor obținute și atingerea obiectivelor de afaceri datorită acestui fapt ( Exemplu: timp mai mare de implicare pentru un utilizator pe o anumită pagină) este numit Optimizarea paginii de destinație - al cărui obiectiv este să aducă mai mulți utilizatori și să-i mențină pe o anumită pagină.

Acest proces implică în mare măsură testarea cu variații multiple, colectarea statisticilor și efectuarea de modificări pe baza valorilor / rezultatelor obținute.

Nu numai că se limitează la site-uri web, dar testarea multivariată este necesară și pentru aplicațiile mobile. Site-urile web și aplicațiile mobile sunt compuse din combinații de elemente variabile și, prin urmare, testarea multivariată se face pentru a afla care combinație de variații funcționează cel mai bine.

Acest lucru joacă un rol crucial în strategia de marketing pe internet.

Tipuri de testare MVT:

Pe baza distribuției traficului către mai multe versiuni de variante, există multiplu tipuri de testare multivariată care poate fi efectuat:

a) Testarea factorială completă:

Este cea mai preferată formă de testare MVT în care fiecare combinație posibilă de variație a elementelor este testată în mod egal prin redirecționarea traficului site-ului web către acesta până când este găsit un câștigător. Toate combinațiile posibile au o probabilitate egală. Cel mai bun lucru despre această metodă este că nu există presupuneri și se bazează pe cifre / statistici dificile, ceea ce îl face foarte fiabil și cel mai recomandat.

Singurul demerit este traficul. Odată cu creșterea numărului de combinații variate, este nevoie de mult trafic pe site-ul web pentru a analiza datele și a decide câștigătorul.

b) Testarea factorială fracționată sau parțială:

Deoarece numele indică doar o fracțiune din toate variantele de versiuni ale combinației este expusă traficului site-ului web. Calculele și analizele matematice statice se fac pentru restul combinațiilor pentru a găsi cea mai bună rată de conversie.

Metoda Taguchi este cea mai populară metodă de testare multivariabilă factorială fracțională. Această metodă oferă un rezultat mai puțin precis, deoarece doar un eșantion din variații este testat și nu toate. Deși această metodă necesită mai puțin timp pentru a analiza câștigătorul, rezultatul nu poate fi niciodată considerat la fel de exact ca în cazul testării factoriale complete.

c) Testare adaptivă multivariată:

Aceasta este o nouă abordare a testării multivariate. În acest caz, răspunsul în timp real al vizitatorilor de pe pagina web este analizat pentru a determina cea mai bună versiune a combinației de variante.

d) Alegere discretă:

Această metodă descoperă efectele de interacțiune, spune cum oamenii creează un compromis din perspectiva unei decizii de cumpărare. Este o tehnică complexă care variază sistematic atributele sau elementele de conținut.

e) Design optim:

Această metodă include iterații și val de testare. În plus față de testarea numărului maxim de variații creative în timp minim, acesta permite, de asemenea, specialiștilor în marketing să ia în considerare relațiile, interacțiunile și limitările între elementele de conținut ale unui site web sau ale unei aplicații. Acest lucru ajută la găsirea soluției optime.

Să trecem mai departe la o întrebare importantă: Marketingul web poate fi optimizat prin teste multivariate?

Răspunsul este un „Da” răsunător.

Folosind testarea multivariată putem determina în mod clar ce trebuie implementat și ce trebuie evitat. Totul este axat pe experiența vizitatorului.

întrebări de interviu pentru biroul de asistență la nivel de intrare

Următoarele aspecte sunt luate în considerare atunci când se efectuează testarea multivariată:

# 1. Condiția prealabilă pentru testarea multivariată este: Definiți obiective de marketing sau examinați obiectivele site-ului web. Mai jos sunt câteva exemple:

• Obțineți venituri / profituri maxime prin publicitate, vânzarea de produse, plătiți pentru clicuri.
• Creează conștientizare a mărcii în cadrul clientelei
• Economisiți cheltuielile - de exemplu: Ghidați utilizatorii spre autoservire prin întrebări frecvente în loc de online, în serviciul personal.

#Două. Ar trebui testate numai acele lucruri care vizează cu adevărat obiectivele de marketing ale organizației.

# 3. Alegeți doar acele elemente care vor măsura cu precizie obiectivele de marketing.

Exemple ar putea fi:

• Pentru a câștiga mai mulți bani, ar trebui să se concentreze paginile care includ opțiuni precum „Cumpărați acum” / „plată” / fluxuri pentru a finaliza o înregistrare sau a vă înscrie.
• Pentru a crea conștientizare pentru vizitatori și promoție, „trimiteți unui prieten” / „trimiteți un prieten” / „trimiteți” etc. poate fi util
• Pentru economii, accentul poate fi pus pe elemente precum Întrebări frecvente, ajutor, contact, apel, clicuri „Adăugați în coș” care duc la paginile de mulțumire etc.

Cum se efectuează testarea multivariată

1. Identificați o problemă

Primul pas este identificarea problemei. Acest lucru vă oferă sfera de îmbunătățire pentru site-ul sau aplicația dvs. De exemplu, problema poate fi de genul motivului pentru care vizitatorii site-ului nu fac clic pe butonul de descărcare.

2. Formulați ipoteza

Faceți o ipoteză pentru îmbunătățirea paginii web. De exemplu, ipoteza poate fi că clienții nu fac clic pe butonul de descărcare, deoarece vizibilitatea sa nu este atrăgătoare. Deci, făcându-l atrăgător, s-ar crește descărcările.

3. Creați variații

Selectați factorii și creați variații. Să presupunem că cei doi factori sunt titlul „Descărcați” și linkul „Producător PDF”. De exemplu, avem mai jos 12 variante:

4. Determinați dimensiunea eșantionului

Aflați câți vizitatori sunt necesari pe fiecare pagină, cât timp trebuie să rulați testul, câte variante aveți și semnificația statistică.

5. Testați-vă instrumentele

Testați totul (în principal, dacă pagina dvs. web / aplicația funcționează bine) înainte de a începe să rulați testul, astfel încât nimic să nu venereze rezultatele testului.

6. Începeți să conduceți trafic

Începeți să conduceți traficul către variațiile dvs.

7. Analizează-ți rezultatele

După executarea testului pentru o perioadă semnificativă de timp, obțineți rezultatele de analizat. Un exemplu este prezentat mai jos:

Cele care au un nivel de încredere de 95% sau mai mare sunt rezultate semnificative statistic.

8. Aflați din rezultatele dvs.

Acesta este ultimul și un pas important. Din testul multivariat, veți afla despre paginile dvs. web / aplicația și vizitatorii acesteia. Puteți utiliza această învățare pentru testele viitoare.

Un cuvânt de precauție - Feriți-vă de următoarele lucruri atunci când efectuați testări multivariate:

Greșeli care ar trebui evitate

1. Alegerea incorectă a variantelor . De ex. să presupunem că schimbăm dimensiunea fontului, culoarea și stilul textului titlului în același timp sub o singură versiune a combinației de variații. Apoi va fi dificil de analizat din datele primite despre ce variație a titlului (indiferent dacă dimensiunea fontului, culoarea sau stilul) a făcut ca vizitatorul să răspundă diferit.
2. O perioadă prea scurtă de testare multivariantă . Încheierea testului mai devreme și alegerea unei game mici de date pentru a analiza câștigătorul poate duce la statistici nevalide.
3. O perioadă prea lungă de testare multivariată. Rularea testului prea mult timp pentru a analiza datele marginale duce, de asemenea, la pierderea de timp
4. Înțelegerea greșită a indicatorilor cheie. Concentrarea, analizarea și urmărirea combinației variabile a acelor indicatori care sunt nesemnificativi sau fără legătură cu obiectivul final
5. Doar câțiva indicatori cheie de performanță sunt identificate în timp ce multe altele nu sunt urmărite
6. Decizia tipului de trafic al vizitatorului către o pagină web. Acest lucru poate fi foarte riscant și problematic, deoarece nu toți vizitatorii sunt la fel.
7. Nu analizează rezultatele și efectuarea modificărilor corecte ale site-ului.

Fă și nu trebuie

Din lista de mai sus, un rezumat al ce să faci și ce să nu faci ar putea fi:

Nu trebuie:

Nu încercați să includeți o mulțime de variabile în test. Cu cât este mai mare numărul de variabile de testat; cu atât mai mari vor fi combinațiile, ceea ce înseamnă, la rândul lor, că este nevoie de mai mult trafic pentru a colecta statistici semnificative.

care sunt cei mai buni descărcători de muzică

Faceți:

1. Previzualizați toate versiunile combinației de variații înainte de a începe testul, deoarece unele dintre ele ar putea fi incompatibile sau ilogice. De exemplu, una dintre combinațiile variabile este a titlului care spune „50% reducere la abonament” și a butonului oprit care spune „Abonament gratuit”. Asemenea ar trebui eliminate.

2. Decideți impactul versiunilor combinate asupra ratei de conversie. Includerea numai a combinațiilor care au un impact mai mare asupra ratei de conversie este o idee bună.

3. Estimează traficul paginii web pentru a culege date statistice semnificative. Înainte de a începe testul, este mai bine să aveți o idee clară despre traficul paginii web. Dacă o pagină web are doar 100-200 de vizitatori pe zi, atunci ar trebui să luăm în considerare câteva variabile numai pentru executarea testului multivariant.

Argumente pro şi contra

Până acum, am văzut ce este testarea multivariantă, cum se face, erori, factori, de făcut și nu etc. Acum, să analizăm câteva Pro și Contra din aceasta:

Pro:

1. O mai bună înțelegere și înțelegere a efectului variabilelor sau elementelor asupra ratei de conversie Mai mult trafic conduce la mai multe date statistice, ceea ce duce la o analiză mai bună și la luarea deciziilor în ceea ce privește cea mai bună combinație de variabile pentru a atinge obiectivul final.
2. În ceea ce privește modificările de proiectare și aspect, testarea multivariată este flexibilă.

Contra:

1. Executarea testelor multivariate durează mai mult.
2. Pentru a obține statistici semnificative este necesar mult trafic de pagini web.
3. Mai complicat de configurat testele.
4. Necesită mai multe versiuni de combinații variabile pentru testare.

Testare A / B

Aceasta fiind o scurtă listă a tuturor lucrurilor Testarea multivariantă, varietatea de teste care pot fi făcute pentru a realiza optimizarea paginilor web nu are sfârșit și o altă metodă populară disponibilă este Testarea A / B .

Ce este testarea A / B?

( imagine sursă)

Testarea A / B este, de asemenea, uneori cunoscută sub numele de Testare divizată . Cu toate acestea, testarea divizată este diferită. Vom vedea diferența dintre ele în partea ulterioară a acestui tutorial.

În testarea A / B, două versiuni ale aceleiași pagini web sunt supuse testării cu o cantitate egală de trafic de pagină web. Versiunea care obține un număr maxim de conversii este câștigătorul final. Această nouă versiune crește cu siguranță rata de conversie.

Exemplu de testare split A / B:

Să ne înțelegem funcționarea testării A / B cu un mic exemplu :

Imaginea de mai sus este a unei pagini web pentru conștientizarea siguranței.

Această imagine constă dintr-un buton gri care spune „ Faceți un test și câștigați premii interesante Această pagină web originală este considerată „O versiune”. Acum, „versiunea B” este concepută cu o variație a culorii butonului de la gri la roșu.

Acest lucru este prezentat în imaginea de mai jos:

Traficul live al paginii web este deviat către ambele versiuni. După ce suficienți vizitatori au susținut testul și cu datele statistice primite, se poate determina cu ușurință ce versiune are un efect mai mare asupra ratei de conversie.

Aici, în exemplul de mai sus, un buton care spune „ Faceți un test și câștigați premii interesante ”În culoarea roșie a atras mai mulți vizitatori să apese butonul și să susțină un test decât butonul gri mai vechi.

Astfel, a fost atins obiectivul final al paginii web de a crește mai multe venituri.

Pro și Contra testelor A / B:

Pro:

1. Metodă simplă și simplă de configurare a experimentelor pentru optimizarea paginilor web.
2. Rezultatele fiabile și exacte pot fi determinate cu ușurință chiar și cu trafic de pagini web redus.
3. Testele pot fi efectuate foarte rapid și datele statistice pot fi analizate pentru a atinge obiectivul final.
4. Nu depinde mult de orice formă de tehnologie.
5. Mai potrivit pentru schimbări de aspect, conținut, proiectare a oricărei pagini web.

Contra:

1. Doar câteva sau spun un număr limitat de modificări pot fi făcute simultan unei pagini web.
2. Nu este posibil să se determine impactul diferitelor variabile prezente pe o pagină web unul asupra celuilalt.

Tabel comparativ:

Testarea A / B vs Testarea multivariată vs Testarea divizată

Testarea A / B, testarea multivariată și testarea divizată sunt cele trei tipuri principale de testare variantă UX (User experience). Să vedem în ce fel sunt diferite între ele.

Cele două imagini de mai jos vă oferă o comparație ilustrativă foarte bună între testarea A / B și testarea multivariată.

Testare multivariată

Testare divizată:

Aici avem o altă variantă cunoscută sub numele de testare URL divizată, care este mult mai complicată decât testarea A / B și implică modificări pe partea de server , unde avem două pagini web diferite care sunt testate una împotriva celeilalte. Acest tip de testare funcționează bine pentru paginile de destinație în cazurile în care echipa de proiectare trebuie să decidă care va funcționa mai bine.

Instrumente de testare A / B / Split / Multivariate

Există o mulțime de instrumente disponibile pe piață pentru aceste trei tipuri de testare UX. Aș numi câteva dintre cele mai bune aici pe care le puteți explora. Acestea sunt Google Optimize, Optimizely, VMO, Qubit, Maxymiser și AB Tasty.

Concluzie :

Ambele metode, A / B și testarea multivariată măresc rata de conversie, îmbunătățesc performanța și optimizează paginile web și aplicațiile. Ambele sunt utile în felul lor și vin și cu deficiențele și provocările lor unice - depinde de noi să identificăm și să analizăm care metodă se potrivește cel mai bine cerinței.

Noi, testerii suntem implicați în principal în testarea modificărilor efectuate pentru a implementa testele multivariate sau A / B. Odată ce aceste modificări sunt făcute și testate, acestea pot fi rulate în mediul de producție de către echipa de marketing sau de afaceri pentru a aduna rezultatele.

Deci, este foarte important ca testerii să testeze aceste modificări foarte atent, în caz contrar, rezultatele finale ar fi inexacte, ducând la pierderi imense de afaceri, deoarece de cele mai multe ori acest lucru este legat direct de veniturile din afaceri.

Lectură recomandată

• Cele mai bune instrumente de testare software 2021 (Instrumente de automatizare a testelor de calitate)
• Descărcare eBook Descărcare Primer
• Testarea statică și testarea dinamică - Diferența dintre aceste două tehnici importante de testare
• Testarea încărcării cu tutoriale HP LoadRunner
• Diferența dintre Desktop, Client Server Testing și Web Testing
• Ce este testarea Gamma? Etapa finală de testare
• Ce este testarea conformității (testarea conformității)?
• Testare software Job asistent QA