Kirjeldus
A/B testimine aitab sul näha, milline lahendusvariantidest toimib konkreetse eesmärgi täitmiseks paremini.
A/B testi puhul jagatakse kasutajate testrühm juhuslikult kaheks – A grupp kogeb ühte lahenduse versiooni ning B-grupp kogeb teist. Test viiakse läbi, kuni on saavutatud statistiliselt oluline tulemus, misjärel võetakse paremini toimiv lahendus kasutusele kõigi kasutajate jaoks. Oluline on meeles pidada, et A/B testimise käigus saad teada vaid seda, milline lahendus reaalsete kasutajatega paremini toimis, mitte aga vastust küsimusele, miks see nii oli. Seega ei asenda A/B testimine kvalitatiivseid meetodeid kasutajate soovide, hoiakute ja vajaduste hindamisel ega aita selgeks teha, mida kasutajad tundsid või näiteks seda, kui usaldusväärsena teenust tajusid.
Lähtepunktid
Eeltingimused
A/B testi läbi viimine eeldab valmislahenduse (või funktsionaalse ja toimiva prototüübi) olemasolu: teenuse tarbimisega on seotud mitmeid erinevaid muutujaid, mis võivad mõjutada teenuse edukust ja kasutajasõbralikkust. Adekvaatse tulemuse saamiseks on oluline, et testitav lahendus oleks kasutaja seisukohast vaadates piisavalt lähedane lõpplahendusele: näeks välja ja toimiks "nagu päris" ka juhul, kui teenuse taga olevaid tugiteenuseid ja funktsionaalsusi (näiteks registriandmete muutmist, tellitava teenusemuudatuse reaalset asendamist jne) ei toimu.
Vajalikud töövahendid
Google Optimize
Töö tulem
Testi abil saad kindlaks teha, milline lahendus viis soovitud eesmärkidele lähemale.
Kasu saaja
Kogu tiim ning lõppkasutaja. Testi läbiviimine aitab valideerida teenuse disainimisel õigeid otsuseid.
Väärtus
- Statistiline tõestatus otsuse langetamisel
- Testi käigus võib õppida palju uut oma teenuse kohta
- Üsna odav ning kiire
Ajastus
Testi kasumlikuks teostamiseks peaksid olema juba lahendamise ja/või arendamise faasis.
Protsess
1. Vali testimiseks üks muutuja
A/B-testi läbi viimiseks tuleb ühest lahendusest kaks erinevat versiooni luua, nii, et neid versioone eristaks üks konkreetne muutuja (näiteks kujunduse värv, emaili pealkiri, nupu asetus või tekst). Seejärel näidatakse neid versioone kahele sarnase suurusega vaatajaskonnale: üks grupp näeb ainult ühte versiooni, teine teist.
Juhul, kui sooviks on mitut muutujat testida, tuleks ideaaljuhul läbi viia mitu testi - näiteks eelmise testi parima lahendusega edasi töötades. Olukordades, kus soovitakse võrrelda omavahel mitme erisusega lahendusi, tuleb väga täpselt teadvustada, millised on erisused ja millis muudatust kasutaja tegevuses mõõdetakse!
2. Määra oma eesmärk
Ühe muutujaga testi puhul on asi lihtne, mitme muutujaga lahendusi testides tuleks enne testi läbi viimist otsustada, milline on nn "sõltumatu muutuja", millele tulemusi analüüsides keskendutakse. Sulle võib abiks olla hüpoteeside püstitamine: panete koos meeskonnaga kirja oma oletused/väited ja selle, mille alusel antud väite tõeks või valeks osutumist hindate. Näiteks on väiteks "värvilisem ja suuremate piltidega veebivormi versioon töötab paremini" ning tõestajaks on vormi kaudu registreerunute arv. Mõõdikud ja eesmärgid tuleb paika panna enne A/B testi läbi viimist, nii saad tagada testi korrektse seadistamise ja õigete andmete kogumise.
3. Loo "kontroll" (A-test) ja "väljakutsuja" (B-test)
Kõige sagedasemalt kasutatakse A/B testi juba olemasoleva lahenduse võrdlemiseks parendatud versiooniga. Sellisel juhul oleks kontroll-testiks ehk A'ks täna avalikult kättesaadav lahendus, väljakutsujaks ehk B-testiks aga loodav ehk uuendatud versioon sellest.
9. Keskendu oma väljavalitud mõõdikule
Analüüsi planeerimisel ja tegemisel keskendu eesmärgile: mitme muutuja/mõõdikuga testimisel peamistele põhinäitajatele.
4. Jaga oma proovirühmad võrdselt ja juhuslikult
Test on edukas ainult juhul, kui saad A ja B testi tulemusi omavahel võrrelda: see eeldab, et testijaid oleks piisavalt, nad oleks juhuslikkuse alusel kas ühe või teise lahenduse juurde suunatud, ning et mõlemal testitaval lahendusel oleks võrdsed võimalused eduks (näiteks ei saa A/B testimist läbi viia nii, et pool päevast on kõigile kasutajatele kättesaadav üks lahendus ja teine pool päevast teine: kasutajaid võivad mõjutada ka teenusevälised tegurid nagu kellaaeg, ilm, meedia jne).
Enamik A/B testimiseks mõeldud tööriistadest aitab sul kasutajad ise võrdsetesse sihtrühmadesse jaotada. Näiteks juhul, kui oled HubSpot Enterprise klient ja soovid testida e-kirjade toimivust, loob tarkvara ise iga versiooni jaoks võrreldava valimi.
5. Veendu, et teeksid korraga ainult ühte testi.
A/B testimisvõimekus innustab testima ja nii on oht, et suures entusiasmis püütakse üheaegselt vastuseid saada paljudele erinevatele küsimustele. Jälgi, et teeksid ainult ühe testi korraga ja et iga testi jaoks oleks olemas üks konkreetne eesmärk.
6. Kasutage mõnda A/B testimise tööriista
Google Optimize, Adobe Target, A/B Smartly, HubSpot
7. Anna A/B-testile piisavalt aega kasulike andmete saamiseks.
Kasutajad on inimesed ja neid mõjutavad paljud teenusevälised tegurid - nädalapäev, kellaaeg, ilm, pühad, elektriarved, uudised jne. Adekvaatsete tulemuste saamiseks on vaja testi jaoks piisavalt aega anda, et mõni ootamatu "piik" üldnumbreid paigast ei lükkaks. Samuti on kriitiliselt tähtis, et A ja B versiooni testitaks üheaegselt: testid, kus pool päeva näidatakse kõikidele kasutajatele ühte versiooni ja ülejäänud pool päevast kõigile kasutajatele teist, ei anna võrreldavaid tulemusi.
8. Küsige kasutajatelt tagasisidet
Ehkki A/B-testimise põhiline eesmärk on koguda kvantitatiivseid andmeid, tasuks alasti mõelda ka kvalitatiivse sisendi saamisele: näiteks uurida, miks inimesed teatud toiminguid teevad. Parim viis selleks on kasutajaintervjuude läbi viimine A/B-testiga paralleelselt.
10. Leppige kokku oma järgmised tegevused.
Kas testi tulemusena selgus selge võitja? Juhul, kui üks lahendus...- ... saavutas teise ees selge edumaa, tasub A/B-testimise tööriistas "kaotanud" versioon välja lülitada ja jätkata ainult võitjaversiooni kuvamisega kasutajatele.
- ... selget edumaad ei saavutanud, tuleks analüüsida, MIKS see juhtus. Püstitage uued hüpoteesid, viige "väljakutsuvasse" lahendusse sisse uued muudatused, ja korrake testi.
