A/B tesztelés a Mailchimp-ben II.6 perc olvasás

Előző posztomban írtam arról, hogy a Lovepop milyen sikeresen tudta alkalmazni a Mailchimp A/B tesztelő szolgáltatását.

Két kérdésre keresem a választ:

1. Hogyan működik a Mailchimp A/B tesztelője?
2. Milyen módszertant használva értékeli ki az eredményt?

Az A/B tesztelés a Mailchimp esetében lehetővé teszi, hogy eldöntsd, adott email kampány esetén melyik verzió teljesít jobban.

Nézzük végig a lépéseket, amivel fel tudod állítani a kampányodat:

Van néhány kifejezés, amit tisztáznunk kell az elején, hogy mit is értünk alatta.
1. Változó:  a kampány azon jellemzője, amit tesztelni akarsz. Le tudod tesztelni az email tárgyát, a feladóként megjelenített nevet, az üzeneted tartalmát és a kiküldés idejét. A változók különböző verziói a variációk.

2. Kombináció: a kampányodban kiválasztott változó variációinak összessége. Ha három különböző tartalmat szeretnél tesztelni, akkor a Mailchimp három kombinációt fog elkészíteni. A teszt során kiküldött kombinációkat teszt kombinációknak nevezzük.

3. Teszt: a kombinációk kiküldése utáni időtartam, amig az eredményeket össze nem tudják hasonlítani. A teszt fázis alatt összegyűjtött adatokat használják fel ahhoz, hogy a győztes kombinációt automatikusan vagy kézzel megállapítsuk.

4. Győztes vagy győztes kombináció: az a kampány, ami a legjobban teljesít. Ez automatikusan eldönthető a kattintási arány, megnyitási arány, teljes bevétel alapján vagy a kampány tesztelője önállóan értékelheti ki belátása alapján.

A Mailchimpbe belépve, rákattintva a Campaigns fülre, Create campaign és ott ki tudod választani az A/B tesztet.

Ki kell elsőként választani, hogy melyik email listára fogod a kampányt tesztelni. Ezután a következő felület jelenik meg:

A felület nagyon egyszerű, felhasználóbarát és gyors kampány összeállítást tesz lehetővé. Bal felül először kiválasztod, hogy melyik változót kívánod tesztelni. Mindegyikből legfeljebb három verziót csinálhatsz.
A Mailchimp verziónként legalább 5000 címzettet javasol, hogy megfelelő mennyiségű adatot gyűjthessen össze a győztes kiválasztásához. Amennyiben ettől kevesebb van, akkor is fog győztest javasolni, de kevésbé pontosan tudja megmondani, hogy melyik a jobban teljesítő. Célszerű megosztani a teszt és a győztes kampányokat a címzettek között, hogy minél jobb legyen a kampány összteljesítménye. Egy kisebb mintán elvégezve a tesztet, a legjobban teljesítő verzió fog majd a fennmaradó címzettekhez kerülni.

Bal alul választhatod ki, hogy milyen metrika alapján legyenek értékelve a verzióid. Kattintás aránya, megnyitási arány vagy teljes bevétel. Amennyiben tárgyat vagy küldőt tesztelsz, akkor a megnyitási arányt válaszd, amikor tartalmat akkor vagy az átkattintási arányt vagy a teljes bevételt. A tapasztalatok alapján Mailchimp legalább 4 óra várakozást javasol, hogy megfelelő mennyiségű adat gyűljön össze a kiértékeléshez. Óra helyett megadható még nap is.

Ezután a Mailchimp végig vezet téged a teszt felállításának további lépésein, ahol beállíthatod az eltéréseket és feltöltheted tartalommal a kampányverzióidat. A Confirm gombra kattintva útjára indíthatod a kampányodat. A Mailchimp saját módszertan alapján eldönti, hogy melyik a győztes verzió és azt automatikusan kiküldi a lista fennmaradó címzettjeinek. Amennyiben kézi kiértékelést állítottál be, akkor azt a gyűjött adatok alapján, te ütemezheted be magadnak. Itt érünk el a poszt elején feltett második kérdésemhez, hogy milyen módon dönti el a Mailchimp a győztest.

Nos, erre semmilyen leírást nem sikerült találnom a Mailchimp oldalán. Nem ír arról, hogy miért javasolja a legalább 5000 címzettből álló mintaelemszámot a különböző verziókhoz. Szintén nincsen arról tájékoztatást, hogy miért legalább 4 órát határoz meg minimum időtartamnak a kampány kiértékelésére. Egy átlagos Mailchimp felhasználó számára ez nem is fontos. Vélhetően a Mailchimp már rájött arra, hogy mi az a módszertani szint, amit neki az előfizetőivel közölni kell. Felesleges lenne terhelnie ezekkel a felhasználókat, mindazonáltal felületet adhatna a krtika megfogalmazására és a versenytársainak plusz információt, hogy ők hogyan tudnának egy ilyen plusz szolgáltatást kialakítani. A max. 3 verzió, a javasolt min. 5000 címzett/verzió és a legalább 4 óra adatgyűjtés az A/B tesztelés emailekre alkalmazandó legfontosabb paraméterei, ami alapján megfelelő bizonyosság mellett ki tudja hozni a győztest. Bár beszél ugyan multivariate A/B tesztelésről, ahol eltérő küldőt, emailek tárgyát és tartalmat egyszerre tudsz futtatni, de a kiértékelés módszertanát itt sem írja le.

A Mailchimp álláspontja érhető az A/B tesztelés ködösített módszertani leírására vonatkozóan a következők miatt:

  • nincs rá felhasználói igény
  • feleslegesen terhelné a felületet, rombolná a felhasználói élményt
  • nem hozna több felhasználót
  • üzleti titok a pontos kiértékelő algoritmus minden A/B tesztelő szolgáltatást nyújtó számára

Az első kérdésemre megkaptuk a választ. Tényleg nagyon egyszerűen és hatékonyan lehet email kampányokat tesztelni. Minden lépés úgy lett kialakítva, hogy az intuitív legyen a felhasználó számára és teljes mértékben eredményorientált az oldal. Nincsenek benne felesleges lépések, kérések, bonyolító opciók és a kampány leglényegesebb része, a kiértékelés teljes mértékben automatizálható.

A második kérdésemre nem kaptunk választ a Mailchimptől. Egy ekkora piaci szereplő megteheti, hogy kihasználja méretét és elvárja, hogy a felhasználói bízzanak abban, hogy a legjobb módon hozza ki a győztes kampányt, a módját pedig ne is akarják tudni. A kövtkező posztomban le fogom írni, hogy milyen módszertannal értékelheti ki a Mailchimp vagy bármely más szolgáltató vagy akár végfelhasználó az A/B tesztjei eredményét.

Erdelyi Bence

About Bence Erdelyi

Earned his MBA at Quinnipiac University in the USA, holds PMP designation, enrolled in the CFA program as level III candidate. Gained experience in the field of supply chain, retail, online accommodation sales, strategy and energy. Has 8 years of entrepreneurship experience, 3,5 years of work experience in the USA. Passionate about aquaculture.

View all posts by Bence Erdelyi →

Leave a Reply

Your email address will not be published. Required fields are marked *