---
title: A/B-testimine
description: Aitab planeerida, kavandada ja ellu viia A/B-teste ning kasvueksperimentide programmi.
category: Marketing
sublabel: Kasv ja konversioon
author: Corey Haines
tags: 
license: MIT
source: https://github.com/coreyhaines31/marketingskills
---

# A/B-testi seadistamine

Oled eksperimenteerimise ja A/B-testimise ekspert. Sinu eesmärk on aidata kavandada teste, mis annavad statistiliselt kehtivaid ja praktilisi tulemusi.

## Esialgne hindamine

**Kontrolli esmalt tooteturunduse konteksti:**
Kui `.agents/product-marketing.md` on olemas (või `.claude/product-marketing.md`, või vanemates seadistustes pärandnimega `product-marketing-context.md`), loe see enne küsimuste esitamist. Kasuta seda konteksti ja küsi ainult teavet, mida pole juba kaetud või mis on sellele ülesandele eriomane.

Enne testi kavandamist mõista:

1. **Testi kontekst** — Mida üritad parandada? Millist muudatust kaalud?
2. **Praegune olukord** — Lähtekonversioonimäär? Praegune liiklusmaht?
3. **Piirangud** — Tehniline keerukus? Ajakava? Saadaolevad tööriistad?

---

## Põhiprintsiibid

### 1. Alusta hüpoteesist
- Mitte lihtsalt „vaatame, mis juhtub“
- Konkreetne tulemuse ennustus
- Põhineb arutlusel või andmetel

### 2. Testi üht asja
- Üks muutuja testi kohta
- Muidu ei tea, mis töötas

### 3. Statistiline rangus
- Määra valimi suurus ette kindlaks
- Ära piilu ega lõpeta vara
- Pühendu metoodikale

### 4. Mõõda seda, mis loeb
- Peamine mõõdik seotud äriväärtusega
- Teisesed mõõdikud konteksti jaoks
- Kaitsepiiri mõõdikud kahju ärahoidmiseks

---

## Hüpoteesi raamistik

### Struktuur

```
Because [observation/data],
we believe [change]
will cause [expected outcome]
for [audience].
We'll know this is true when [metrics].
```

### Näide

**Nõrk**: „Nupu värvi muutmine võib klikke suurendada.“

**Tugev**: „Kuna kasutajad teatavad raskustest CTA leidmisel (soojuskaartide ja tagasiside põhjal), usume, et nupu suuremaks muutmine ja kontrastse värvi kasutamine suurendab CTA-klikke uute külastajate seas 15%+. Mõõdame klikisagedust lehe vaatamisest registreerumise alustamiseni.“

---

## Testi tüübid

| Tüüp | Kirjeldus | Vajalik liiklus |
|------|-------------|----------------|
| A/B | Kaks versiooni, üks muudatus | Keskmine |
| A/B/n | Mitu varianti | Suurem |
| MVT | Mitu muudatust kombinatsioonides | Väga suur |
| Jagatud URL | Variantidele erinevad URL-id | Keskmine |

---

## Valimi suurus

### Kiirülevaade

| Lähtemäär | 10% tõus | 20% tõus | 50% tõus |
|----------|----------|----------|----------|
| 1% | 150k/variant | 39k/variant | 6k/variant |
| 3% | 47k/variant | 12k/variant | 2k/variant |
| 5% | 27k/variant | 7k/variant | 1.2k/variant |
| 10% | 12k/variant | 3k/variant | 550/variant |

**Kalkulaatorid:**
- [Evan Milleri oma](https://www.evanmiller.org/ab-testing/sample-size.html)
- [Optimizely oma](https://www.optimizely.com/sample-size-calculator/)

**Üksikasjalike valimisuuruse tabelite ja kestuse arvutuste jaoks**: vaata [references/sample-size-guide.md](references/sample-size-guide.md)

---

## Mõõdikute valik

### Peamine mõõdik
- Üks mõõdik, mis loeb kõige rohkem
- Otseselt seotud hüpoteesiga
- See, mille järgi testi hindad

### Teisesed mõõdikud
- Toetavad peamise mõõdiku tõlgendamist
- Selgitavad, miks/kuidas muudatus töötas

### Kaitsepiiri mõõdikud
- Asjad, mis ei tohiks halvemaks minna
- Peata test, kui oluliselt negatiivne

### Näide: hinnalehe test
- **Peamine**: paketi valimise määr
- **Teisene**: lehel veedetud aeg, pakettide jaotus
- **Kaitsepiir**: tugipiletid, tagasimaksete määr

---

## Variantide kavandamine

### Mida varieerida

| Kategooria | Näited |
|----------|----------|
| Pealkirjad/tekst | Sõnumi nurk, väärtuspakkumine, konkreetsus, toon |
| Visuaalne disain | Paigutus, värv, pildid, hierarhia |
| CTA | Nupu tekst, suurus, asetus, arv |
| Sisu | Kaasatud teave, järjekord, hulk, sotsiaalne tõestus |

### Parimad praktikad
- Üks tähenduslik muudatus
- Piisavalt julge, et vahe tekitada
- Hüpoteesile truu

---

## Liikluse jaotus

| Lähenemine | Jaotus | Millal kasutada |
|----------|-------|-------------|
| Standardne | 50/50 | A/B vaikeseade |
| Konservatiivne | 90/10, 80/20 | Halva variandi riski piiramine |
| Järkjärguline | Alusta väikselt, suurenda | Tehnilise riski maandamine |

**Kaalutlused:**
- Järjepidevus: kasutajad näevad tagasitulles sama varianti
- Tasakaalustatud eksponeeritus päeva/nädala aja lõikes

---

## Rakendamine

### Kliendipoolne
- JavaScript muudab lehte pärast laadimist
- Kiire rakendada, võib põhjustada vilkumist
- Tööriistad: PostHog, Optimizely, VWO

### Serveripoolne
- Variant määratakse enne renderdamist
- Vilkumist pole, nõuab arendustööd
- Tööriistad: PostHog, LaunchDarkly, Split

---

## Testi läbiviimine

### Enne käivitamist kontroll-loend
- [ ] Hüpotees dokumenteeritud
- [ ] Peamine mõõdik määratletud
- [ ] Valimi suurus arvutatud
- [ ] Variandid korrektselt rakendatud
- [ ] Jälgimine kontrollitud
- [ ] Kvaliteedikontroll kõigil variantidel tehtud

### Testi ajal

**TEE:**
- Jälgi tehnilisi probleeme
- Kontrolli segmentide kvaliteeti
- Dokumenteeri välised tegurid

**Väldi:**
- Tulemuste piilumist ja varajast peatamist
- Variantide muutmist
- Liikluse lisamist uutest allikatest

### Piilumise probleem
Tulemuste vaatamine enne valimisuuruse saavutamist ja varajane peatamine viib valepositiivsete tulemuste ja valede otsusteni. Pühendu valimisuurusele ette ja usalda protsessi.

---

## Tulemuste analüüsimine

### Statistiline olulisus
- 95% usaldus = p-väärtus < 0,05
- Tähendab <5% tõenäosust, et tulemus on juhuslik
- Mitte garantii — lihtsalt lävi

### Analüüsi kontroll-loend

1. **Kas valimi suurus saavutatud?** Kui ei, on tulemus esialgne
2. **Kas statistiliselt oluline?** Kontrolli usaldusvahemikke
3. **Kas efekti suurus on tähenduslik?** Võrdle MDE-ga, prognoosi mõju
4. **Kas teisesed mõõdikud on järjepidevad?** Kas toetavad peamist?
5. **Kaitsepiiri mured?** Kas midagi läks halvemaks?
6. **Segmentide erinevused?** Mobiil vs. laud? Uued vs. tagasitulijad?

### Tulemuste tõlgendamine

| Tulemus | Järeldus |
|--------|------------|
| Oluline võitja | Rakenda variant |
| Oluline kaotaja | Jää kontrollvariandi juurde, õpi miks |
| Olulist erinevust pole | Vajad rohkem liiklust või julgemat testi |
| Vastuolulised signaalid | Kaeva sügavamale, võib-olla segmenteeri |

---

## Dokumenteerimine

Dokumenteeri iga test:
- Hüpotees
- Variandid (koos ekraanipiltidega)
- Tulemused (valim, mõõdikud, olulisus)
- Otsus ja õppetunnid

**Mallide jaoks**: vaata [references/test-templates.md](references/test-templates.md)

---

## Kasvueksperimentide programm

Üksiktestid on väärtuslikud. Pidev eksperimenteerimisprogramm on liitkasvav vara. See osa käsitleb, kuidas viia eksperimente läbi jätkuva kasvumootorina, mitte ainult ühekordsete testidena.

### Eksperimendi silmus

```
1. Generate hypotheses (from data, research, competitors, customer feedback)
2. Prioritize with ICE scoring
3. Design and run the test
4. Analyze results with statistical rigor
5. Promote winners to a playbook
6. Generate new hypotheses from learnings
→ Repeat
```

### Hüpoteeside genereerimine

Toida oma eksperimentide tööjärge mitmest allikast:

| Allikas | Mida otsida |
|--------|-----------------|
| Analüütika | Väljalangemiskohad, madala konversiooniga lehed, alatulemuslikud segmendid |
| Kliendiuuringud | Valukohad, segadus, täitmata ootused |
| Konkurentsianalüüs | Funktsioonid, sõnumid või UX-mustrid, mida nemad kasutavad ja sina mitte |
| Tugipiletid | Korduvad küsimused või kaebused konversioonivoogude kohta |
| Soojuskaardid/salvestused | Kus kasutajad kõhklevad, vihaklikivad või lahkuvad |
| Varasemad eksperimendid | „Oluline kaotaja“ testid paljastavad sageli uusi nurki, mida proovida |

### ICE-prioriteerimine

Hinda iga hüpoteesi 1–10 kolmel mõõtmel:

| Mõõde | Küsimus |
|-----------|----------|
| **Mõju** | Kui see töötab, kui palju liigutab see peamist mõõdikut? |
| **Kindlus** | Kui kindlad oleme, et see töötab? (Andmete, mitte kõhutunde põhjal.) |
| **Lihtsus** | Kui kiiresti ja odavalt saame selle välja lasta ja mõõta? |

**ICE-skoor** = (Mõju + Kindlus + Lihtsus) / 3

Vii kõrgeima skooriga eksperimendid esimesena läbi. Hinda uuesti kord kuus, kui kontekst muutub.

### Eksperimendi kiirus

Jälgi oma eksperimenteerimise tempot kui kasvu juhtivat näitajat:

| Mõõdik | Siht |
|--------|--------|
| Käivitatud eksperimente kuus | 4–8 enamikule meeskondadele |
| Võiduprotsent | 20–30% on küpsetele programmidele tavaline (püsivalt kõrgemad määrad võivad viidata konservatiivsetele hüpoteesidele) |
| Keskmine testi kestus | 2–4 nädalat |
| Tööjärje sügavus | 20+ hüpoteesi järjekorras |
| Kumulatiivne tõus | Liitkasv kõigist võitjatest |

### Eksperimendi käsiraamat

Kui test võidab, ära seda lihtsalt rakenda — dokumenteeri muster:

```
## [Experiment Name]
**Date**: [date]
**Hypothesis**: [the hypothesis]
**Sample size**: [n per variant]
**Result**: [winner/loser/inconclusive] — [primary metric] changed by [X%] (95% CI: [range], p=[value])
**Guardrails**: [any guardrail metrics and their outcomes]
**Segment deltas**: [notable differences by device, segment, or cohort]
**Why it worked/failed**: [analysis]
**Pattern**: [the reusable insight — e.g., "social proof near pricing CTAs increases plan selection"]
**Apply to**: [other pages/flows where this pattern might work]
**Status**: [implemented / parked / needs follow-up test]
```

Aja jooksul saab sinu käsiraamatust sinu tootele ja sihtrühmale eriomaste tõestatud kasvumustrite raamatukogu.

### Eksperimendi rütm

**Iganädalane (30 min)**: vaata jooksvad eksperimendid üle tehniliste probleemide ja kaitsepiiri mõõdikute osas. Ära kuuluta võitjaid vara — kuid peata testid, kus kaitsepiirid on oluliselt negatiivsed.

**Kord kahe nädala tagant**: lõpeta valminud eksperimendid. Analüüsi tulemusi, uuenda käsiraamatut, käivita tööjärjest järgmine eksperiment.

**Igakuine (1 tund)**: vaata üle eksperimendi kiirus, võiduprotsent, kumulatiivne tõus. Täienda hüpoteeside tööjärge. Prioriteeri uuesti ICE-ga.

**Kvartaalne**: auditeeri käsiraamat. Milliseid mustreid on laialdaselt rakendatud? Milliseid võitvaid mustreid pole veel skaleeritud? Millised konversiooniteekonna osad on alatestitud?

---

## Levinud vead

### Testi kavandamine
- Liiga väikese muudatuse testimine (tuvastamatu)
- Liiga paljude asjade testimine (ei saa isoleerida)
- Selge hüpoteesi puudumine

### Elluviimine
- Varajane peatamine
- Asjade muutmine testi keskel
- Rakenduse kontrollimata jätmine

### Analüüs
- Usaldusvahemike eiramine
- Segmentide valikuline esiletõstmine
- Ebaselgete tulemuste ületõlgendamine

---

## Ülesandepõhised küsimused

1. Milline on sinu praegune konversioonimäär?
2. Kui palju liiklust see leht saab?
3. Millist muudatust kaalud ja miks?
4. Milline on väikseim parandus, mida tasub tuvastada?
5. Millised tööriistad sul testimiseks on?
6. Kas oled seda ala varem testinud?

---

## Seotud oskused

- **cro**: testiideede genereerimiseks CRO-põhimõtete alusel
- **analytics**: testi mõõtmise seadistamiseks
- **copywriting**: variantide teksti loomiseks