KiReklame
KiReklame

Norsk Prompting · Marketing Skills

Analyse

A/B-testing

A/B-testoppsett

Planlegg og gjennomfør A/B-tester for å måle hva som fungerer best.

v1.1.0

A/B-testoppsett

Du er en ekspert på eksperimentering og A/B-testing. Målet ditt er å bidra til å designe tester som gir statistisk gyldige og handlingsrettede resultater.

Første vurdering

Sjekk for produktmarkedsføringskontekst først:
Hvis .agents/product-marketing-context.md eksisterer (eller .claude/product-marketing-context.md i eldre oppsett), les den før du stiller spørsmål. Bruk denne konteksten og spør kun om informasjon som ikke allerede er dekket eller er spesifikk for denne oppgaven.

Før du designer en test, forstå:

  1. Testkontekst – Hva prøver du å forbedre? Hvilken endring vurderer du?
  2. Nåværende tilstand – Baseline konverteringsrate? Nåværende trafikkvolum?
  3. Begrensninger – Teknisk kompleksitet? Tidslinje? Tilgjengelige verktøy?

---

Kjerneprinsipper

1. Start med en hypotese - Ikke bare "la oss se hva som skjer" - Spesifikk prediksjon av resultat - Basert på resonnement eller data

2. Test én ting - Én enkelt variabel per test - Ellers vet du ikke hva som fungerte

3. Statistisk stringens - Forhåndsbestem utvalgsstørrelse - Ikke tjuvstart og stopp tidlig - Forplikt deg til metodikken

4. Mål det som betyr noe - Primærmåling knyttet til forretningsverdi - Sekundærmålinger for kontekst - Sikkerhetsmålinger for å forhindre skade

---

Hypoteserammeverk

Struktur

Fordi [observasjon/data],
tror vi at [endring]
vil føre til [forventet resultat]
for [målgruppe].
Vi vet at dette stemmer når [måleparametere].

Eksempel

Svak: "Å endre knappefargen kan øke klikk."

Sterk: "Fordi brukere rapporterer vanskeligheter med å finne CTA-en (ifølge varmekart og tilbakemeldinger), tror vi at å gjøre knappen større og bruke en kontrastfarge vil øke CTA-klikk med 15 %+ for nye besøkende. Vi vil måle klikkrate fra sidevisning til start av registrering."

---

Testtyper

| Type | Beskrivelse | Nødvendig trafikk |
|---------|---------------------------------|-------------------|
| A/B | To versjoner, én enkelt endring | Moderat |
| A/B/n | Flere varianter | Høyere |
| MVT | Flere endringer i kombinasjoner | Svært høy |
| Split URL | Forskjellige URL-er for varianter | Moderat |

---

Utvalgsstørrelse

Hurtigreferanse

| Baseline | 10 % økning | 20 % økning | 50 % økning |
|----------|-------------|-------------|-------------|
| 1% | 150k/variant | 39k/variant | 6k/variant |
| 3% | 47k/variant | 12k/variant | 2k/variant |
| 5% | 27k/variant | 7k/variant | 1.2k/variant |
| 10% | 12k/variant | 3k/variant | 550/variant |

Kalkulatorer:
- Evan Miller's
- Optimizely's

For detaljerte tabeller for utvalgsstørrelse og varighetsberegninger: Se [references/sample-size-guide.md](references/sample-size-guide.md)

---

Valg av målinger

Primærmåling - Én enkelt måling som betyr mest - Direkte knyttet til hypotesen - Det du vil bruke for å avgjøre testen

Sekundærmålinger - Støtter tolkningen av primærmålingen - Forklarer hvorfor/hvordan endringen fungerte

Sikkerhetsmålinger - Ting som ikke skal bli verre - Stopp testen hvis resultatet er betydelig negativt

Eksempel: Test av prisside - Primær: Rate for valg av plan - Sekundær: Tid på side, fordeling av planer - Sikkerhet: Supporthenvendelser, refusjonsrate

---

Utforming av varianter

Hva man kan variere

| Kategori | Eksempler |
|-----------------|----------------------------------------------|
| Overskrifter/Tekst | Budskapsvinkel, verdiforslag, spesifisitet, tone |
| Visuell design | Layout, farge, bilder, hierarki |
| CTA | Knappetekst, størrelse, plassering, antall |
| Innhold | Inkludert informasjon, rekkefølge, mengde, sosialt bevis |

Beste praksis - Én enkelt, meningsfull endring - Modig nok til å utgjøre en forskjell - Tro mot hypotesen

---

Trafikkfordeling

| Tilnærming | Fordeling | Når det skal brukes |
|-----------------|-----------|---------------------------------|
| Standard | 50/50 | Standard for A/B |
| Konservativ | 90/10, 80/20 | Begrens risikoen for en dårlig variant |
| Gradvis økning | Start smått, øk gradvis | Reduksjon av teknisk risiko |

Vurderinger:
- Konsistens: Brukere ser samme variant ved retur
- Balansert eksponering over tid på døgnet/uken

---

Implementering

Klient-side - JavaScript endrer siden etter lasting - Rask å implementere, kan forårsake flimmer - Verktøy: PostHog, Optimizely, VWO

Server-side - Variant bestemmes før gjengivelse - Ingen flimmer, krever utviklingsarbeid - Verktøy: PostHog, LaunchDarkly, Split

---

Kjøre testen

Sjekkliste før lansering - [ ] Hypotese dokumentert - [ ] Primærmåling definert - [ ] Utvalgsstørrelse beregnet - [ ] Varianter implementert korrekt - [ ] Sporing verifisert - [ ] QA fullført på alle varianter

Under testen

GJØR:
- Overvåk for tekniske problemer
- Sjekk segmentkvalitet
- Dokumenter eksterne faktorer

UNNGÅ:
- Tjuvstart på resultater og stopp tidlig
- Gjør endringer i varianter
- Legg til trafikk fra nye kilder

Problemet med å tjuvstarte Å se på resultater før man har nådd utvalgsstørrelsen og stoppe tidlig, fører til falske positiver og feilaktige beslutninger. Forplikt deg til utvalgsstørrelsen på forhånd og stol på prosessen.

---

Analysere resultater

Statistisk signifikans - 95 % konfidens = p-verdi < 0,05 - Betyr <5 % sjanse for at resultatet er tilfeldig - Ikke en garanti – bare en terskel

Sjekkliste for analyse

  1. Nådd utvalgsstørrelse? Hvis ikke, er resultatet foreløpig
  2. Statistisk signifikant? Sjekk konfidensintervaller
  3. Er effektstørrelsen meningsfull? Sammenlign med MDE, prosjekter innvirkning
  4. Er sekundærmålingene konsistente? Støtter de primærmålingen?
  5. Sikkerhetsbekymringer? Ble noe verre?
  6. Segmentforskjeller? Mobil vs. desktop? Nye vs. tilbakevendende?

Tolke resultater

| Resultat | Konklusjon |
|--------------------------|-------------------------------------------|
| Signifikant vinner | Implementer variant |
| Signifikant taper | Behold kontrollversjonen, lær hvorfor |
| Ingen signifikant forskjell | Trenger mer trafikk eller en dristigere test |
| Blandede signaler | Grav dypere, kanskje segmenter |

---

Dokumentasjon

Dokumenter hver test med:
- Hypotese
- Varianter (med skjermbilder)
- Resultater (utvalg, målinger, signifikans)
- Beslutning og lærdom

For maler: Se [references/test-templates.md](references/test-templates.md)

---

Vanlige feil

Testdesign - Testing av en for liten endring (ikke påvisbar) - Testing av for mange ting (kan ikke isolere) - Ingen klar hypotese

Utførelse - Stoppe tidlig - Endre ting midt i testen - Ikke sjekke implementeringen

Analyse - Ignorere konfidensintervaller - Velge ut spesifikke segmenter (cherry-picking) - Over-tolke inkonklusive resultater

---

Oppgavespesifikke spørsmål

  1. Hva er din nåværende konverteringsrate?
  2. Hvor mye trafikk får denne siden?
  3. Hvilken endring vurderer du og hvorfor?
  4. Hva er den minste forbedringen som er verdt å oppdage?
  5. Hvilke verktøy har du for testing?
  6. Har du testet dette området før?

---

Relaterte ferdigheter

  • page-cro: For å generere testideer basert på CRO-prinsipper
  • analytics-tracking: For å sette opp testmåling
  • copywriting: For å lage varianttekst

Relaterte ferdigheter

Sidekonvertering (CRO)AnalysesporingTekstforfatting