Spring으로 ABTest 진행하기 (1/2) - ABTest란 무엇인가?

목차

1. ABTest란?
2. ABTest 관련 용어
3. ABTest 실험 사례
4. ABTest 실험 목적
5. ABTest 기간
6. ABTest 유의 사항
7. ABTest의 추가 이점
8. ABTest 도구

UX 변경에 따른 회원가입 증가율, 결제 전환율, 새로 변경된 알고리즘을 트래픽 비율로 점진적으로 테스트하기 등 서버에서 다양한 ABTest를 진행합니다.

Spring 기반의 서버 환경에서 ABTest를 진행하려고 합니다.

이번 글에서는 ABTest가 무엇인지 확인하고, 다음 글에서 ABTest 도구 중 하나인 핵클을 사용해 ABTest를 진행해 보겠습니다.

ABTest란?

기존 버전(A안)과 신규 버전(B안)을 만들어 둘 다 고객에게 일정 비율로 노출 어느 쪽이 더 좋은지 확인합니다.

온라인 환경에서 통제된 상황으로 진행됩니다.

여러 개의 버전을 만들어 테스트 • 가설 • 실험 • 결과 확인합니다.

 

ABTest 관련 용어

ABTest 관련하여 자주 언급되는 용어는 다음과 같습니다.

• 가설 - 고객에게 제공하려는 것에 대한 예측

• 실험 - 가설을 증명하기 위해 실행하는 것

• 대조군 - 기존에 제공하는 것

• 실험군 - 새롭게 제공하려는 것

• p-value - 유의성 검증 방식 (실험이 우연인지 아닌지 판별)

 

ABTest 실험 사례

• 고객에게 노출되는 UI 또는 UX에 대한 변경

• 광고나 마케팅에 들어가는 메시지, 문구 또는 배너

• 알고리즘의 변경 (예, 추천 알고리즘, 랭킹 알고리즘)

• 서비스 로직의 변경

• 서비스 흐름의 변경

 

ABTest의 실험 목적사례

• 증가(+): 무엇인가를 늘리려는 목적의 실험

• 감소(-): 무엇인가를 감소시키려는 목적의 실험

• 같음(=): 이상 또는 변화가 없음을 확인하는 목적의 실험

 

증가(+) 실험

구매 컨버전 증가 • 판매 등록 컨버전 증가 • 회원 가입 증가 • 클릭 횟수 증가 • 노출 빈도수 증가

감소(-) 실험

회원 탈퇴 감소 • 비용의 감소 • 리드 타임의 감소 • 고객 불만의 감소

같음(=) 실험

특정 UI 또는 UX 제거 • 배너의 제거 • 문구의 제거 • 특정 브라우저 지원 중단

 

ABTest 기간

• 가설의 종류

    • 목표한 지표, 가드레일 지표 등을 고려

• 트래픽

    • 트래픽이 많으면 실험 결과가 빠르게 나올 수 있다.

• 비용

    • ABTest는 공짜가 아니다.

• 권장 최소 기간

    • 일주일 이상 - 주중, 주말을 포함하여 실험

 

ABTest 유의 사항

• 언제든지 중단할 수 있어야 한다.

    • 기존 버전으로 100% 전환 가능해야 한다.

• 너무 오래 실험을 유지하지 않도록 한다.

    • ABTest는 공짜가 아니다.

• 실험 성공 지표 단순해야 한다. (많으면 안 된다.)

    • 가이드 레일 지표가 있어야 한다.

• 실험으로 다른 지표가 악화되는 것을 방지

    • A안과 B안의 트래픽은 점차 늘리는 방식을 사용한다. • 10% / 90% ---> 50% / 50%

 

ABTest의 추가 이점

• ABTest의 기본 기능은 트래픽의 비율 분산

• 트래픽 비율을 점진적으로 증가, 감소 가능

• 기존 시스템과 신규 시스템 전환에 사용 가능

 

ABTest 도구

• 구글 애널리틱스 - bit.ly/3Epluj6

• 핵클 - https://hackle.io/ko/

• 옵티마이즐리 - https://www.optimizely.com/