A/B 테스트는 두 개의 변형으로 어떤 옵션이 더 효과적인지 검증하는 것을 의미합니다. 단순하게 바라보면 단순해보이지만 막상 실무에서 수행하면서 생각하다보면 한없이 복잡하고 어렵게만 느껴지는 것 같기도 합니다. 예를 들면, “A/B 테스트 결과가 정말 ‘정답’이 맞을까?”, “A와 B 옵션을 변형하는 것 외에 모든 조건을 통제할 수 있을까?”
특히 검증 기간과 규모에 대해서도 많은 고민을 하게 됩니다. “며칠동안 수행하는 게 적절할까?”, “비용은 얼마까지 쓰면 적당할까?”와 같은 고민들인데요. 며칠이다, 얼마까지다. 라는 정답은 없지만 A/B 테스트 수행 목적을 다시 떠올려본다면 ‘비즈니스에 어떤 옵션이 더 효과적인지 검증할 수 있는’ 정도가 적절하겠습니다.
이 글에서는 그 기간과 규모에 대해 이야기해보고자 합니다. 아래와 같이 A와 B옵션을 각 100회씩 노출하여 아래와 같은 결과를 얻었습니다.
B가 더 효과적이라고 판단하여 이후에는 B를 적용합니다.
한 달동안 주어진 노출 횟수 15,000회 중 200회를 테스트에 사용했기 때문에 남은 노출수는 14,800회 입니다. 여기에 B 옵션의 클릭률인 23%을 적용하면 남은 노출횟수에서 3,404회의 클릭을 얻을 것으로 기대됩니다. 하여, 테스트를 포함하여 총 획득하는 클릭수는 3,438회가 됩니다.
A/B테스트에서 100회가 아닌, 200회씩 혹은 300회씩 노출 테스트를 했다면 결과는 어떻게 달라졌을까요? 최종적인 클릭수는 더 줄어들었을 것입니다. 같은 방식으로 확인해볼까요?
▶ A/B테스트에서 시험 노출 횟수를 200회씩 설정할 경우
– 총 클릭수 : 3,426 클릭률 22.84%
▶ 시험 노출 횟수를 300회씩 설정할 경우
– 총 클릭수 : 3,414 클릭률 22.76%
A/B 테스트로 소요한 노출 횟수가 많을수록 최종적으로 얻는 클릭수는 줄어든 것을 알 수 있습니다.
글을 마치며
서두에 언급한 것처럼 ‘x일 동안 진행해야 한다’, ‘예산은 y원까지만 써야 한다’는 답은 없습니다. 하지만, 무조건 오래, 많이 테스트하는 것만이 바람직한 것이 아니라, 최소한의 자원으로 빠르게 실행하고 즉각적인 판단을 내렸을 때 결과적으로 더 많은 열매를 얻을 수도 있습니다.
위의 예와 같이 매우 한정된 자원이라면 전체 가용 범위의 1~2퍼센트 정도만으로도 효율적으로 수행할 수 있습니다. 예시에서는 1만 5천회 중 100씩 총 200을 사용한 것이니, 1.3% 정도로 수행한 셈입니다.
모든 경우에 1~2%만을 적용하는 것이 답인 것도 아닙니다. 앱 서비스의 디자인 또는 신규 기능을 새로 배포하는 등의 경우에서는 1~2% 유저에게만 테스트하고 전체 유저를 대상으로 곧바로 오픈하는 것은 매우 위험합니다. 광고 소재에 대한 A/B 테스트로 예를 든 것처럼 매우 제한적인 범위 내에서 수행할 수 있는 것은 최소한의 자원으로 빠르게 수행하고 최종적으로 얻을 수 있는 열매를 많이 확보하는 것을 권장합니다.
참고
<조직을 성공으로 이끄는 프로덕트 오너 PO가 말하는 애자일 혁신 전략> 김성한 지음 | 세종서적 | 2020
<일할 때 가장 많이 써먹는 수학> 후카사와 신타로 지음 | 황혜숙 옮김 | 센시오 | 2021
