Intro
몇 년 전부터 ‘애자일', ‘실험조직'등의 단어들이 유행하며 소위 A/B테스트라는 용어는 이제 여기저기서 어렵지 않게 볼 수 있는 단어가 되었다. 하지만 광고주와 A/B테스트를 위한 가설에 대해 얘기를 나누다 보면 뭔가 거창한 변화나 화려한 요소들이 추가되어야만 의미가 있다고 생각하는 경우를 보게된다. 하지만 내가 약 1년간 30여건의 실험을 진행해본 결과는 조금 다른 얘기를 하고있다. 지금부터 실제로 진행했던 A/B테스트 결과들을 공유해볼까 한다.
CASE 01 : 완전히 새로운 팝업 기능을 추가한다면?
뉴스레터 구독자는 일단 획득하면 꾸준히 신제품이나 기업의 소식을 전할 수 있기에 회원가입만큼이나 중요한 목표로 여겨진다. 내가 담당했던 브랜드 또한 뉴스레터 가입율 상승이 중요한 목표였기에 이것과 관련하여 실험을 진행했다.
해당 실험은 기존에 모든 페이지에 전체 팝업으로 뜨고 있던 뉴스레터 구독 팝업 앞단에 완전히 새로운 형태의 하단 배너형 팝업을 추가하여 뎁스를 늘리는 대신 고객들의 시야를 확보해주는 실험이었다. 앞서 언급한대로 존재하지 않던 요소를 완전히 새로 만들어야 했기에 실험에 들어간 공수는 적지 않았다.
실험 준비를 위한 개발과 테스트에만 거의 1주일이 걸린 실험의 결과는 어땠을까? 많은 시간이 들었음에도 해당 실험은 원본이 대안보다 좋은 효율을 보이는 것으로 결론났다. 해당 실험은 글로벌 본사에서 진행한 실험을 한국에서도 그대로 진행해보고 싶다는 광고주 니즈에 따라 진행되었지만 정작 한국 사이트의 상황이나 이 실험을 진행하기 위한 가설은 충분히 준비되어 있지 않은 실험이었다. 단순히 화려하거나 큰 폭의 변화를 준다고 해서 항상 실험이 유의미해지는 것은 아니다.
CASE 02 : 상단 배너에 색상을 넣고 링크를 단다면?
대부분의 커머스 사이트에는 상단 배너가 존재한다. 상단 배너는 소비자에게 다소 귀찮지만 브랜드 입장에서는 고개들을 원하는 위치로 빠르게 보낼 수 있는 훌륭한 수단이다. 내가 담당했던 브랜드 사이트에도 당연히 상단 배너가 있었다. 하지만 이 배너에는 이동할 수 있는 링크도, 색상도 들어가 있지 않아 클릭은 일어나고 있지만 효율이 떨어지는 상태였다.
나는 링크가 없음에도 상단 배너가 하루에도 수백번씩 클릭되고 있다는 데이터에 착안하여 상단 배너에 링크와 색상만 추가해도 매출을 증가시킬 수 있을 것이라는 가설을 가지고 실험을 진행했다. 결과는?
예상대로 상단 배너에 상품 리스트 링크와 색상을 추가했을 뿐이었지만 배너클릭율, 거래수, 구매전환율이 모두 상승했다. 해당 실험은 테스트를 준비하는데 몇십분으로 충분했던 실험이지만 성과와 인사이트는 적지 않은 실험이었다.
CASE 03 : 회원가입 버튼을 더 크고 잘 보이게 한다면?
마지막으로 소개할 실험은 회원가입율을 올리기 위한 실험이었다. 내가 담당했던 브랜드의 모바일 사이트에서는 회원가입 버튼이 메뉴 안 제품 카테고리 아래에 위치하고 있을 뿐 아니라 크기도 작아 고객들이 찾기 쉽지 않은 상태였다.
나는 회원가입 버튼을 조금 더 키우고 최상단으로 올린다면 회원가입율을 대폭 향상시킬 수 있을 것이라는 가설을 세웠다. 해당 실험은 첫 번째 케이스처럼 없던 버튼과 기능을 추가하는 실험이었기에 개발과 테스트에 적지 않은 시간이 투자되었다.
하지만 이번에는 노력이 충분한 결실을 맺었다. 실험대안의 회원가입율은 원본대비 무려 20%나 좋았으며 제품 리스트가 다소 밀려 내려갔음에도 구매전환율도 함께 소폭 상승해 매우 고무적인 결과였다.
Conclusion
사례에서 볼 수 있듯 A/B테스트란 고객의 입장에서 생각하고 데이터를 기반으로 변화를 주었을 때 유의미한 성과를 이끌어낼 수 있다. 단순히 UX/UI가 변경되거나 없던 기능을 추가하는 것 만으로 대안이 더 좋은 성과를 이끌어 낼 것이란 기대는 금물이다. 지속적인 분석과 고민으로 고객이 원하는 것을 알아낼 수 있다면 아주 간단한 카피 변경만으로도 훌륭한 A/B테스트를 수행할 수 있을 것이다.
