슈퍼센트는 Dino Universe라는 자사의 하이브리드 캐주얼 게임에서 광고 및 인앱의 수익화 분리 전략을 제언하는 프로젝트입니다. 광고 및 인앱 유저 대상으로 세그먼트 정의 및 유저 특성을 파악 후, 모델링을 통해 구매 효율 지표를 발굴하였습니다. 최종적으로 도출된 인사이트를 바탕으로 4개의 AB Test를 기획하여 사측에 전달하였습니다.
세부 목표:
1. 인앱 구매유저 대상 구매 세그먼트 정의 및 전략 도출
1-1. 세그먼트 정의 및 세그먼트별 유저 특성 분석
1-2. 모델링을 통한 구매 효율 지표 발굴
2. 미구매 유저 대상 광고 세그먼트 정의 및 전략 도출
2-1. 세그먼트 정의 및 세그먼트별 유저 특성 분석
2-2. 모델링을 통한 광고 효율 지표 발굴
3. 인사이트 기반 AB Test 기획
로드맵
진행 프로세스
주제 1. 인앱 구매유저 대상 구매 세그먼트 정의 및 전략 도출
주제1-1. 구매 세그먼트 정의 및 분석
생애기간 동안의 총 구매액를 바탕으로 구매유저를 low, mid, high 총 세 개의 세그먼트로 나눈다.
해당 세그먼트를 바탕으로 세그먼트별 유저 기초 통계 및 구매 관련 지표를 분석한다.
세그먼트별 접속일 기준retention, 게임 레벨 별 retention을 비교한다.
세그먼트별 IAP 수익 및 Ads 수익이 증가하는 구간을 찾는다.
세그먼트별 반복구매가 높은 상품군 및 구매 조합을 발굴한다.
주제 1-2. 모델링을 통한 구매 효율 지표 발굴
GAM(Generalized Additive Model)을 활용하여 첫 구매 제품 바탕 세그먼트 예측을 하였고, 첫 구매 시 고액 구매자로 발전 가능성이 높은 아이템을 찾는다.
EBM(Explainable Boosting Model)을 활용하여 첫 구매 당시의 지표들을 바탕으로 세그먼트 예측 및 유의미한 feature을 발굴한다.
주제 2. 미구매 유저 대상 광고 시청 세그먼트 정의 및 전략 도출
주제 2-1. 광고 세그먼트 정의 및 분석
생애기간 동안의 총 보상형 광고 시청 횟수를 바탕으로 무과금 유저를 low, mid, high, whale 총 네 개의 세그먼트로 나눈다.
해당 세그먼트를 바탕으로 high, whale 등 desired segment에서는 했고, low, mid에서는 하지 않은 행동을 탐색한다.
주제 2-2. 모델링을 통한 광고 효율 지표 발굴 및 검증
EBM(Explainable Boosting Model)을 활용하여 게임에서의 다양한 행동들을 feature로 만들어 이 중 유의한 행동을 확인한다.
Cohort 1에서 Cohort 30으로의 세그먼트 계층이동을 바탕으로 모델에서 유의했던 feature가 실제로 유의한지 검토한다.
주제 2-3. 아하 모먼트 활용
Retain 유저와 특정 Action을 한 유저의 교집합을 분석함으로써, 해당 Action이 유의미한 행동인지 확인한다.
주제 3. 인사이트 기반 AB Test 기획
구매 세그먼트 바탕의 인사이트를 실행 가능한 AB Test의 형태로 기획한다.
광고 세그먼트 바탕의 인사이트를 실행 가능한 AB Test의 형태로 기획한다.
성과 및 인사이트
1. 인앱 구매유저 대상 첫 구매 효율 지표 발굴
GAM 바탕 ‘첫 구매 시 고래 유저가 될 가능성이 높은 상품’과 ‘첫 구매 시 일회성 구매 유저가 될 가능성이 높은 상품’을 분류하였다.
EBM 바탕 구매 시기와 상품간의 상호작용을 파악하여 상품의 오퍼 시기와 유저의 최종 세그먼트와의 상관관계를 제시하였다.
2. 무과금 유저 대상 광고 시청 효율 지표 발굴
EBM 및 세그먼트 계층이동 비교 바탕 광고 시청 횟수가 높은 유저들이 유의미하게 하는 행동 지표 N개를 발굴하였다.
아하 모먼트 분석 바탕 리테인 유저와 특정 액션을 한 유저 사이의 교집합 크기를 바탕으로 광고 시청 효율 지표를 도출하였다.
3. AB Test 기획
인사이트 바탕 총 4개의 AB Test를 기획하여 사측에 전달하였다.
PM 소회
슈퍼센트와 프로젝트를 진행하며 좋았던 점은 무엇인가요?
해당 게임에서 적재되는 모든 데이터에 대한 액세스가 가능하였습니다. 약 두 달의 모든 유저 및 행동 로그, 적재 테이블에 접근할 수 있어 실제 하이브리드 / 하이퍼캐주얼 게임에서 어떤 식으로 데이터를 적재하고, 어떤 테이블을 활용하여 인사이트를 내야 하는지 등 실무에 가까운 경험을 할 수 있었습니다.
사측 PM님과의 소통이 정말 빨랐고, 얼라인이 잘 되었다. 매주 싱크미팅을 대면으로 진행하면서 어떤 방향으로 나아가면 좋을지, 더 찍어보면 좋을 부분이 무엇이 있을지 적극적으로 진행 상황을 검토하고 또 방향성을 제시해주셨습니다. 정말 디노 유니버스의 데이터 팀으로 일하는 느낌이 들었고, 그로스 해커스를 학생 단체가 아닌 실 분석 팀과 같이 우리의 의견을 존중해주셨습니다.
사측에서 빅쿼리 사용에 대한 리소스 지원을 해주셔서 실무에서 쓰이는 쿼리를 연습할 수 있었습니다. 실제 쿼리를 짜서 데이터를 불러오는 과정이 어려웠지만, 동시에 현업에서 가장 많이 쓰는 언어가 SQL인만큼, 실무의 언어를 미리 실무의 데이터로 학습할 수 있다는 점이 정말 좋았던 것 같습니다.
프로젝트 진행 중 겪었던 가장 큰 어려움은 무엇이었나요? 이를 어떻게 해결했나요?
Raw Data로 분석을 하다보니 중간중간 사용할 수 없는 테이블들이 많았다. 또 같은 데이터임에도 테이블별로 빅쿼리 적재 방식이 달라, 데이터의 문제로 인해 팀원간 분석이 다른 경우도 있었습니다.
이를 해결하기 위해 마스터테이블을 만들어 모수를 고정, 데이터 스키마를 새로 정리하였습니다. 팀원 모두가 '같은 유저'를 바탕으로 분석을 하도록 대상을 좁히고, 사용 가능 컬럼들을 선별하였습니다.
이번 경험을 통해 어떤 인사이트나 역량을 얻으셨나요?
실제 게임에서 적재되는 로그를 분석함으로써 가설 기반 인사이트 도출을 어떻게 하는지 배울 수 있었습니다. 1억행이 넘는 데이터를 모두 들여다보는 것은 불가능하기에, 미리 가설을 세워놓고 그것을 검증하는 방식으로 액션 아이템을 발굴하는 것의 중요성을 깨달았습니다. 또 그 과정에서 세우게 되는 가설이 얼마나 '뾰족한' 지는 결국 도메인에 대한 이해도에 달려 있음을 배울 수 있었습니다.
향후 유사한 프로젝트를 진행할 학회원들에게 전하고 싶은 조언이 있나요?
DA 프로젝트에서 좋은 결과물이 나오기 위해서는, 전체적인 방향성을 잘 정돈하고 충분히 논의를 거쳐 내부에서 관점을 통일하는 것이 중요하다고 생각합니다. 타임라인을 촘촘히 짜고, 사측이 원하는 것이 무엇인지, 우리는 그것을 위해 어디까지 왔는지를 지속적으로 점검해야 시간을 효율적으로 쓸 수 있습니다.
분석 외적으로는 사용하는 데이터를 통일하고, 데이터를 가져오는 파이프라인을 최대한 빠르게 구축해놓는 것이 매우 중요합니다. 시간이 오래 걸리더라도 마스터테이블을 만들고 시작하는 것을 추천합니다.