리워드 앱 특성상 유저별 활동 양상과 수익 기여도의 편차가 매우 크기 때문에, 유저를 정확하게 세그먼트로 나누고 각 세그먼트에 맞는 전략을 설계하는 것이 비즈니스의 핵심입니다. 하지만 기존 세그먼트 엔진에는 오분류를 유발하는 구조적 결함이 존재했고, 저활성 세그먼트의 매출 전환과 신규 유저의 초기 이탈에 대한 데이터 기반 이해도 부족한 상황이었습니다. 이에 세그먼트 로직을 진단·재설계하고, 저활성 유저의 전환 병목과 생애주기별 이탈 신호를 분석하여 리텐션 및 전환 강화 전략을 도출하는 프로젝트를 진행하였습니다.
세부 목표:
1. Sanity Check (기존 세그먼트 엔진)
1-1. 기존 세그먼트 로직의 결함 진단
1-2. 로직 재설계 및 안정화
1-3. 마진 기반 단계적 재배정 파이프라인
2. 저활성 세그먼트 매출 전환 분석
2-1. 저활성 세그먼트의 본질 규명
2-2. 상품별 전환 병목 분석 및 액션 설계
3. 사용자 행동 시계열 기반 리텐션 분석
3-1. 생애주기별 이탈 예측 모델
3-2. 포인트 획득량 기반 생애주기 퍼널 분석
3-3. 만보기 기능의 리텐션 인과 효과 검증
로드맵
진행 프로세스
주제 1. Sanity Check (기존 세그먼트 로직)
주제 1-1. 기존 세그먼트 로직의 결함 진단
라벨 오분류 및 cosine 공간 불일치가 발생하는 이중 정규화 오류 발견
매주 임의 배정되는 KMeans cluster 번호를 사람이 수동으로 하드코딩하는 비효율성 확인
저매출 행동 비중이 타 세그먼트 대비 뚜렷하게 높음 → 해당 세그먼트의 경우, 참여부족이 아니라 저수익 행동 집중이 본질임을 확인; 행동량이 적은 것이 아니라 "저매출 행동"에 집중된 유저들
주제 2-2. 상품별 전환 병목 분석 및 액션 설계
주간미션 번들화를 통한 체감 난이도 완화 전략 제안
게임 다운로드 관련 CRM 집행 제안
쇼핑몰 즐겨찾기 유도: 탐색 유저의 병목이 '쇼핑몰 미선택'임을 발견 → 온보딩 시 '주 이용 쇼핑몰 선택'을 도입하고, 해당 쇼핑몰을 즐겨찾기로 자동 등록하는 액션 제안
고가치 세그먼트 대상 신규유저 초대 이벤트 제안
주제 3. 사용자 행동 시계열 기반 리텐션 분석
주제 3-1. 생애주기별 이탈 예측 모델
초기 일주일 유저에 대한 이탈 신호가 사용 단계마다 질적으로 다름을 확인
예측 모델을 생애주기 단계별로 분리; 미래 정보 누수 차단 & 자명 피처 배제하여 구조적 신호를 중심으로 학습시킴
각 단계별 유의미한 피처 및 유저 경험 분석 및 정리
주제 3-2. 포인트 획득량 기반 생애주기 퍼널 분석
유저가 앱 이용 중 어느 시점에서든 이탈 가능하다는 점에서, 생애주기 퍼널을 설계해 단계별 전환 · 이탈 양상을 파악하고자 함
라이프타임 포인트 획득량으로 다단계 퍼널 설계
이탈률 최고 지점 확인 & 퍼널이 상승되면 이탈이 감소하는 양상
해당 분류 내 이탈 감소 행동 레버 정리
주제 3-3. 만보기 기능의 리텐션 인과 효과 검증
만보기(걷기 리워드) 기능 관련 기본 EDA 진행 후, 3가지 가설 설립
4중 인과 설계: 단순 비교 → PSM → DiD / ITS / placebo 컷오프 / 채널 통제
코호트 잔존 효과의 원인이 아님을 확인 & 채널별 잔존 격차를 줄이기 위한 공통 게이트 발견
성과 및 인사이트
기존의 세그먼트 분류 로직을 보완하고, 마진 벡터 프로토타입 기반 재배정 로직을 만들어 전달. 유저 단위 주간 버킷 집계테이블 적재로 추출비용을 해소했고 argmax 자동 매핑을 적용하여 윈도우 또는 주차가 바뀌어도 일관적으로 라벨링되도록 보완.
세그먼트 오분류 비율을 약 1/5 수준으로 감소
복수 관측창 민감도 비교 후 마진 재배정 관측창의 최적 확인
'대분류 외형 ≠ 최종 품질'이라는 핵심 발견 및 해석력 제고
저매출 세그먼트 유저들의 핵심 특징을 정리하고, 총 4가지 액션 전략을 전달. 특히 '쇼핑' 관련 액션은 프로젝트 종료 직후 바로 실제 서비스에 반영된 것을 확인함.
저활성 세그먼트 유저들의 행동 양상 확인
다수의 유저가 방문하는 스탬프·스페셜 미션의 참여율 증가 효과 마련
저활성 세그먼트 여러 개를 방문 횟수 기준으로 새롭게 분류, 최적의 CRM 집행 방식 정리
쇼핑 행동으로의 진입장벽 제거 효과 기대, 프로젝트 종료 직후 사측의 빠른 반영 확인
저활성 세그먼트 뿐만 아니라 고가치 세그먼트에 대한 추가 액션 고안
LightGBM 모델로 유저들의 초반 일주일 이탈 시그널을 확인. 초반 일주일을 생애주기 기반으로 3단계로 분리하여 분석하였고, 각 단계별 유의 피쳐 및 특징을 기반으로 '웰컴미션' 보완 아이디어를 제안.
예측 모델을 생애주기 단계별로 분리하여 단일 모델 대비 해석력을 높임 — 초반 개입의 중요성 확인
포인트 획득량 기반으로 생애주기 퍼널을 정의하여 초반단 외에 어느 시점에서든 발생할 수 있는 이탈의 양상을 파악. 특히 저매출 유저들을 해당 퍼널 기준으로 분류하고, 각각의 특징을 분석하며 사측에서 활용할 수 있는 새로운 접근 방식을 제안.
저활성 세그먼트를 구분하는 새로운 기준 제안
PM 소회
원셀프월드와 프로젝트를 진행하며 좋았던 점은 무엇인가요?
마이비에서 적재되는 거의 모든 데이터에 액세스가 가능했습니다. Postgres, Clickhouse, 에어브릿지 UA 등등 요청드리는대로 전부 전달해주셨기 때문에 다양하게 분석할 수 있었고, 앱테크 회사에서 어떤 식으로 데이터를 적재하고, 주로 뭘 보시는지 확인할 수 있었습니다.
또 사측과의 소통이 빨랐습니다. 구글미팅 인비도 사측에서 해주셨고, 매주 진행하는 싱크미팅 외에도 슬랙으로도 굉장히 활발하게 소통한 편이었습니다. 특히 중간발표 이후로 우리를 더 친근하게 생각해주시고, 원하시는 추가 분석 내용 등을 적극적으로 요청해주셔서 일반 학생 단체가 아닌 동등한 팀으로 일하는 느낌이 들었습니다.
프로젝트 진행 중 겪었던 가장 큰 어려움은 무엇이었나요? 이를 어떻게 해결했나요?
가장 큰 어려움은 분석 자체보다 전달이었습니다. 실무진·경영진의 데이터 리터러시가 지점마다 편차가 있어서, PSM·DiD·이중 정규화 같은 방법론을 그대로 말하면 내용이 잘 전달되지 않았습니다.
그래서 전달 방식을 바꿨습니다. 통계 용어와 방법론은 뒤로 빼고, 결론을 사측이 곧바로 판단에 쓸 수 있는 언어로 번역했습니다. 예를 들어 세그먼트 개선은 "고가치 유저 변별력이 23배에서 170배로" 같은 배율로, 만보기는 "신규 획득이 아니라 휴면 재활성화 도구"라는 운영 결론으로 압축했습니다. 방법론은 '왜 이 결론을 믿어도 되는지'의 근거로만 필요할 때 덧붙였고, 청중에 맞춰 표현 수위를 조절했습니다.
이번 경험을 통해 어떤 인사이트나 역량을 얻으셨나요?
정답과 정량 지표가 없는 문제에서 의사결정의 근거를 만드는 역량을 얻었습니다. '좋은 세그먼트란 무엇인가'처럼 평가 기준부터 합의해야 하는 문제에서는, 여러 대안을 동일한 검증 프레임 위에 올려 수치로 비교하는 것이 설득의 핵심임을 배웠습니다. 실제로 오분류 비율과 관측창 민감도 같은 근거를 쌓아 제안한 재배정 로직이 프로젝트 진행 중에 바로 적용되는 경험을 하며, 분석가의 결과물은 결국 의사결정권자를 움직이는 근거의 설계라는 점을 체감했습니다. 또한 A/B 테스트가 불가능한 환경에서 단순비교 → PSM → DiD/ITS/placebo 컷오프/채널 통제로 이어지는 인과 설계를 실제 비즈니스 질문에 적용해보며, 관찰 데이터만으로 효과를 어디까지 방어할 수 있는지에 대한 감각을 익혔습니다. 마지막으로 대용량 데이터를 다루는 과정에서 집계테이블 적재와 쿼리 최적화 등 분석 이전 단계의 데이터 엔지니어링이 팀 전체의 분석 생산성을 좌우한다는 점도 깊이 느꼈습니다.
향후 유사한 프로젝트를 진행할 학회원들에게 전하고 싶은 조언이 있나요?
DA 프로젝트에서 좋은 결과물이 나오기 위해서는 전체적인 방향성을 잘 정돈하고, 충분히 논의를 거쳐 내부에서 관점을 통일하는 것이 중요한 것 같습니다.
지난 프로젝트 때도 느꼈지만, 초반에 함께 분석할 유저 모수를 확정하고 사용하는 데이터를 통일하는 과정이 필요합니다!! 팀원들끼리 공유하기도 편하고 사측에서도 계속 물어보시기 때문에... 품이 들더라도 PM이 초반에 마스터테이블을 마련해두면 좋을 것 같습니다.