트이다 | Teuida
트이다 유료 구독 전환·유지 전략 제언 및 월간 DA 리포트 자동화
프로젝트 소개
트이다 내 유저 데이터를 기반으로 가입→무료체험→유료전환→갱신에 이르는 메인 퍼널의 이탈 원인을 규명했습니다. 이를 통해 전환율·유지율·갱신율 3대 KPI를 높이고, 유료 구독자 수와 매출을 증대하는 것을 목표로 했습니다. 세그먼트·퍼널 분석에서 출발해 로지스틱 회귀, AIPW 인과추정, 매개분석, 시점 분리 검증 등을 적용하여 KPI 결정 요인을 밝히고, 이를 액션 플랜으로 구체화했습니다. 나아가 협업 종료 이후에도 비슷한 수준의 분석이 지속될 수 있도록, 분석에 사용한 피처 체계를 기반으로 KPI 변화량을 요인별로 분해하고 LLM이 핵심 피처를 해석해 액션을 제안하는 월간 리포트 파이프라인을 구축했습니다.
세부 목표:
1. 유료 구독자 수 및 매출 증대를 위한 데이터 기반 전략 도출
1-1. 유입 채널·세그먼트 및 Day0 퍼널 분석을 통한 구독 전환율 개선 요인 도출
1-2. 무료체험 취소·결제 실패 요인 분석을 통한 구독 유지율 개선 요인 도출
1-3. 갱신 요인 및 부가기능 인과 분석을 통한 구독 갱신율 개선 요인 도출
2. 월간 데이터 분석 리포트 생성 자동화
2-1. 분석에 사용한 피처 체계를 정의·검증한 피처 전체집합 구축
2-2. KPI 변화량을 유저 구성 변화와 행동 변화로 분해하는 변화량 분석
2-3. 핵심 피처 선별 및 LLM 기반 해석·액션 제안 자동 생성
로드맵
진행 프로세스
주제 1. 유료 구독자 수 및 매출 증대를 위한 데이터 기반 전략 도출
가입→무료체험→유료구독→갱신 퍼널의 각 단계를 담당하는 3대 KPI를 분석하고, KPI에 영향을 미치는 피처를 근거로 액션 플랜을 도출하였다.
주제 1-1. 전환율 분석
- 가입 경로·플랫폼·학습 목적 등 세그먼트별 전환율 격차를 확인하고, 그 중 유튜브 유입의 저전환 원인을 다양한 각도로 규명하였다.
- 가입 후 24시간 내에 전환이 많이 이루어지는 것을 확인한 뒤, 초기 퍼널에서 이탈이 집중되는 지점을 특정하고 이탈 직전의 행동 로그로 원인을 규명하였다.
- 초기 퍼널을 이탈한 후에 전환한 유저를 즉시 전환과 지연 전환으로 나누어 전환이 발생하는 접점을 검증하였다.
- 페이월 이탈자가 유료 콘텐츠의 가치를 체감할 접점이 없다는 점을 근거로, 페이월 UI 개선과 스토리 미리보기 노출을 액션으로 제안하였다.
주제 1-2. 유지율 분석
- 무료체험 해지를 취소와 결제 실패로 분리하고, 로지스틱 회귀와 AIPW로 취소에 영향을 주는 변수와 인과효과를 추정하였다.
- 취소를 가르는 핵심 변수인 학습일수의 격차가 어떤 행동에서 발생하는지 역인과를 배제하며 규명하였다.
- 결제 실패는 플랫폼·기기등급·구독 플랜별 발생률을 층화 비교하여 원인을 특정하였다.
- 학습일수 격차의 병목인 Quick Review 시작 단계를 겨냥한 넛지와 Review 탭 UI 개선, 취소 확률이 낮은 지인추천 유입을 늘리기 위한 리퍼럴 프로그램 신설을 액션으로 제안하였다.
주제 1-3. 갱신율 분석
- 로지스틱 회귀와 랜덤포레스트로 갱신 결정 요인을 도출하고, 학습 진도 페이스와 갱신율의 관계를 확인하였다.
- 부가기능이 학습량을 매개로 갱신에 기여하는지 매개분석, 동기 통제, 주별 시점 분리의 3단계로 검증하였다.
- 하루 1DAY 진도를 지키는 유저의 갱신율이 가장 높다는 점을 핵심 근거로, 홈 화면에 오늘의 학습 분량만 노출하는 1DAY 가시화 UI를 액션으로 제안하였다.
주제 2. 월간 데이터 분석 리포트 자동화
GH와 유사한 수준의 분석이 신규 데이터에도 지속되도록, KPI 변화 진단부터 액션 제안까지의 파이프라인을 구축하였다.
주제 2-1. 피처 전체집합 구축
- 분석 과정에서 도출된 피처의 정의, 조작 가능 여부, SQL을 전수 검증하였다.
- 시계열 구간과 인과 그래프를 기준으로 KPI에 선행하는 피처만 남겨 데이터 누수를 차단하였다.
주제 2-2. 변화량 분석
- Kitagawa 분해로 KPI 변화량을 유저 구성 변화와 행동 변화로 분리하였다.
- 구성 변화는 Shapley 값으로, 행동 변화는 퍼널 분석과 회귀 계수로 세분화하였다.
주제 2-3. 요인 분석 및 LLM 기반 액션 생성
- 통계 검정과 FDR 보정으로 KPI에 유의한 피처를 선별하고, 클러스터링으로 대표 피처를 선정하였다.
- 트이다 컨텍스트 문서를 읽을 수 있는 LLM에게 선별된 피처의 세그먼트별 추세를 입력하여 해석과 액션 제안을 자동 생성하고, 슬랙봇 월간 리포트로 구현하였다.
[추가 분석]
프로젝트 핵심 주제 외에도, 프로젝트 진행 과정에서 추가로 도출된 실무 분석 수요에 따라 A/B 테스트의 통계적 유의성 검증, 4년치 구독 데이터 기반 LTV 대시보드 구축, 광고 효율·프로모션 효과 분석 등을 수행하였다.
성과 및 인사이트
주제 1. 유료 구독자 수 및 매출 증대를 위한 데이터 기반 전략 도출 (1)
- 3대 KPI의 핵심 병목과 개선 레버를 규명
- 첫 레슨 완주와 페이월 통과가 전환의 핵심 관문임을 확인
- Quick Review 시작 여부가 학습 지속을 가르는 주요 차이로 확인
- 하루 1DAY 학습 페이스에서 갱신율이 가장 높게 나타남
- 퀵리뷰·스토리·위젯·스트릭이 학습 지속을 높이는 핵심 레버로 확인 등
- 분석 결과를 기반으로 실현 가능한 액션을 구체화
- 결제 전 유료 콘텐츠의 가치를 체감할 접점 보완
- Quick Review의 시작 장벽을 낮춰 복습 참여 유도
- 유지율이 높은 지인추천 성격의 신규 유입 확대
- 하루 단위 학습 목표를 명확히 해 지속 학습 유도
주제 2. 월간 데이터 분석 리포트 생성 자동화
- GH와 유사한 수준의 KPI 진단·요인 분석·액션 제안을 매월 자동 수행하는 DA 자동화 리포트(슬랙봇) 구축
- 신규 데이터에서도 동일한 기준의 반복 분석 가능
- KPI 변동을 유저 구성과 행동 변화로 구분해 진단 가능
- 핵심 요인을 자동 선별해 분석 일관성과 재현성 확보
- 사측이 Slack에서 월간 인사이트와 액션을 바로 확인 가능
추가 성과
- 트이다에서 진행 중인 A/B 테스트의 통계적 유의성을 검증하고, 향후 실험 설계 개선 방향 제시
- 4년치 구독 데이터 기반 LTV 대시보드 등 협업 이후에도 활용 가능한 분석 자산 구축·인계
PM 소회
트이다와 프로젝트를 진행하며 좋았던 점은 무엇인가요?
- 사측에서 모든 데이터셋에 대한 접근을 열어주신 덕분에, 특정 데이터에 갇히지 않고 다양한 시각에서 폭넓게 해석해 볼 수 있었습니다. 분석 방향에 대한 자율성도 충분히 주셔서 팀이 원하는 방식대로 파고들 수 있었고, 이는 자연스럽게 분석 결과물의 좋은 완성도로 이어졌습니다. 또한, 싱크 미팅이 일방적인 보고 자리가 아니었던 점이 좋았습니다. 사측에서도 적극적으로 의견을 내고 함께 논의해주셔서 한 팀으로 일하는 느낌을 받았고, 그 과정에서 회사의 맥락과 실제로 원하는 바를 정확히 파악할 수 있어 프로젝트가 빠르게 진행되었습니다.
프로젝트 진행 중 겪었던 가장 큰 어려움은 무엇이었나요? 이를 어떻게 해결했나요?
- 가장 큰 어려움은 프로젝트 방향이 중간에 크게 바뀐 것이었습니다. 처음에는 질문에 답하는 AI를 탑재한 DA 자동화 대시보드를 계획했으나, 사측에서 이미 여러 대시보드를 운영 중이었고 저희 역시 '질문을 던져야만 답을 얻는 구조'는 실무에서 활용 부담이 크다고 판단했습니다. 긴 논의 끝에 방향을 뒤집어, 묻지 않아도 매달 알아서 깊게 분석하고 결과를 전달하는 정적 리포트로 전환했습니다. 데이터를 보는 창구를 하나 더 늘리지 않기 위해 슬랙봇 형태로 구현했고, 이 결정이 오히려 산출물의 실용성을 높였다고 생각합니다.
- 데이터 자체의 한계도 있었습니다. 커리큘럼이 정해져 있고 기능이 단순한 앱 특성상 유저 행동을 다양하게 정의하기 어려웠고, 어느 정도 분석이 진행되자 더 파고들 데이터가 남지 않았습니다. 이 시점에 DA 분석은 마무리하고 월간 리포트 구축에 힘을 실었으며, 사측이 추가로 요청한 A/B 테스트 해석, 광고 효율 분석 등 추가 분석을 병행했습니다.
이번 경험을 통해 어떤 인사이트나 역량을 얻으셨나요?
- 트이다 프로젝트를 통해 얻은 가장 큰 역량은 '계속 질문하고 파고드는 습관'입니다. AI 시대에 객관적인 데이터를 뽑아내는 능력은 AI가 훨씬 뛰어나겠지만, 그 결과를 맥락에 맞게 해석하고 때로는 의문을 제기하는 역량은 더욱 중요해질 것입니다. 실제로 끊임없이 질문하고 파고든 과정이 결과물의 깊이를 만들었고, 사측에서도 이 점을 좋게 평가해주셨습니다.
- 실험 없이 기존 데이터만으로 인과를 입증하는 것이 얼마나 어려운지 체감했습니다. KPI에 영향을 주는 변수로 학습일수처럼 뻔한 것들이 먼저 나왔고, 이를 그대로 해석해 액션화하는 것은 의미가 없었습니다. 그래서 유의한 피처와 함께 움직이는 액션 가능한 피처를 선별하고, 시점 분리 등으로 인과를 조금이라도 더 입증하는 로직을 녹여내는 방식으로 풀어갔습니다. 결국 데이터가 밝혀주는 것은 상관까지이고, 인과로 넘어가는 마지막 단계에는 사람의 관점과 가설이 필요하다는 것을 배웠습니다. 비슷한 맥락에서 A/B 테스트를 해석할 때도 객관적인 수치와 실무의 빠른 의사결정 사이에서 어디까지 타협할지 판단하는 것이 분석가의 역할임을 느꼈습니다.
향후 유사한 프로젝트를 진행할 학회원들에게 전하고 싶은 조언이 있나요?
- 분석 코호트를 정하기 전에 사측이 보고 싶어 하는 코호트를 먼저 물어보고 시기와 대상을 통일하시길 권합니다. 팀원마다 기준이 다르면 결과를 합치는 단계에서 불필요한 조정이 생기게 됩니다.
- DA 자동화 리포트를 만든다면 앱의 구조와 회사의 상황을 최우선으로 고려해야 합니다. 저희는 앱이 단순하고 지표가 많지 않았기에 피처를 제한해두고 신기능이 나올 때만 확장하는 구조를 택했지만, 이는 앱마다 다를 것이고 따라서 자동화 로직 역시 그에 맞춰 달라져야 합니다.
- 시간이 허락한다면 골드셋을 먼저 만들어두고 AI의 해석과 액션 품질을 지속적으로 튜닝하는 과정을 넣으시길 바랍니다. 저희는 시간상 여기까지 가지 못했는데, 이 단계까지 거쳤다면 지금보다 퀄리티가 더 좋은 결과물이 나왔을 것이라 생각합니다.