데이블 | Dable
광고 송출 데이터를 활용한 LP 모델의 효과적 검증, 모델 혼합 효과지표 제안 및 비용 최소화 인사이트 도출
프로젝트 소개
본 프로젝트는 광고 송출 데이터를 활용하여, 사측이 실제로 사용하는 모델에 대한 궁금증을 분석하는 주제로 진행되었습니다. 데이터 사이언스(DS) 지식을 요구하면서 데이터 분석(DA) 성격이 짙은 프로젝트였습니다.
세부 목표:
1-1. LP 모델의 효과성 검증
1-2. 클릭 예측 딥러닝 모델과 LP 모델의 혼합에 따른 효과 지표 제안
2-1. 온오프라인 지표의 불일치 원인 분석
2-2. calibrator 관련 온오프라인 성과 불일치 분석
진행 프로세스
주제 1. LP 모델의 효과성 검증 및 모델 혼합에 따른 효과 지표 제안
광고와 지면의 조합을 고려하여 점수를 매기는 LP 모델과 클릭을 예측하는 딥러닝 모델을 혼합하여 광고를 송출하는 것의 효과를 확인하고, 더 높은 매출을 낼 수 있는 혼합 방식을 도출하는 것을 목표로 합니다.
(1) 시간대별 CTR, CVR 변화 양상을 바탕으로, 혼합 모델의 CPA 감소 효과 분석
(2) 다양한 혼합 방식별 송출 결과를 분석하고, 혼합 방식에 따른 성과의 경향 파악
(3) 혼합 방식의 차이가 CPA 변화에 미치는 영향을 수치화할 수 있는 지표 개발
(4) 혼합 방식 결정을 위한 의사결정 지표 개발주제 2. 온오프라인 지표 불일치 분석 및 비용 최적화 관련 인사이트 도출
온오프라인 지표의 불일치로 인한 실험비용을 줄이기 위해 온오프라인 지표 간 불일치 원인을 파악하고, 해결방안을 제시하는 것을 목표로 합니다.
(1) 모델별 온오프라인 지표 불일치 현상 분석 및 일치/불일치 시점 구분
(2) 불일치 시기에 영향을 미친 주요 feature 식별
(3) 해당 feature에서 특이점이 발생한 원인 분석
(4) 문제 발생 지면 특정 및 그 특징 분석
성과 및 인사이트
주제 1. LP 모델의 효과성 검증 및 모델 혼합에 따른 효과 지표 제안
• 딥러닝 모델과 LP 모델의 혼합이 효과적인 시간대와 지면 종류를 제시하였습니다
• LP 모델의 효과성을 정량화할 수 있는 지표를 정의하였습니다.
주제 2. 온오프라인 지표 불일치 분석 및 비용 최적화 관련 인사이트 도출
• 온오프라인 지표의 불일치를 분석하고, 주요 원인들을 제시하였습니다.
• Calibrator 사용 시 주의해야 할 점과 이로 인해 발생하고 있는 문제상황들을 정리하였습니다.
PM 소회
데이블과 프로젝트를 진행하며 좋았던 점은 무엇인가요?
• 재수주 기업인 만큼 저희가 가져간 인사이트들을 믿고 들어주신 점이 좋았습니다.
• 분석 중에 나온 질문들을 편하게 여쭤볼 수 있도록 분위기를 만들어주시고, 빠르게 답변해주셔서 감사했습니다.
프로젝트 진행 중 겪었던 가장 큰 어려움은 무엇이었나요? 이를 어떻게 해결했나요?
• 주제가 추상적이다 보니 팀원들에게 명확한 Task를 분배하는 것이 어려웠습니다.
• 일반적으로 가설을 세우고 그에 따른 Task를 분배하는 방식과 조금 다르게, 세션 시간에 다같이 모여서 논의하면서 가설을 세우고 그 자리에서 분석 결과를 실시간으로 내는 식으로 세션을 진행하였습니다.
이번 경험을 통해 어떤 인사이트나 역량을 얻으셨나요?
• 데이터 분석에 있어서 가장 중요한 것은 가설이 계속해서 맞지 않더라도 꺾이지 않고 다음 가설을 이어서 만드는 자세가 중요함을 느꼈습니다.
• 기억에 남는 프로젝트를 만들기 위해서는 좋은 결과를 도출하는 것도 중요하지만, 팀의 분위기를 즐겁게 형성하는 것 또한 중요함을 깨달았고, 팀원들이 팀에 대한 애정이 있어야 결과도 더 잘 나올 수 있다고 느꼈습니다.
향후 유사한 프로젝트를 진행할 학회원들에게 전하고 싶은 조언이 있나요?
• 광고 도메인과 관련된 프로젝트를 하게 된다면, 도메인 지식에 몰입하는 것이 중요합니다.
• 광고 도메인이 돌아가는 구조나 용어 등을 확실히 익혀야 매끄럽게 분석할 수 있을 것입니다.
참고문헌
Koen Welvaars, Jacobien H F Oosterhoff, Michel P J van den Bekerom, Job N Doornberg, Ernst P van Haarst. (2023). Implications of resampling data to address the class imbalance problem (IRCIP): an evaluation of impact on performance between classification algorithms in medical data. JAMIA Open, 6(2), 5-7.
Eugene Berta, Francis Bach, Michael Jordan. (2023). Classifier Calibration with ROC-Regularized Isotonic Regression. Proceedings of the 27th International Conference on Artificial Intelligence and Statistics (AISTATS), PMLR Volume 238, 4-7.