MyAI(마이아이)개발 · 제품 · 운영 학습 노트

측정 · Attribution · Incrementality · Privacy

"이 광고가 매출을 만들었는가?"는 Marketing에서 가장 어려운 질문이다. 핵심은 상관(Correlation)과 인과(Causation)를 구분하는 것이다.

세 가지 측정 도구

방법 질문 강점 약점
Attribution (MTA, Last-click 등) 전환 전에 어떤 접점이 있었나 빠름, 세밀함 인과가 아님, 추적 가능한 접점만 봄
Incrementality Test (Lift, Geo 실험) 광고가 없었다면 전환이 얼마나 줄었나 인과 추정 비용·시간, 한 번에 하나의 질문
MMM (Marketing Mix Modeling) 채널별 예산이 결과에 얼마나 기여했나 개인 추적 불필요, 오프라인 포함 데이터 기간 필요, 모델 가정에 민감 
flowchart LR
    A[Attribution] -->|Hypothesis| T[Incrementality Test]
    T -->|Calibration| M[MMM]
    M -->|Budget Plan| B[Budget]
    B --> A

IAB의 State of Data 2026 보고서도 Privacy 변화, 플랫폼별로 닫힌 측정, 채널 간 불일치 때문에 노출과 사업 성과를 연결하기 어렵다는 점을 다루며, AI를 Attribution·Incrementality·MMM을 보강하는 도구로 본다.

실무에서는 하나만 쓰지 않는다. Attribution으로 가설을 세우고, 실험으로 검증하고, 실험 결과로 MMM을 보정하는 조합이 권장된다. Meta의 Robyn 문서도 Lift 실험 결과로 MMM을 보정(Calibration)하는 방식을 설명한다.

Attribution의 한계

나쁜 예:

브랜드 키워드 광고 ROAS가 20배다. 예산을 두 배로 늘리자.

좋은 예:

브랜드 키워드 광고를 일부 지역에서 4주간 끄고 전체 전환 변화를 비교해 순증(Incremental) 효과를 추정한다.

Incrementality Test

Test 그룹: 광고 노출
Control 그룹: 광고 미노출 (무작위 또는 지역 단위)
Lift = (Test 전환율 - Control 전환율) / Control 전환율

주의: 표본이 작으면 결과가 흔들린다. 실험 전에 관찰 기간, 최소 효과 크기, 판단 기준을 먼저 정한다.

숫자로 보는 예

사용자 단위 Lift 실험을 읽는 법을 보여 주는 일반 예시다. 04·07의 예시 제품(검색광고 월 200만 원, 분기 유료 계정 10곳)이 아니라, 광고 도달 규모가 큰 서비스를 가정했다. 여기서 전환은 무료 가입이다. 모든 수치는 예시다.

전환 = 무료 가입
각 그룹 50,000명 (무작위 배정)
Control 전환율 2.0%  → 전환 1,000건
Test    전환율 2.4%  → 전환 1,200건

Lift             = (2.4 - 2.0) / 2.0 = 20%
Incremental 전환 = 50,000 × (2.4% - 2.0%) = 200건
Test 광고비      = 1,000만 원
Incremental CAC  = 1,000만 원 / 200건 = 5만 원

플랫폼이 Test 그룹의 전환 1,200건을 모두 광고 덕분으로 보고하면 CAC는 약 8,333원으로 보인다. 실제로 광고가 추가로 만든 전환은 200건이고, 예산 판단은 Incremental CAC 5만 원으로 한다. 이것은 무료 가입 1건당 비용이므로, 유료 고객 1명당 비용으로 바꾸려면 가입→유료 전환율로 한 번 더 나눠야 한다.

04·07의 예시 제품 규모에서는 이 방식의 검정력이 부족하다. 아래 계산처럼 2.0% → 2.4%를 감지하려면 그룹당 약 2.1만 명이 필요한데, 월 200만 원 검색광고와 분기 유료 계정 10곳 규모로는 가입 기준으로도 표본을 채우기 어렵고 유료 전환 기준으로는 차이를 감지할 수 없다. 그래서 04의 채널 믹스는 이 채널을 분기 1회 On/Off 또는 Geo 테스트로 확인하도록 했다.

실험 전에 정할 것

MMM

MMM은 개인 단위 추적이 필요 없어서 Privacy 변화에 강하다. 대신 최소 1–2년 치의 주간 데이터, 충분한 예산 변동이 있어야 의미 있는 결과가 나오는 경우가 많다.

Privacy 변화: 무엇이 실제로 바뀌었나

영역 상태 (날짜)
Chrome 3rd-party Cookie 2024-07 일정 기반 폐지 대신 사용자 선택 방식으로 방향 전환 → 2025-04 별도 선택 Prompt도 도입하지 않기로 발표. 기존 설정 화면에서 사용자가 제어
Privacy Sandbox 2025-10-17 Topics, Protected Audience, Attribution Reporting 등 대부분 API 은퇴 발표. CHIPS, FedCM, Private State Tokens는 유지
Safari 2020-03 WebKit이 3rd-party Cookie 전면 차단 기본값 발표
Firefox 2022-06 Total Cookie Protection(사이트별 Cookie 분리)을 전 세계 기본값으로 적용
iOS ATT 2021년부터 앱이 추적하려면 사용자 허락 필요. 프랑스 경쟁당국 1.5억 유로(2025-03-31), 이탈리아 AGCM 약 9,860만 유로(2025-12) 과징금, 독일 연방카르텔청은 Prompt 중립화 등 확약을 구속력 있게 수용(2026-08-17)
iOS 광고 측정 SKAdNetwork에 이어 AdAttributionKit(2024) 제공, 개인 식별 없이 집계형 Postback
Google Consent Mode v2 2024-03부터 EEA 사용자에 대해 광고 측정·개인화 동의 신호(ad_user_data, ad_personalization) 전달 필요

정리하면:

First-party 데이터와 Server-side 전송

추적 손실을 줄이는 방법으로 플랫폼들은 동의 받은 First-party 데이터를 서버에서 전송하는 방식을 제공한다.

이것은 동의를 우회하는 수단이 아니다. 동의 범위 안에서만 쓴다.

흔한 실수

참고 자료