공유 기능을 쓴 고객의 8주 유지율이 쓰지 않은 고객보다 높게 나옵니다. 팀은 공유 버튼을 온보딩 첫 화면으로 옮기려 합니다. 그런데 공유 고객은 이미 문서를 여러 개 만들고 동료와 협업하던 고사용자였습니다. 공유가 유지를 만든 것이 아니라 오래 남을 고객이 공유까지 했을 수 있습니다. 같은 그래프를 보고도 제품 결정은 정반대가 됩니다.
핵심 상관관계는 조사할 방향을 알려주지만 제품 변경의 인과를 확정하지 않습니다. 가능한 다른 설명을 먼저 적고 구분할 관찰이나 실험을 설계해야 합니다.
먼저 보면 좋은 점
- 원인 후보와 결과의 시간 순서를 확인합니다.
- 제3 변수·선택 편향·역인과를 표로 검토합니다.
- 관찰 결과의 표현을 낮추고 다음 검증을 설계합니다.
결론 문장에 확신 수준을 넣는다
“초대가 유지를 높인다”보다 “비슷한 초기 활동의 사용자에서도 초대 뒤 유지가 높았지만 숨은 동기는 배제하지 못했다”고 씁니다. 문장이 길어져도 의사결정자는 남은 위험을 알 수 있습니다.
실험으로 확인했더라도 대상과 기간 밖으로 일반화하지 않습니다. 증거 범위를 문장에 남기면 다른 팀이 관찰 상관을 강제 기능의 근거로 과장해 재사용하는 일을 막습니다.
결과를 뒤집을 반증을 먼저 찾는다
원인 가설마다 반대 결과를 적습니다. 초대가 유지의 원인이라면 초대 발견성을 높인 집단에서 초대 이전 행동이 비슷한데도 이후 유지가 올라야 합니다. 그렇지 않으면 더 그럴듯한 설명으로 바꿉니다.
분석 메모에는 지지 근거와 반증 근거를 같은 면적으로 둡니다. 고객에게 불필요한 행동을 강제해야만 효과를 관찰할 수 있거나 동의를 얻기 어려운 실험이라면 인과 확신보다 권리 보호를 우선합니다.
주장의 세기를 증거에 맞춘다
초대 기능 사용자의 30일 유지가 60퍼센트, 미사용자는 35퍼센트여도 차이 25퍼센트포인트를 초대 효과라고 부를 수 없습니다. 팀 규모와 초기 활동이 비슷한 사람끼리 맞춘 뒤 차이가 8퍼센트포인트로 줄면 앞선 차이 대부분은 고객 특성이 만든 셈입니다.
관찰, 시간 순서가 맞는 비교, 단계적 출시, 무작위 실험 중 어디까지 확인했는지 적으세요. 숨은 차이가 결론을 뒤집을 가능성이 크고 잘못된 개입의 피해가 크다면 인과 주장을 멈추고 가역적인 시험만 합니다.
함께 움직였다는 사실까지만 말한다
알림을 켠 사용자의 재방문이 높다는 자료는 두 집단의 차이를 보여줍니다. 알림이 재방문을 만들었는지, 자주 돌아오는 사람이 알림을 켰는지는 이 비교만으로 알 수 없습니다.
보고서에는 “연관됐다”와 “영향을 주었다”를 구분합니다. 원인이라고 말하려면 변화가 결과보다 먼저 일어났고, 다른 설명을 충분히 줄였으며, 개입에 따라 결과가 달라지는 근거가 필요합니다.
인과 대안표를 만든다
첫 열에는 주장한 원인, 둘째에는 결과, 셋째에는 둘 모두에 영향을 줄 제3 변수를 적습니다. 넷째에는 결과가 원인을 만드는 역방향, 다섯째에는 관측 대상이 스스로 선택된 방식을 적습니다.
공유와 유지의 관계라면 팀 규모가 제3 변수이고, 오래 남은 사람만 공유 기회를 얻는 생존 편향이 있을 수 있습니다. 각 대안마다 확인할 로그, 인터뷰, 비교 집단을 붙여 막연한 주의를 실제 조사로 바꿉니다.
시간 순서와 노출 기회를 맞춘다
기능 사용 뒤 유지율을 볼 때 이미 이탈한 사람은 기능을 쓸 기회가 없었습니다. 같은 가입 시점과 비슷한 초기 행동을 가진 사람 중 동일한 기간 안에 기능을 볼 기회가 있었는지 맞춰야 합니다.
측정되지 않은 차이는 여전히 남습니다. 통계적 조정은 기록된 변수의 불균형을 줄일 뿐 숨은 동기까지 제거하지 않으므로 관찰 분석의 한계를 결과 옆에 남깁니다.
협업 앱의 초대 기능을 검증한다
초대한 사용자의 한 달 유지가 높다는 관찰에서 “초대를 강제하자”로 바로 가지 않습니다. 먼저 초대 이전의 문서 생성, 팀 크기, 유입 채널과 업무 목적이 비슷한 집단을 비교합니다.
그다음 일부 적합한 신규 사용자에게 초대 발견성을 높이고 행동과 유지를 봅니다. 초대 수는 늘지만 수신자의 거절과 스팸 신고가 커지면 초대가 성장 원인이라는 좁은 목표보다 전체 경험을 우선합니다.
인과를 확인할 수 없을 때의 결정
무작위 실험이 항상 가능하거나 윤리적인 것은 아닙니다. 가격, 안전, 장기 유지처럼 실험이 어렵다면 단계적 출시, 자연스럽게 생긴 정책 차이, 반복 관찰과 정성 근거를 조합하되 확신의 수준을 명시합니다.
공유를 앞당기는 변경이 작고 되돌릴 수 있다면 신규 고객 일부에서 첫 협업과 유지가 함께 달라지는지 시험합니다. 반대로 민감한 문서를 억지로 공유하게 만들거나 잘못된 개입의 피해가 크다면 출시를 보류합니다. 현재 자료로 말할 수 있는 결론은 “공유 고객이 오래 남는다”까지입니다. 공유가 원인이라는 문장은 다음 증거가 생길 때까지 제품 약속에서 제외합니다.
메모
- 원인보다 결과가 먼저 생기는 역방향을 검토했는가?
- 두 지표를 함께 움직일 제3 변수를 적었는가?
- 자료가 허용하는 수준보다 강한 인과 표현을 쓰지 않았는가?