평균 사용 시간이 고객을 숨기는 방식

평균은 극단값과 서로 다른 고객군을 한 숫자로 눌러 실제 고객을 숨깁니다. 평균 사용 시간이 20분이어도 대부분은 3분 안에 떠나고 일부 작업자가 하루 종일 화면을 켜 둔 결과일 수 있으므로 분포와 과업별 집단을 함께 봐야 합니다.

핵심 평균은 출발점일 뿐입니다. 제품 판단은 값의 위치와 퍼짐, 극단이 생긴 이유, 서로 다른 고객 집단을 함께 볼 때 비로소 실제 경험을 반영합니다.

먼저 보면 좋은 점

대표 고객 문장을 다시 쓴다

“고객은 평균 10분 사용한다” 대신 “절반은 3분 안에 끝나고 소수의 긴 작업이 평균을 끌어올린다”고 씁니다. 이 문장만으로도 빠른 완료와 깊은 작업을 분리해야 한다는 제품 선택이 드러납니다.

대시보드 설명도 같은 방식으로 고치세요. 평균 아래에 표본 수와 중앙값을 붙이고 분포를 열어볼 경로를 두면 숫자 하나가 모든 고객을 대표한다는 오해를 줄일 수 있습니다.

느린 상위 10퍼센트가 특정 기기 오류에 몰리면 성능 개선이 답이고, 긴 사용이 숙련 고객의 깊은 작업이라면 시간을 줄이는 목표가 오히려 해롭습니다. 같은 꼬리 모양도 행동 맥락에 따라 결정이 달라집니다.

각 분포 구간에서 사용자가 끝내려던 과업과 성공 여부를 표본 인터뷰로 확인하세요. 세그먼트가 민감한 특성을 대리하거나 소수 고객을 낙인찍을 수 있다면 개인 단위 대응 대신 제품 장벽을 고칩니다.

열 명의 사용 시간이 1, 1, 2, 2, 3, 3, 4, 5, 9, 70분이면 평균은 10분이지만 중앙값은 3분입니다. “고객이 평균 10분 쓴다”는 설명은 대부분의 경험을 가립니다. 70분 사용자가 테스트 계정인지 핵심 고객인지도 따로 확인해야 합니다.

평균·중앙값·25/75백분위·상하위 10퍼센트를 같은 표에 놓고 실제로 다른 대응이 가능한 집단만 나누세요. 한 고객이 평균의 10퍼센트 이상을 움직이거나 극단값 포함 여부에 따라 결정이 뒤집히면 평균 단독 보고를 중단합니다.

열 명이 모두 20분을 쓴 경우와 아홉 명이 2분, 한 명이 182분을 쓴 경우의 평균은 같습니다. 전자는 고른 사용이고 후자는 다수의 초기 이탈과 한 명의 긴 세션이라는 전혀 다른 문제입니다.

중앙값과 하위·상위 구간, 값의 히스토그램을 함께 보면 중심과 꼬리가 드러납니다. 분포가 한쪽으로 길게 늘어질 때는 평균을 대표 고객의 모습처럼 말하지 않습니다.

송금 앱에서 사용 시간이 줄면 빠른 완료일 수 있지만 학습 앱에서는 콘텐츠 소비가 줄어든 신호일 수 있습니다. 시간 자체보다 사용자가 끝내려던 과업과 완료 여부, 재방문을 함께 연결해야 합니다.

페이지를 켜 둔 시간은 실제 집중 시간과 다릅니다. 백그라운드 전환, 마지막 행동 뒤 긴 공백, 자동 재생을 처리하는 세션 규칙을 공개하고 그 규칙이 바뀌면 과거와 직접 비교하지 않습니다.

24시간 세션은 계측 종료가 빠진 오류일 수 있고, 야간 관제 담당자의 실제 사용일 수도 있습니다. 통계에서 제거하기 전에 계정 유형, 행동 흐름, 기기 상태를 확인해야 중요한 고객군을 지우지 않습니다.

분포 점검표에는 최소·최대, 상하위 구간, 결측과 비정상 값의 비율, 처리 규칙을 적습니다. 제거 전후 결과를 함께 확인하면 임의의 청소가 결론을 바꾸는지 알 수 있습니다.

새 온보딩 뒤 전체 평균 시간이 줄었어도 신규 가입자는 과업을 더 빨리 끝내고 기존 사용자는 그대로일 수 있습니다. 가입 주차별 코호트와 신규·기존 사용자를 나누면 변경의 영향을 받지 않은 사람이 결과를 희석하는 일을 줄입니다.

예를 들어 문서 웹앱은 작성자, 검토자, 읽기 전용 사용자의 정상 시간이 다릅니다. 역할을 섞은 평균 목표 대신 각 역할의 대표 과업 완료, 대기 시간, 재작업을 별도로 관찰합니다.

세그먼트를 끝없이 나누면 우연한 차이와 작은 집단만 늘어납니다. 사전에 행동이 다를 이유가 있거나 제품에서 다른 선택을 할 수 있는 집단만 우선 분석합니다.

표본이 너무 작거나 계측 규칙이 불안정하면 정교한 백분위 비교를 보류합니다. 분포가 보여준 차이가 재현되지 않거나 고객 행동으로 설명되지 않으면 기능 결론이 아니라 다음 조사 질문으로 남깁니다.

메모