서비스를 만들었고, 심혈을 기울여 베타테스터도 모았습니다. 몇 주 동안 실제로 사람들이 써보는 걸 유심히 지켜봤거든요. 처음에는 긴장도 되더라고요. 내가 만든 걸 누군가가 진짜로 쓰고 있다는 게 신기하기도 하고, 한편으로는 불안하기도 했습니다.
그런데 베타테스터들이 하나둘 이야기를 보내주기 시작했어요. "이 기능은 좋다", "여기는 좀 아쉽다", "이런 것도 있으면 좋겠다." 고마운 피드백들을 주어서 나름 놀랍기도 했고 무척이나 감사했습니다.
그런데 이걸 정리하다 보면 묘한 기분이 들어요. 좋다는 사람도 있고, 아쉽다는 사람도 있고, 방향이 다른 의견도 섞여 있거든요. 그러면 자연스럽게 이런 생각이 듭니다.
"이게 진짜 잘 되고 있는 건가?"
아마 이 글을 읽고 계신 분도 비슷한 지점에 서 있을 거예요. 피드백은 받았는데, 그걸 근거로 "된다" 또는 "안 된다"를 판단하기가 어려운 상태. 느낌은 나쁘지 않은데, 확신이라고 부르기엔 뭔가 부족한 거예요.
저희도 프로젝트를 진행하면서 이 지점을 여러 번 겪었습니다. 그래서 지금은 피드백만으로 판단하지 않아요. 숫자를 같이 봅니다. 숫자라고 해서 어렵거나 복잡한 건 아니에요. 딱 세 가지만 보면 됩니다.
첫째 사람들이 다시 돌아오는가
가장 중요한 숫자입니다. 베타테스터가 앱을 한 번 써보고 다시 들어오는지, 아니면 한 번 쓰고 안 여는지를 보는 거예요.
왜 이게 중요하냐면요. 처음에 한 번 써보는 건 호기심으로도 가능합니다. 그런데 다음 날, 사흘 뒤에 다시 들어온다는 건 호기심이 아니라 필요에 의한 거거든요. 이 사람은 이 서비스가 자기 문제를 풀어줄 수 있다고 느낀 거예요.
저희가 프로젝트에서 이 숫자를 볼 때 기준으로 삼는 게 있습니다. 3일 안에 다시 들어오는 사람이 전체 베타테스터의 20%를 넘으면, 방향이 맞다는 신호로 봐요. 반대로 10% 아래면, 서비스 자체보다는 처음 들어왔을 때의 경험을 먼저 손봐야 한다는 뜻입니다. 앱을 처음 열었을 때 뭘 해야 하는지 모르겠다는 느낌이 드는 경우가 대부분이거든요.
둘째 핵심 행동까지 도달하는가
모든 앱에는 "이것만은 해봐야 하는" 행동이 하나 있습니다. 운동 모임 앱이라면 모임에 참여 버튼을 누르는 것이고, 가계부 앱이라면 지출을 한 건 입력하는 것이에요. 이걸 핵심 행동이라고 합니다.
베타테스터가 앱을 열었는데, 이 핵심 행동까지 도달하지 못하고 중간에 나가버리면 문제가 있는 거예요. 앱이 나빠서가 아니라, 거기까지 가는 길이 복잡하거나 헷갈리기 때문인 경우가 많습니다.
저희는 이걸 확인할 때 화면별로 사람들이 몇 퍼센트씩 남아 있는지를 봐요. 예를 들어 100명이 앱을 열었는데 회원가입에서 60명이 남고, 메인 화면에서 40명이 남고, 핵심 행동까지 도달한 사람이 15명이라면, 회원가입과 메인 화면 사이에서 사람이 많이 빠지고 있다는 뜻이거든요. 그러면 그 구간의 화면을 다시 살펴봐야 합니다.
이런 흐름을 눈으로 볼 수 있게 해주는 도구들이 있어요. 저희는 프로젝트 성격에 따라 Firebase나 Mixpanel 같은 도구를 사용하는데, 처음 들어보셔도 괜찮습니다. 중요한 건 도구가 아니라, 어떤 숫자를 봐야 하는지를 아는 거니까요.
셋째 어디서 멈추는가
베타테스터가 앱을 쓰다가 특정 화면에서 유독 오래 머물거나, 특정 버튼을 누르지 않고 뒤로 가는 경우가 있어요. 이게 이탈 지점입니다.
이탈 지점이 중요한 이유가 있습니다. 여기가 바로 사용자가 "뭘 해야 할지 모르겠다"고 느끼는 곳이거든요. 버그가 아니에요. 화면은 정상인데, 사용자 입장에서 다음에 뭘 해야 할지 안내가 부족한 거예요.
저희가 한 프로젝트에서 겪은 일인데요. 결제 화면 직전에서 사람들이 계속 이탈하는 현상이 있었어요. 확인해 보니까 결제 버튼이 화면 아래로 스크롤해야 보이는 위치에 있었거든요. 버튼 위치를 올리고, 바로 위에 "첫 달 무료"라는 문구를 추가했더니 이탈이 절반으로 줄었습니다. 이런 건 데이터를 보지 않았으면 절대 발견할 수 없었을 거예요.
숫자가 말해주는 세 가지 신호
이 세 가지 기준을 보면, 베타테스트 결과는 세 가지 중 하나로 정리됩니다.
다시 돌아오는 비율도 높고, 핵심 행동까지 도달하는 비율도 높다면
방향이 맞다는 뜻이에요. 이 경우에는 기존 방향을 유지하면서 세부적인 경험을 개선하는 데 집중하면 됩니다. 정식 출시를 준비해도 괜찮은 단계예요.
다시 돌아오는 비율은 낮은데, 핵심 행동까지 도달한 사람의 반응은 좋다면
서비스 자체의 가치는 있는데, 처음 들어왔을 때의 경험이 문제라는 뜻입니다. 앱을 처음 열었을 때 보이는 화면, 안내 문구, 회원가입 과정을 먼저 손봐야 해요.
특정 화면에서 사람들이 집중적으로 빠진다면
그 화면의 설계를 다시 봐야 합니다. 기능을 빼야 할 수도 있고, 반대로 안내를 추가해야 할 수도 있어요. 데이터가 정확히 어디를 고쳐야 하는지를 알려주는 겁니다.
감으로 판단하면, 고치는 데 시간이 두 배로 걸립니다
피드백만 보고 판단하면, "이것도 고쳐야 하고 저것도 고쳐야 하는" 상황에 빠지기 쉽습니다. 뭐가 급한지 순서를 못 정하는 거예요. 그러면 이것저것 다 손대다가 시간만 흘러갑니다. 정작 중요한 문제는 그대로 남아 있는 경우가 많아요.
숫자를 같이 보면 달라집니다. 어디를 먼저 고쳐야 하는지가 보이거든요. 그러면 한정된 시간 안에서 가장 효과가 큰 곳부터 손댈 수 있습니다.
