가치 있는 데이터란 무엇인가?

답하려고 설계한 데이터와 그냥 모은 데이터는 양이 아니라 종류가 다르다. 그 차이는 수집이 끝난 뒤에는 메울 수 없다.

데이터의 가치는 쓰임에서 나온다

데이터를 모으는 사람 대부분은 한 가지 기대를 가지고 시작한다. 충분히 쌓이면 그 안에서 인사이트가 떠오를 것이라는 기대다. 그래서 먼저 모으고, 나중에 들여다본다.

이 순서가 뒤집혀 있다. 인사이트는 데이터에서 발견되는 것이 아니라 질문에 대한 답이다. 답이 있으려면 질문이 먼저 있어야 하고, 질문이 없는 데이터는 아무리 많아도 답을 내놓지 않는다. 데이터를 보다가 무언가 "보였다"는 경험도 뜯어보면, 이미 머릿속에 있던 질문이 데이터를 만난 순간이다. 질문이 없는 사람에게는 같은 표가 숫자 나열로만 보인다.

여기서 질문은 "궁금한 것"과 다르다. 답이 나오면 행동이 바뀌는 것이 질문이다. 이 글에서는 두 질문을 끝까지 따라간다. 하나는 답을 찾기 어려워 보이는 질문, "무엇이 아름다운가"다. 다른 하나는 실용적인 질문, "구매에 가장 크게 기여하는 요인은 무엇인가"다. 둘 다 그냥 모은 데이터로는 답이 나오지 않고, 답하려고 설계한 데이터로는 답의 일부가 나온다. 그 차이가 어디서 생기는지가 이 글의 내용이다.

데이터의 가치는 "가지고 있다"가 아니라 "행동을 바꾸는 질문에 답할 수 있다"에서 나온다. 답하려면 세 가지가 동시에 갖춰져야 한다.

• 행동을 바꾸는 질문이 있다. 답이 나왔는지 판별할 수 있는 형태로.
• 데이터가 그 질문에 답할 형태다. 답에 필요한 결정이 수집 시점에 내려져 있다.
• 꺼낼 수 있다. 어디에 있는지 알고, 열 수 있고, 합칠 수 있다.

이 셋 중 하나라도 빠지면 데이터는 쌓이는 게 아니라 부패한다. 누가 어떤 상황에서 남긴 기록인지 맥락이 사라지고, 사람마다 다르게 적어 합칠 수 없게 되고, 관리하는 사람이 없어져 어디 있는지조차 모르게 된다. 결과는 "있긴 한데 못 쓰는 아카이브"다.

데이터는 세 층으로 나뉜다

원본 층은 사건이 일어난 그대로의 기록이다. 영수증 뭉치, 통화 녹음, 서버 로그, 회의 메모 원문. 요약하지 않았고 골라내지 않았다.

스키마 층은 답을 계산하려고 정리한 표다. 열 이름이 있고, 각 열에 어떤 형식의 값이 들어가는지 정해져 있다. "고객, 노출 여부, 구매"라는 열을 만든 순간 "노출이 구매를 바꾸는가"라는 질문이 이미 들어가 있다.

두 층 사이에 설계 층이 있다. 질문 속 단어가 무엇을 가리키는지 정하고(개념), 그것을 무엇으로 잴지 정하고(측정), 누구를 데이터에 넣을지 정하고(표본), 무엇과 무엇을 견줄지 정하는(비교) 층이다. 이 네 결정은 표의 열 이름보다 앞에 있고, 표를 어떻게 만들지를 결정한다.

목적이 반드시 붙어야 하는 자리는 설계 층이다. 스키마는 설계의 결과일 뿐이다. 반면 원본 층은 조건이 맞으면 목적 없이 쌓아도 된다.

원본 층을 목적 없이 쌓아도 되는 네 가지 조건

원본 층을 목적 없이 쌓아서 성공한 사례는 많다. 서버는 어떤 분석을 할지 모르는 채로 모든 요청을 로그로 남기고, 질문은 몇 달 뒤에 생긴다. 대규모 건강 코호트는 특정 연구 목적 없이 수십만 명의 기록을 모았고, 설계 당시 존재하지 않던 질문에 답하고 있다. 결제 기록, 통화 녹음, 웹 텍스트도 마찬가지다.

이 사례들이 작동한 데는 공통 조건이 있다. 네 가지가 동시에 맞아야 한다.

1. 수집 한계비용이 0에 가깝다. 사람이 손으로 적지 않고, 기록당하는 쪽이 의식하지 않는다.
2. 원본 그대로 보존한다. 요약하거나 골라내지 않는다. 골라내는 순간 설계 층의 결정이 몰래 들어가고, 그 뒤에 생긴 질문에는 답할 수 없다.
3. 도메인이 안정적이다. 내년에도 같은 종류의 사건이 일어난다.
4. 미래의 여러 질문이 같은 원본을 공유한다. 영수증 하나로 요일별, 상품별, 시간대별 질문에 모두 답할 수 있다.

반대 방향의 실패도 있다. 목적을 먼저 정하고 그 목적에 딱 맞게만 정리해 두면, 새 질문이 생겼을 때 답하지 못한다. 기업들이 정해진 표 형태로만 데이터를 쌓던 방식에서 원본을 그대로 쌓는 방식으로 옮겨간 이유가 이것이다. 그런데 원본을 쌓아 두면 모든 질문에 답할 수 있다는 기대도 틀렸다. 원본이 있어도 설계 층의 결정 중 일부는 되돌릴 수 없기 때문이다. 다음 장이 그 이야기다.

질문과 데이터 사이의 네 관문

질문이 있어도 데이터가 곧바로 답하지는 않는다. 질문과 데이터 사이에는 네 개의 관문이 있고, 각 관문에서 답이 왜곡되거나 사라진다. 이 관문들은 데이터 처리의 문제가 아니라 사회과학이 오래 다뤄온 검증의 문제다.

1. 개념. 질문 속 단어가 실제로 무엇을 가리키는가. "아름답다"는 누구의 판단인가. "기여"는 마지막 접점인가, 그것이 없었다면 사라졌을 구매인가. 여기서 단어의 뜻을 정하지 않으면 데이터는 다른 질문에 답한다.
2. 측정. 그 개념을 어떤 숫자나 기록으로 대신할 것인가, 그리고 그 대리물이 개념을 얼마나 담는가. "좋아요" 수는 아름다움이 아니라 노출량과 사회적 동조를 잰다. 대리물이 개념에서 멀수록 답은 다른 것을 말한다.
3. 표본. 누가 데이터에 들어오고 누가 빠지는가. 남아 있는 고객만 기록하면 떠난 이유는 영원히 모른다. 응답한 사람만 기록하면 응답하지 않는 사람의 의견은 없는 것이 된다.
4. 비교. 답이 "X 때문에"라면, X가 없었을 때와 견줄 설계가 있는가. 쿠폰 받은 사람이 더 샀다는 것은 쿠폰이 살 사람에게 갔다는 뜻일 수도 있다. 비교군이 없으면 함께 일어난 것과 때문에 일어난 것을 가를 수 없다.

네 관문을 가로지르는 문제가 하나 더 있다. 기록되고 있다는 사실이 대상을 바꾼다. 녹음기 앞에서 사람은 말을 줄이고, 평가받는 줄 아는 팀은 숫자를 관리한다. 이건 뒤에서 비용으로 다시 다룬다.

두 질문을 관문마다 따라가면

같은 질문을 "그냥 모은 경우"와 "답하려고 설계한 경우"로 관문마다 나란히 놓으면 차이가 어디서 생기는지 보인다.

질문 1. 무엇이 아름다운가

설계해도 답은 "이 조건에서 이 사람들이 이렇게 판단했다"까지다. 질문의 형이상학적 부분, 아름다움이 판단과 별개로 존재하는가는 데이터가 답하지 못한다. 그냥 모은 데이터는 그 경계를 감추고 "밝고 대칭인 것이 아름답다"고 말한다. 설계한 데이터는 경계를 드러내고 그 안에서만 말한다. 이것이 설계의 두 번째 역할이다. 답을 내는 것만이 아니라, 답할 수 없는 부분을 정직하게 남기는 것.

질문 2. 구매에 가장 크게 기여하는 요인은 무엇인가

그냥 모은 데이터에서 나오는 답은 상관표다. 구매와 함께 나타난 것들의 목록이고, 그중 무엇이 원인인지는 말하지 않는다. 설계한 데이터는 하나의 요인에 대해서만 답하지만 그 답은 행동을 바꿀 수 있다.

왜 나중에 고칠 수 없는가

형식 불일치나 결측은 처리로 고친다. 열을 잘못 잡았어도 원본이 있으면 다시 집계한다. 그러나 빠진 표본은 만들어 낼 수 없고, 잘못 잰 대리물은 되돌릴 수 없고, 무작위로 막아 두지 않은 노출은 사후에 비교군을 만들 수 없다. 기록 때문에 바뀐 행동은 기록 안에 원래 행동이 남아 있지 않다.

그냥 모은 데이터가 답하지 못하는 이유는 양이 부족해서가 아니다. 답하는 데 필요한 결정이 수집 시점에 내려지지 않았기 때문이다. 원본 층이 목적 없이 쌓여도 되는 이유는 개념과 측정과 표본의 결정 일부를 미룰 여지를 남기기 때문이다. 하지만 비교의 결정은 원본이 있어도 미룰 수 없다. 이것이 "목적이 먼저"라는 원칙의 실제 내용이다.

관문을 지나 열을 정하기

네 관문의 답이 정해지면 스키마는 거의 자동으로 나온다. 순서는 질문에서 시작해 거꾸로 내려간다.

먼저 질문이 세 가지를 갖췄는지 본다. 답이 나왔는지 판별할 수 있고, 답이 나오면 무엇을 바꿀지 정해져 있고, 기한이 있다. "구매에 가장 크게 기여하는 요인"은 이대로는 너무 넓다. "검색 광고 노출이 첫 구매를 얼마나 늘리는가, 3개월 안에"로 좁혀야 판별할 수 있고, 답이 나오면 광고 예산 배분이 바뀐다.

1. 질문: 검색 광고 노출이 첫 구매를 얼마나 늘리는가
2. 관문의 답: 기여는 증분(개념), 실제 결제로 잰다(측정), 비구매자도 포함한다(표본), 노출을 무작위로 일부 차단한다(비교)
3. 필요한 필드: 고객 식별자, 노출군 또는 차단군 배정, 배정 시각, 첫 결제 시각, 결제 금액
4. 각 필드를 어디서 얻나: 배정은 광고 시스템이 자동으로 기록, 결제는 주문 시스템에서, 식별자는 둘을 잇는 키. 여기서 새로 만들어야 하는 것은 "배정" 하나뿐이다.

4번까지 오면 이미 있는 원본에서 뽑을 수 있는 필드가 대부분이고, 수집 시점에 새로 심어야 하는 것은 비교군 배정 하나라는 사실이 드러난다. 관문 없이 시작했다면 접점 로그 전체를 새 양식으로 바꾸려 했을 것이고, 그렇게 해도 비교군은 생기지 않았을 것이다.

열을 정할 때 지킬 것

수집 비용 추정하기

원본 층을 목적 없이 쌓아도 되는 첫 조건이 수집 비용이었다. 그런데 비용은 대개 과소평가된다. 눈에 보이는 비용만 세기 때문이다.

숨은 비용 네 가지

• 동의와 마찰. 기록한다는 사실 자체가 상대의 행동을 바꾼다. 앞 장에서 관문을 가로지른다고 한 그 문제다. 기록을 얻는 대신 기록할 만한 내용을 잃고, 잃은 부분은 기록 안에 남지 않는다.
• 품질 저하. 기록 부담이 커지면 기록자가 대충 적는다. 처음 한 달은 성실하게 채워지다가 세 달째부터 빈칸이 늘어난다. 이 시점 이후의 데이터는 있어도 믿을 수 없다.
• 보관과 관리. 저장소 비용은 작지만 접근 권한 관리, 개인정보 삭제 요청 대응, 담당자 이직 시 인수인계는 작지 않다. 관리자가 지정되지 않은 데이터는 1년 안에 소재 불명이 된다.
• 형식 불일치. 사람마다 다르게 적은 기록을 나중에 합치는 비용은 처음부터 형식을 맞추는 비용의 몇 배다. 이 비용은 실제로 쓰려는 순간에야 청구된다.

간단한 추정식

총비용 = (건당 기록 시간 + 건당 상대 마찰) × 건수
  + 월 관리비 × 보관 개월 수
  + 못 쓰게 될 확률 × 위 전체

마지막 항이 핵심이다. 형식 불일치나 관리 부재로 데이터 전체가 무용지물이 될 확률을 곱하면, 목적 없이 모은 데이터의 기대 비용은 눈에 보이는 비용의 몇 배로 뛴다. 반대로 서버 로그처럼 첫 줄이 0에 가깝고 형식이 기계적으로 고정되는 데이터는 마지막 항도 작다.

비용이 0에 가깝다고 판단하는 기준은 두 가지다. 기록이 사람 손을 거치지 않고, 기록당하는 쪽이 의식하지 않는다. 둘 중 하나라도 아니면 비용은 0이 아니고, 질문을 먼저 정해야 한다.

세 질문으로 결정하기

세 번째 질문의 "아니오"가 실패는 아니다. 아직 질문이 없다는 뜻이고, 그때 할 일은 데이터를 모으는 게 아니라 질문 목록을 적어 두는 것이다. 질문이 생기면 네 관문에 답하고, 거기서 역산한 최소 스키마로 시작하면 된다. 목적 없이 모아둔 데이터가 새 질문의 관문을 우연히 통과할 확률보다, 질문이 생긴 뒤 관문을 정하고 3개월 모은 데이터가 답할 확률이 훨씬 높다.

1. 수집이 자동이고 상대가 의식하지 않는가? 아니면 비용은 0이 아니다.
2. 요약이나 선별 없이 원본 그대로인가? 아니면 이미 설계가 몰래 들어가 있다.
3. 3개월 안에 답할 질문이 하나 있는가? 있으면 개념, 측정, 표본, 비교부터 정한다. 없으면 질문 목록만 적어 둔다.

"모아두면 언젠가 쓸 수 있다"는 조건부로 참이다. 조건은 수집 비용이 0에 가깝고 원본을 그대로 남긴다는 것이고, 그 조건이 깨지는 순간 질문이 먼저다. 그리고 질문이 있어도 네 관문을 지나지 않은 데이터는 다른 질문에 답한다. 가치있는 데이터는 많은 데이터가 아니라, 어떤 질문에 어떤 조건으로 답할지 수집하기 전에 정해진 데이터다.