빅데이터의 시대를 지나 스마트 데이터 시대로 접어들고 있다. 주변에서 데이터가 중요하고 데이터 비즈니스를 하겠다고 하는 회사들은 많지만 정작 데이터 비즈니스에 성공한 회사들은 손에 꼽을만하다. 구글, 페이스북, 아마존 같은 세계적인 기업들이나 겨우 데이터 비즈니스에 성공했다. 아니면 아주 특수한 케이스나 기술에 두각을 보이는 잘 알려지지 않은 데이터/기술 스타트업정도만 생각날 뿐이다. 국내에서는 네이버가 그나마 앞서있는 축에 속하지만 기술에 의한 것인지 아니면 마켓파워 때문인지 구분이 조금 어려운 것도 사실이다. 카카오는 네이버에 비하면 데이터 비즈니스를 한다는 말을 꺼내는 것도 민망하다. 카카오가 다른 큰 회사들보다는 데이터 비즈니스를 위한 최소한의 여건을 갖춘 것은 맞지만, 데이터 비즈니스를 한다고 명함을 내밀만한 수준이 아니다. 단적으로 말해서 카카오가 데이터 비즈니스를 제대로 했다면 지금보다는 배이상의 매출이나 이익을 냈어야 한다고 본다.
원래는 조금 추상적인 수준에서 데이터 과학자 또는 조직이 필요한 것이라는 주제로 글을 적으려 했지만 생각을 전개하다보니 데이터 비즈니스를 제대로 못하는 것으로 생각이 바뀌었다. 그리고 이 글에서는 개인정보 보호나 보안과 같은 법적 외부요인은 고려하지 않는다.
어쨌든, 많은 회사들이 데이터 비즈니스를 하겠다고 선언하지만 가시적인 성과를 내지 못하고 흐지부지 시간만 허비하고 실패하는 것일까? 그런 회사들의 모든 사정을 소상히 알 수는 없지만 몇몇 사례들로 일반화해보려 한다. 왜 데이터 비즈니스에 실패하는 것일까?
첫째는 데이터가 없기 때문이다. 데이터 비즈니스에 필요한 데이터도 없으면서 데이터 비즈니스를 하겠다고 선언만하는 경우가 종종 있다. 데이터가 없다는 것은 말 그대로 아무런 데이터도 없는 경우도 있고, 의미있는 데이터가 없는 경우도 있고, 또 데이터 연동이 제대로 안 되는 경우도 있다. 데이터의 중요성을 간과해서 데이터를 남기는 것 자체가 부재했던 시절이 있었다. 데이터 분석할 사람은 뽑았는데 정작 분석할 데이터가 없는 웃지못할 일이 벌어지는 거다. 데이터가 없거나 어떤 데이터를 어떻게 수집할지 등의 대책없는 시작은 필패를 예약한 거나 다름없다.
그러나 그동안 데이터가 중요하다고 많이들 떠들고 비즈니스 성공 사례들이 알려지면서 어떻게든 데이터를 남기고 있다. 그러나 막상 비즈니스에서 필요한 의미있는 데이터가 없는 경우가 다반사다. 그저 아파치 서버가 남기는 로그가 데이터의 전부인 경우도 허다하다. 이걸로는 방문자수 카운트 이외의 사실상 할 수 있는 것이 아무 것도 없다. 때로는 어디에 어떻게 사용할지도 모르면서 그냥 데이터를 쌓아두는 경우도 있다. 일단 쌓아두면 나중에 어딘가에는 쓰겠지라는 생각이다. 없는 것보다 있는 게 낫지만 고민없이 남긴 데이터는 결국 나중에 사용될 가능성이 낮다. 속된 말로 똥이다. 의미없이 데이터를 남기다 보면 관리가 허술해지고 또 빈 데이터만 남게 된다. (RDB처럼) 데이터 포맷이 정적이었던 시절에는 스키마 변경이 어려우니 처음 만들 때 일단 모을 수 있는 모든 데이터 필드를 만들고, 또 혹시 모르니 extra 필드를 여러 개 미리 만들어두던 것이 별로 오래전 얘기가 아니다. 분석이나 마이닝이 데이터 더미에서 의미를 찾아내는 것이지만, 무의미한 데이터에서 의미를 찾는 것은 마이닝의 할애비가 와도 안 된다.
의미있는 데이터를 남긴다고 해서 모든 게 해결된 것은 아니다. 여러 팀으로 나뉘어 다양한 서비스를 다루는 큰 회사의 경우 데이터 연동이 안 되는 경우가 많다다. 개별 서비스의 니즈에 맞도록 데이터를 남기다보니 형식이나 의미가 제각각인 데이터 사일로들만 존재한다. 그리고 물리적으로 개별 서비스의 로그를 한 곳에 모으는 것도 쉽지 않다. 주기적으로 데이터 허브 프로젝트를 시작하지만 몇몇 대표 서비스의 데이터는 연동하지만 마이너한 것들까지 싱크를 맞추지는 못한다. 그 사이에 새로운 기술과 서비스가 등장하면서 기존의 데이터와 호환되지 않는다. 설마 그렇기야 하겠어라고 생각하겠지만 이거 우리 이야기네라고 동감하는 사람들도 많을 거다. 데이터가 없거나 의미가 없거나 연동이 안 돼서 결국 데이터를 사용하지 못하는 회사는 데이터 비즈니스를 할 수 없다는 것은 자명하다.
두번째로 데이터를 다룰 사람이 없다. 데이터 엔지니어링 관점에서 각종 서비스에서 데이터를 수집하고 저장하는 인력이 부족한 경우도 있고, 수집된 데이터를 가공해서 의미를 찾아내는 데이터 분석가/사이언티스트가 없는 경우도 있고, 분석 이상의 해석이 부재하거나 분석 결과를 바탕으로 의사를 결정하고 실행하는 사람이 없는 경우도 있다. 다행인 점은 기술이 발전하면서 데이터를 수집하고 저장하는 것을 도와주는 다양한 오픈 소스들이 많이 나왔고 관련 기술이 나날이 발전하고 있다. 그럼에도 각자의 상황에 맞게 그런 기술과 오픈 소스를 자유자재로 다룰 수 있는 전문 인력은 여전히 부족하다.
이 단계를 넘어가면 분석할 사람이 없다. (개인적 생각으론) 분석을 굳이 학위를 가진 사람이 해야하는 것도 아니고, 다양한 분석 기술은 결국 인간의 공통된 사고 방식 heuristic을 정형화한 것에 불과하다. 분석 인력이 부족하다는 것은 결국 분석 기술을 가진 사람이 부족하다는 것보다는 자유로운 데이터 사고를 하는 사람이 부족하다는 뜻에 가깝다. 다행히 여러 데이터 분석 도구들이 개발돼서 일반인들도 쉽게 사용할 수 있게 됐다. 그러나 가장 우려되는 점은 선무당이 사람을 잡는다는 속담처럼 (쉬운) 분석툴들이 제공하는 기능과 속성의 의미를 모르고 기계적으로 데이터를 블랙박스에 넣어서 결과를 얻고선 모든 게 해결됐다고 생각하는 거다. 상황에 맞는 적정 도구를 선택하고 설정하는 것이 중요한데, 예를 들어 단순 선형회귀를 위해서 레이어가 10개가 넘는 인공망 (딥러닝)을 만드는 일이 벌어지지 않으라는 보장이 없다. 기술의 사용이 더 쉬워질수록 그것의 기저에 있는 기술과 의미를 더 잘 알아야 한다.
분석 인력이 보강돼든 분석 소프트웨어를 사용하든 데이터 (수치)가 주는 함의를 해석해야 한다. 해석은 공학이나 과학을 넘어선 영역이다. 그리고 결정을 내려야 하고, 결정에 따라서 실행해야 한다. 원했던 효과가 바로 나오지 않더라도, 다시 데이터를 모으고 분석/해석해서 결정을 내리고 실행해야 한다. 조금 개선이 되면 다른 방법으로 더 나은 것을 찾아야 한다. 하고 또 하고 또 하고… 데이터를 수집하고 분석하고 해석하는 전문 인력이 꼭 필요하지만, 결국에는 그걸 바탕으로 결정해서 실행하는 사람이 결정적이다. 비즈니스 레벨에서는 결국 권한을 가진 사람들의 역할이다. 여기서 세번째 이유와 연결된다.
셋째, 데이터 비즈니스가 실패하는 결정적인 이유는 많은 회사(경영진)들이 데이터 비즈니스를 지속시킬 의지가 없다는 거다. 아닌 말로 데이터가 없으면 지금부터 수집하면 되고 인력과 기술이 부족하면 채용하거나 오픈소스를 잘 이용하면 된다. 하지만 데이터 비전과 의지는 다른 차원의 문제다. 데이터 비즈니스는 겉절이 김치가 아니라 1~2년 묵힌 김치다. 단기간에 가시적인 성과를 내지 못할 수도 있다는 얘기다. 그리고 계속 실패하면서 방향을 수정하고 다른 시도를 계속해야 한다. 데이터 과학이라고 말하지만 똑부러진 법칙과 이론이 존재하는 과학이 아니라 실험과 검증의 지나한 과정을 거치는 방법론적 과학이다.
데이터 비즈니스를 하겠다고 선언을 했으면 지원을 하고 (인력을 보강해서 팀을 꾸리고 인프라를 구축하는 등), 그리고 인내해야 한다. 퀀텀 점프하듯이 바로 눈에 띄는 효과를 보이는 경우도 있지만, 대부분은 등락을 거듭하면서 서서히 점진적으로 효과가 나온다. 보통 경영진들도 계약직으로 단기 성과를 내야하는 사람들이기 때문에 짧게는 분기나 반기, 길게는 1~2년 내에 성과를 보여줘야 한다. 그러나 데이터 비즈니스는 그렇게 번개로 콩을 구워먹는 게 아니다. 의지를 가지고 장기적인 플랜에 따라서 하나씩 해결해야 겨우 성과가 나온다. 물론 얼마나 스마트하냐에 따라서 성과의 시기와 크기에 영향을 주겠지만…
데이터 비즈니스가 중요하다는 것은 이제 모두가 잘 안다. 하지만 그걸 성공하는 기업은 여전히 소수다. 데이터 비즈니스를 하겠다는 회사들은 먼저 의미있는 데이터를 확보하고 적정 기술을 가진 인력을 보강했다면, 의지와 인내를 가지고 멀리 보면서 실행하기 바란다. 현재는 직원으로서 카카오가 그랬으면 하는 것이 개인의 바람이고, 카카오를 떠나서 (Beyond Kakao, not leaving Kakao) -- 여전히 내가 데이터 과학을 하는 사람인지는 모르겠으나 오랫동안 데이터를 보는 것을 업으로 했던 사람으로서 -- 그런 조직의 일부가 된다면 기쁠 거다.
=== Also in...
