데이터 마이닝의 좋은 점을 하나 꼽으라면 늘 새롭다는 거다. 새로운 도메인의 새로운 문제를 만나기도 하고, 늘 담당하던 서비스지만 새로운 출처의 데이터나 새로운 종류/포맷의 데이터를 만나기도 하고, 그도 아니면 새로운 알고리즘을 배우고 적용하기도 한다. 파라메터를 새롭게 추가하거나 내용을 변경하는 것만으로도 새로운 경험이 된다. 그래서 현재 업무가 지치거나 지루해지면 새로운 서비스를 담당하거나 새로운 데이터를 공급받거나 새로운 알고리즘을 적용하거나 등의 방법으로 매너리즘을 돌파하는 경우가 많다. 물론 이런 과정이 반복되면 새로운 문제가 전혀 새롭지도 않고 새로운 데이터도 전혀 새롭지도 않고 또 하늘 아래 새로운 알고리즘도 없는 것같은 무력감에 빠지지 않는다는 법도 없다.
어쨌든 데이터 마이닝은 늘 새로운 문제와 접근법/해결책과의 조우다. 그렇기에 새로운 문제 또는 접근법을 수용하기에 앞서 과연 내가 이를 받아들일 것인가를 판단하거나, 적용 후에 결과가 만족스러운가를 평가하는 기준이 필요하다. 밸리데이션 프로세스 validation process나 이벨류에이션 메져 evaluation measure가 필요한 것도 그런 연유에서다. 그러나 이 글에서는 그런 수치적 또는 이론적 메져에 대한 얘기는 아니다.
새로운 문제나 해결책을 맡을 것인가를 판단하거나 그 결과를 평가하는 정성적인 기준이 필요할 것같다. 사람들마다 다양한 기준점이 있겠지만, 나는 MVP (Meaning Value Practice) 이렇게 세가지가 중요하다고 생각한다.
첫번째로 Meaning, 즉 의미가 중요하다. 새로운 문제가 의미가 있는가? 새로운 접근법으로 의미있는 결과를 도출할 수 있는가?에 따라서 판단 및 평가 기준을 삼을 수 있다. 빅데이터라는 말에서처럼 쏟아져나오는 데이터가 전부 노이즈로 가득 찼다면 어떨까? 이런 가비지 데이터에서는 의미있는 결과를 얻을 수가 없다. 아니면 새롭게 복잡한 알고리즘을 배워서 적용해봤는데, 기존에 통밥으로 떼려맞추던 것과 별반 다를 것이 없다면 그 알고리즘은 이 문제에서는 쓸모가 없다. 새로운 파라메터를 추가했는데, 개선효과가 없다면 이 또한 의미없는 헛수고에 불과하다. 여러 경우에도 의미있는 변화를 줄 수 없다면 새로운 문제도 새로운 접근법도 수용하지 않는 것이 좋다. 광물의 흔적도 없는데 금이 있다고 가정하고 굴을 파고 들어갈까?
두번째로는 Value다. 즉, 문제를 해결한 후 결과물이 가치가 있어야 한다. 단지 어려운 문제를 해결했다는 자기만족이 아니라, 뽑혀진 의미있는 결과물을 통해서 개선 효과가 있고, 그래서 그 서비스를 사용하는 사람들에게 가치를 줄 수 있어야 한다. 사용성이 좋아져서 시간을 줄려줬다거나 적절한 상품을 추천해줘서 바로 구입할 수 있게 되었다거나 등과 같은 가시적인 성과, 그리고 이에 따른 새로운 가치를 만들어 낼 수가 있어야 한다. 어렵게 금인줄 알고 캐냈는데 알고 보니 황철석이면 어떤 기분일까?
마지막으로 Practice, 즉 실행에 옮겨져야 한다. 결국 실행이 의미를 가치로 변환시켜주는 과정이다. 사실 내가 학교 쪽에 불만을 가지는 이유 중에 하나가 여기에 있다. 어렵게 연구해서 좋은 알고리즘을 만들어냈는데, 실생활에 적용되지 않는 경우가 많다. 나도 논문을 여러 편 적기는 했지만, 당시에는 그냥 주어진 평가점수만 조금 개선하는 방법을 찾아내면 그걸 마치 대단한 연구인양 논문으로 적었던 것같다. 실험실에서 주어진 토이 문제에서는 좋은 효과를 발휘하지만, 실제 문제에 적용될 수 없는 수많은 연구결과들이 그렇다. 단지 논문을 적기 위해서, 단지 특허를 받기 위해서 만들어진 쓰레기 알고리즘들이 넘쳐난다. 업무에서 새로운 문제를 만났을 때, 그 결과물이 실제 서비스에 적용될 가능성이 없다면 왜 처음부터 머리를 싸매어 그 문제를 해결하려고 노력했어야 하는걸까? 진짜 금이 매장되어있는 것은 밝혀졌는데 너무 깊어서 캐내는데 비용이 더 많이 들어가는 상황이라면 채광을 할까?
의도했던 글의 뉘앙스로 글이 적히지 않았다. 조금 억지스러운 표현이 많이 있다. 데이터 마이닝 뿐만 아니라, 다른 많은 일들에서 MVP의 기준에 따라서 생각, 판단할 수 있을 것같다. 내가 지금 하고 있는 일이 의미가 있는가? 내가 하는 일을 통해서 사회에 새로운 가치를 줄 수 있는가? 지금 하고 있는 일이 제대로 실행, 적용될 수 있는가? 해결책을 위한 문제가 아니라, 실제 우리 삶을 변화시키는 경험을 해보고 싶다면 의미, 가치, 실행에 대한 물음에 긍정적 답변을 얻은 후에 해도 절대 늦지가 않다.
(2013.05.30 작성 / 2013.06.04 공개)
페이스북 페이지: https://www.facebook.com/unexperienced
