"길게 잡아서 2년 내에 당신이 하고 있는 일의 절반 이상을 자동화시킬 수 있어야 한다."
최근 함께 일하고 있는 친구에게 한 말입니다. 미디어다음에서 뉴스를 편집운영하면서 뉴스추천 프로젝트를 메인으로 기획한 친구입니다. 제대로 된 뉴스 편집 및 운영은 끊임없이 쏟아지는 모든 뉴스를 읽고 미담이나 다음탑에 노출시킬 것인가 말것인가를 계속 판단해야 하는 사람손을 많이 타는 일입니다. 그럼에도 불구하고 이 활동의 절반 이상을 단기간 내에 자동화시키고 그 친구는 다른 더 창의적인 생각에 집중해야 한다는 말입니다.
비단 이 친구에게만 들려주고 싶은 말은 아닙니다. 지난 글(참고. 기획에 대해서)에서처럼 함께 일하고 있는 모든 기획자들에게 같은 조언을 해주고 싶습니다. 물론 개발자라고 해서 예외는 아닙니다. 성격이 조금 다를 뿐 허투루 허비하는 많은 잡다한 일들은 자동 영역에 맡기도 늘 새롭고 창의적인 사고, 실행에 집중해야 합니다. 2년이란 시간도 길게 잡은 것입니다. 그만큼 절박한 생존의 문제입니다.
흔히 자동화를 통해서 기계 또는 컴퓨터가 사람을 완전히 대체해버리는 것을 생각합니다. 지구 상의 누군가는 그런 완전무결한 자동화를 꿈꾸고 실현하기 위해서 연구하고 있을 것입니다. 그들의 노력에 찬사를 보내고 좋은 결실을 맺을 것을 바랍니다. 설령 그렇게 되어 내가 할 수 있는 일이 없어진다고 해도 그런 현실을 받아들일 자세가 되어있습니다. 그러나 이 글에서 자동화란 사람을 완전히 대체하는 로봇을 얘기하는 것은 아닙니다.
데이터 마이닝이라는 파트에서 일하다 보니 사람들은 데이터 마이닝을 좀 경외의 대상으로 생각하는 것같습니다. 뭔가 복잡하고 어려운 분야라고 생각합니다. 그래서 회사에서 데이터마이닝/분석을 한다고 말하면 데이터마이닝에 대해서 조금 더 관심을 보이기 전에 손사레를 치고 외면해버립니다. 그러고선 이제껏 편하게 해왔던 일로 돌아섭니다. 그런 두려움과 미신이 저같은 허름한 분석가를 (분석가의 역할을) 보호해주는 것같아 내심 안도하면서도 조금 씁쓸하기도 합니다.
어떤 측면에서 학계를 중심으로 발전시킨 데이터마이닝은 조금 복잡하기도 합니다. 일상에서 전혀 들어볼 수 없는 어려운 용어들로 가득 차있고, 하나의 개념이나 알고리즘을 이해하기 위해서는 선행해서 알아야 하는 지식이 한가득입니다. 그리고 어떤 측면에서는 연구가들은 일부러 더 어려운 용어를 만들어내고 간단한 설명도 복잡한 수식으로 표현하는 것같습니다. 학교에서 농담삼아 얘기했던 건데, 복잡한 증명문제를 그저 'It's trivial'이라고 말하고 증명을 생략하는 경우도 있습니다. 논문 하나를 이해하기 위해서 엮인 많은 논문을 읽어야 하고, 그 참조 논문들을 이해하기 위해서 또 엮인 것들을 읽어야 합니다.
사무실이 조금 추운 것같아서 건물 밖을 한 바퀴 돌면서 생각했습니다. 어쩌면 정작 사람들에게 필요한 기술은 정교하고 복잡한 알고리즘이 아닐 수 있다는 생각입니다. 서두에 말한 자동화도 그렇습니다. 내가 하고 있는 일을 완전히 대체하는 개념의 자동화가 아니라, 내가 하고 있는 일을 더 빠르고 편하게 도와주고 그렇게 해서 절약한 시간을 다른 곳에 집중할 수 있게 해주는 그런 종류의 자동화입니다.
데이터 기반의 기획이 그렇습니다. (당장은) 아무리 좋은 알고리즘을 개발하더라도 기획자의 역할을 완전히 대체할 수 없습니다. 그러나 적당한 데이터 가공만으로도 그들의 잡다한 수고를 덜어줄 수가 있습니다. 기획자가 자신의 일의 50%이상을 자동화해야 한다는 의미도 어떤 제품/서비스를 만들어낼 것인가만 고민할 것이 아니라, 어떤 도구나 데이터가 있으면 내가 만들고자 하는 서비스/제품을 미리 검증해보고 상상하는데 도움이 될 수 있을까를 고민하는 것입니다. 그런 고민으로 자신의 일을 경감시켜줄 데이터나 도구를 마련한다면 2년 후에는 한차원 높은 기획자가 돼있으리라 생각합니다.
서비스를 준비하면서 여러 논문을 다시 찾아봅니다. 참 읽기 어렵습니다. 인트로까지는 쉽게 읽게는데 그 이후는 내가 논문을 읽고 있는 것인지 아니면 그냥 시간을 보내는 것인지 분간할 수 없는 때가 종종 있습니다. 이런 경험이 쌓여갈수록 내가 만들어내는 알고리즘도 복잡한 수식으로 이뤄진 거창한 무언가가 돼야 한다는 헛생각에 사로잡히기도 합니다. 그러다 보니 간단하게 해결할 문제를 이것저것 새로운 요소들을 갖다붙여서 복잡한 솔루션으로 만들어 냅니다. 마치 알고리즘/솔루션의 복잡함이 나의 위대함을 나타내는 증거인양... 그렇게 해서 큰 효과가 있다면 다행이지만, 그저 간단한 수식이나 몇몇 요소로 해결했을 때보다 더 나아졌다는 보장이 없는 경우가 많습니다. 그래서 간단한 기술, 쉬운 알고리즘이 더 사람에게 필요한 것일 수 있다는 생각으로 다시 돌아왔습니다.
요즘 빅데이터 기술로 인해서 난해한 문제나 알고리즘을 사용할 수 있게도 됐지만 (예를들어 최근 많은 관심을 받는 딥러닝 Deep Learning같은), 오히려 간단한 더하기, 빼기, 곱하기, 나누기 즉 사칙연산만으로도 많은 문제들이 해결되고 있습니다. 그리고 간단한 알고리즘/연산으로 빠른 시간에 해결하는 것이 조금 더 정확한 예측보다 더 유용할 때가 많습니다. 엔지니어링이란 복잡함을 감추는 과정이지만 그것 자체도 굳이 복잡할 필요는 없습니다.
글을 적으면서 여러 논점이 섞였습니다. 기술은 필요에 따라서 복잡해질 수 있습니다. 그 복잡함을 재고하고 정작 인간에게 필요한 것이 뭘까를 고민하게 됩니다.
기술은 인간을 대체하는 것이 아니라 보완합니다. 미리 겁먹을 필요는 없습니다.
==
페이스북 페이지: https://www.facebook.com/unexperienced
반응형
