'복잡성'에 해당되는 글 2건

  1. 2014.08.12 기술과 인간
  2. 2013.04.02 복잡성과 미래

기술과 인간

Gos&Op 2014.08.12 18:09 |
Share           Pin It
"길게 잡아서 2년 내에 당신이 하고 있는 일의 절반 이상을 자동화시킬 수 있어야 한다."

최근 함께 일하고 있는 친구에게 한 말입니다. 미디어다음에서 뉴스를 편집운영하면서 뉴스추천 프로젝트를 메인으로 기획한 친구입니다. 제대로 된 뉴스 편집 및 운영은 끊임없이 쏟아지는 모든 뉴스를 읽고 미담이나 다음탑에 노출시킬 것인가 말것인가를 계속 판단해야 하는 사람손을 많이 타는 일입니다. 그럼에도 불구하고 이 활동의 절반 이상을 단기간 내에 자동화시키고 그 친구는 다른 더 창의적인 생각에 집중해야 한다는 말입니다.

비단 이 친구에게만 들려주고 싶은 말은 아닙니다. 지난 글(참고. 기획에 대해서)에서처럼 함께 일하고 있는 모든 기획자들에게 같은 조언을 해주고 싶습니다. 물론 개발자라고 해서 예외는 아닙니다. 성격이 조금 다를 뿐 허투루 허비하는 많은 잡다한 일들은 자동 영역에 맡기도 늘 새롭고 창의적인 사고, 실행에 집중해야 합니다. 2년이란 시간도 길게 잡은 것입니다. 그만큼 절박한 생존의 문제입니다.

흔히 자동화를 통해서 기계 또는 컴퓨터가 사람을 완전히 대체해버리는 것을 생각합니다. 지구 상의 누군가는 그런 완전무결한 자동화를 꿈꾸고 실현하기 위해서 연구하고 있을 것입니다. 그들의 노력에 찬사를 보내고 좋은 결실을 맺을 것을 바랍니다. 설령 그렇게 되어 내가 할 수 있는 일이 없어진다고 해도 그런 현실을 받아들일 자세가 되어있습니다. 그러나 이 글에서 자동화란 사람을 완전히 대체하는 로봇을 얘기하는 것은 아닙니다.

데이터 마이닝이라는 파트에서 일하다 보니 사람들은 데이터 마이닝을 좀 경외의 대상으로 생각하는 것같습니다. 뭔가 복잡하고 어려운 분야라고 생각합니다. 그래서 회사에서 데이터마이닝/분석을 한다고 말하면 데이터마이닝에 대해서 조금 더 관심을 보이기 전에 손사레를 치고 외면해버립니다. 그러고선 이제껏 편하게 해왔던 일로 돌아섭니다. 그런 두려움과 미신이 저같은 허름한 분석가를 (분석가의 역할을) 보호해주는 것같아 내심 안도하면서도 조금 씁쓸하기도 합니다.

어떤 측면에서 학계를 중심으로 발전시킨 데이터마이닝은 조금 복잡하기도 합니다. 일상에서 전혀 들어볼 수 없는 어려운 용어들로 가득 차있고, 하나의 개념이나 알고리즘을 이해하기 위해서는 선행해서 알아야 하는 지식이 한가득입니다. 그리고 어떤 측면에서는 연구가들은 일부러 더 어려운 용어를 만들어내고 간단한 설명도 복잡한 수식으로 표현하는 것같습니다. 학교에서 농담삼아 얘기했던 건데, 복잡한 증명문제를 그저 'It's trivial'이라고 말하고 증명을 생략하는 경우도 있습니다. 논문 하나를 이해하기 위해서 엮인 많은 논문을 읽어야 하고, 그 참조 논문들을 이해하기 위해서 또 엮인 것들을 읽어야 합니다.

사무실이 조금 추운 것같아서 건물 밖을 한 바퀴 돌면서 생각했습니다. 어쩌면 정작 사람들에게 필요한 기술은 정교하고 복잡한 알고리즘이 아닐 수 있다는 생각입니다. 서두에 말한 자동화도 그렇습니다. 내가 하고 있는 일을 완전히 대체하는 개념의 자동화가 아니라, 내가 하고 있는 일을 더 빠르고 편하게 도와주고 그렇게 해서 절약한 시간을 다른 곳에 집중할 수 있게 해주는 그런 종류의 자동화입니다. 

데이터 기반의 기획이 그렇습니다. (당장은) 아무리 좋은 알고리즘을 개발하더라도 기획자의 역할을 완전히 대체할 수 없습니다. 그러나 적당한 데이터 가공만으로도 그들의 잡다한 수고를 덜어줄 수가 있습니다. 기획자가 자신의 일의 50%이상을 자동화해야 한다는 의미도 어떤 제품/서비스를 만들어낼 것인가만 고민할 것이 아니라, 어떤 도구나 데이터가 있으면 내가 만들고자 하는 서비스/제품을 미리 검증해보고 상상하는데 도움이 될 수 있을까를 고민하는 것입니다. 그런 고민으로 자신의 일을 경감시켜줄 데이터나 도구를 마련한다면 2년 후에는 한차원 높은 기획자가 돼있으리라 생각합니다.

서비스를 준비하면서 여러 논문을 다시 찾아봅니다. 참 읽기 어렵습니다. 인트로까지는 쉽게 읽게는데 그 이후는 내가 논문을 읽고 있는 것인지 아니면 그냥 시간을 보내는 것인지 분간할 수 없는 때가 종종 있습니다. 이런 경험이 쌓여갈수록 내가 만들어내는 알고리즘도 복잡한 수식으로 이뤄진 거창한 무언가가 돼야 한다는 헛생각에 사로잡히기도 합니다. 그러다 보니 간단하게 해결할 문제를 이것저것 새로운 요소들을 갖다붙여서 복잡한 솔루션으로 만들어 냅니다. 마치 알고리즘/솔루션의 복잡함이 나의 위대함을 나타내는 증거인양... 그렇게 해서 큰 효과가 있다면 다행이지만, 그저 간단한 수식이나 몇몇 요소로 해결했을 때보다 더 나아졌다는 보장이 없는 경우가 많습니다. 그래서 간단한 기술, 쉬운 알고리즘이 더 사람에게 필요한 것일 수 있다는 생각으로 다시 돌아왔습니다.

요즘 빅데이터 기술로 인해서 난해한 문제나 알고리즘을 사용할 수 있게도 됐지만 (예를들어 최근 많은 관심을 받는 딥러닝 Deep Learning같은), 오히려 간단한 더하기, 빼기, 곱하기, 나누기 즉 사칙연산만으로도 많은 문제들이 해결되고 있습니다. 그리고 간단한 알고리즘/연산으로 빠른 시간에 해결하는 것이 조금 더 정확한 예측보다 더 유용할 때가 많습니다. 엔지니어링이란 복잡함을 감추는 과정이지만 그것 자체도 굳이 복잡할 필요는 없습니다.

글을 적으면서 여러 논점이 섞였습니다. 기술은 필요에 따라서 복잡해질 수 있습니다. 그 복잡함을 재고하고 정작 인간에게 필요한 것이 뭘까를 고민하게 됩니다.

기술은 인간을 대체하는 것이 아니라 보완합니다. 미리 겁먹을 필요는 없습니다.

==
페이스북 페이지: https://www.facebook.com/unexperienced


댓글을 달아 주세요

복잡성과 미래

Gos&Op 2013.04.02 09:15 |
Share           Pin It

일전에 '아키텍트가 필요하다'는 글에서 소개했던 <소프트웨어 아키텍트가 알아야 할 97가지> 책에서 Neal Ford의 "본질적인 복잡성을 단순화시키고 예상치 못한 복잡성을 줄여라'라는 글에서 '아키텍트의 의무는 문제에 담긴 본질적인 복잡성을 해결하면서 우연한 복잡성을 더하지 않는 것이다.'라는 구절로 마무리 지었습니다.

자연의 법칙, 즉 열역학 제 2법칙은 시간이 경과할 수록 엔트로피가 증가한다고 말합니다. 시간의 경과에 따른 엔트로피의 증가는 자연의 순리입니다. 그런 복잡성의 증가는 필연적으로 미래의 불확실성을 증가시킵니다. 불확실성은 곧 불안정을 뜻하고 미지를 의미합니다. 우리 앞에 펼쳐진 경험하지 못했던 과거들이 미래라는 이름으로 포장되어 우리 앞에 나타날 것입니다. 그런 경험해보지 못한 과거를 잘 극복하기 위해서는 어떻게든 엔트로피의 증가를 최대한 지연, 억제시켜야 합니다. 그러기 위해서는 우리에게 주어진 문제들의 본질을 잘 파악해서 불필요함을 최대한 제거해야 합니다. 불필요함이란 결국 불확실성과 우연성을 부추기는 역할을 하기 때문입니다. 그러지 못한다면 앞으로 나타날 작은 우연에 의해서도 돌발 상황이 발생할 개연성이 높아지고, 결국 우리는 적절히 대처하지 못하고 대형 사고로 이어질 것입니다.

우리가 미래를 잘 예측할 수만 있다면 우리는 미래를 바꿀 수가 있습니다. 어쩌면 이런 환상은 수많은 헐리우드 영화가 우리에게 심어준 환상인지도 모릅니다. 지구를 향해 날라오는 운석을 미리 부수겠다는 아마겟돈의 내용이나 딥임팩트의 내용이 그렇습니다. 미래를 볼 수 있기에 잘 대응하면 해결할 수 있으리라는 그런 낙관이 우리의 잠재의식 속에 깊이 자리잡고 있습니다. 그런데 저는 최근에 더욱 부정적인 생각에 사로잡혀있습니다. 스스로 '경험해지보지 못한 과거'라는 표현을 사용하듯이, 우리의 미래는 이제까지의 우리의 경험과 지식과는 전혀 맞지 않은 시대가 될 것같습니다. 단지 최근의 경제불황 때문만은 아닙니다. 우리 주위를 둘러싸고 있는 산업과 우리의 생활패턴이 근본적으로 바뀌고 있다는 것을 느낍니다. 1000년 전의 우리의 생활상은 알 수 있지만 1년 뒤의 저의 모습을 절대 상상할 수가 없습니다. 그런 의미에서 1000년 전의 인류가 더 똑똑했습니다. 그들은 적어도 100년 뒤의 인류의 모습은 알고 있었습니다. 그러나 지금은 10년, 1년 뒤의 모습을 상상할 수조차 없습니다. 상상은 하더라도 그대로 될 수가 없습니다.

하루에 10시간, 12시간씩이나 책상에 앉아서 공부했던 것들은 대학입시와 함께 더 이상 쓸모가 없어졌습니다. 그 이후 대학과 대학원에서 배웠던 지식도 현재 제가 생활하는데 전혀 도움을 주지 않습니다. 물론 대학교육을 통해서 알게 모르게 몸으로 익힌 가치관/세계관이 지금 마주치는 많은 문제들과 현상들을 이해하는데 도움을 주고 있습니다. 그러나 적어도 10년 넘게 머리를 싸매면서 습득했던 그 지식이 현재의 제 삶에 실질적인 해결책을 제공해준다고는 생각지 않습니다. 물론 업무적 특성상 사칙연산이나 영어단어는 도움이 되기도 합니다. 애빈 토플러가 말했다는 '대한민국의 학생들은 10년 뒤에 존재하지도 않을 직업을 위해서 매일 12시간 넘게 공부하고 있다'라는 의미를 제가 지금 몸소 느끼고 있습니다. 고등/대학교육을 부정하는 것은 아니지만, 시대의 흐름에 벗어났음은 분명합니다. 더욱 기초/핵심을 파고들고 그리고 그것들을 현실과 연결시키는 연구 및 교육이 이뤄지지 않는 이상은 우리는 계속 복잡성과 엔트로피만 증가시킬 것이 뻔합니다.

역사가 반복되는 이유는 망각하기 때문이다라는 말이 있습니다. 잘못된 사람을 국가 지도자로 선출하는 것이 계속 이어지고, 여전히 친일의 망령이 살아활개치고 있고, 전쟁의 긴장과 소식은 계속 이어집니다. 정치 공무원의 부정부패 뉴스나 연예계의 마약 도박 뉴스, 기업계의 부당거래 소식, 그리고 이어지는 사건사고 뉴스가 끊이지 않는 것도 모든 사건사고들이 그 순간의 이벤트로 끝나버리고 경각심이나 교훈을 얻지 못하기 때문입니다. 그런 의미에서 역사의 망각과 반복은 설득력이 있는 말입니다. 그러나 저는 감히 '앞으로 역사는 절대 반복되지 않는다'고 주장합니다. 역사의 주체가 인간이기에 발생하는 반복들을 얘기하는 것이 아닙니다. 우리 각자가 앞으로 경험할 모든 상황들이 어쩌면 과거에 전혀 일어나지 않았던 사건들의 연속이라는 의미입니다. 1000년 전에 농부의 자식은 거의 대부분 농부가 됩니다. 그러나 지금 그리고 앞으로 부모와 자식이 직업이 같을 확률이 얼마가 될까요? 직업이 같다고 하더라도 같은 일 또는 같은 환경에서 일할 가능성이 있을까요? 지금 내 경험이 우리 자식들에게 전혀 도움이 되지 못하는 그런 미래가 지금의 현재입니다.

시간은 흐르고 지금의 상황은 더욱 심각해질 것입니다. 그렇기에 서두에 보여준 문장을 읽으면서 떨림을 느꼈습니다. 불확실할수록 더욱더 본질에 충실해야 합니다. 현상은 급변하겠지만 본질은 많이 바뀌지 않습니다. 역사의 반복은 본질의 유지에서 기인합니다. 그러나 현상이 바뀌면 결국 본질도 바뀌게 됩니다. 역사의 불연속은 또 그래서 발생합니다. 그런 불연속의 결과는 더 심한 불확실과 복잡성을 일으킵니다.

(2013.03.25 작성 / 2013.04.02 공개)

P.S., 만우절 다음날 제주는 거짓말처럼 완전 안개에 둘러쌓여있습니다.

댓글을 달아 주세요