본문 바로가기

데이터

(13)
데이터 매니페스토: 데이터 기반의 실행조직 (새벽에 문득 잠에서 깨어 이 글을 적는다.) 최근 데이터 또는 데이터 기반 접근법에 대한 관심이 뜨겁다. 어쩌면 내가 밥벌어먹고 살려고 또 내 몸값을 올리려고 이런 표현을 사용/전파하고 있는지도 모르겠다. 관련 뉴스를 보면서 과연 데이터 기반의 실행조직이라는 것이 실체가 있는 것인지? 아니면 그들도 자기들을 세일즈하기 위해서 억지로 기사를 쏟아내고 있는 것은 아닌지? 또는 구글이나 몇몇 잘 나가는 기업들이 데이터를 가지고 돈을 잘 벌고 있으니 그걸 부각시키고 과대포장하고 있는 것은 아닌지? 등에 대한 의문이 들기는 한다. 그런 의심은 일단 뒤로 하고, 데이터가 공기처럼 편재하고 있다는 것은 사실이다. 많은 기업들이 스스로 좀 더 가치있는 데이터를 생산해내거나 고객들로부터 그런 데이터를 수집하려고 노력중..
추천 시스템을 위한 데이터 준비 (PR시리즈.2) 두번째로 추천에 사용되는 데이터에 대해서 간단히 설명하겠습니다. 추천방식에 따라서 필요한 데이터가 달라지지만, 가장 일반적인 내용을 설명하고 추후에 특정 알고리즘이나 방식에 맞는 데이터는 별도로 설명하겠습니다. (특정 용어가 특정/다른 상황에서 적절하지 않을 수도 있습니다.) 추천의 기본 원리는 과거는 곧 미래다입니다. 그렇기에 추천을 위해서 필요한 데이터는 유저들의 행위 behavior 기록입니다. 상품 구매 이력, 이벤트 참석 이력, 기사를 공유했거나 like를 한 이력, 영화나 드라마를 보거나 평점을 남긴 이력 등의 모든 것들이 추천시스템에서 활용합니다. 그런 모든 이력들이 제품이나 컨텐츠에 대한 사용자의 선호/관심을 나타내는 지표로 사용합니다. 좀 더 구체적으로 쇼핑 추천을 예로 들겠습니다. A라..
서비스 개발 방법론 지난 연말에 신규 서비스를 위한 기획회의에 참석한 직후에 적고 싶었던 글입니다. 어떻게 하면 사용자들을 만족시키는 좋은 서비스를 만들 수 있을까?에 대한 글을 적고 싶었습니다. 너무 당연한 일반론이지만 정리해두면 좋을 것같다는 생각을 했습니다. 당시에는 처음부터 제대로된 컨셉/기획안을 만들어서 빈틈없는 개발을 하거나 빠르게 개발하고 사용자들의 반응에 맞춰서 빠르게 수정보완하는 것에 대한 설명을 적을 예정이었습니다. 그런데 이 한문장이외에 덧붙일 내용도 없었기에 그냥 글을 적지 않기로 했습니다. 그런데 최근 몇 가지 더 생각나서 글을 완성시켜야겠다고 마음먹었습니다. 새로운 방법론이라기보다는 앞서 말한 기획중심의 개발과 개발중심의 기획을 확장/변형한 방법론입니다. 성공하는 서비스를 만들기 위해서 어떻게 해야..
지금 새로운 관점이 필요하다. 여전히 업무방황기를 거치고 있습니다. 어떤 일을 시작해야지 내년을 더욱 재미있고 알차게 보낼 것인가를 아직 정하지 못하고 있습니다. 주변에서 오고 가는 얘기들이 있지만 아직 정해진 것도 없고, 더우기 제가 마음 속으로 꼭 해봐야겠다는 일이 잘 생각나지 않습니다. 때가 되면 일이 생기고 또 길이 생겨서 이런 걱정을 거의 하지 않았는데 최근 1년동안은 간헐적으로 계속 같은 고민에 빠집니다. 현재는 데이터마이닝팀에 소속되어있기 때문에 이 글에서는 데이터분석에 초점을 맞춰서 글을 적을 예정입니다. 다음에 입사한지도 이제 만 5년이 다 되어갑니다. 5년 전에 입사를 위해서 지원서를 내고 면접을 볼 때는 어떤 생각을 가졌었는지 기억도 가물가물합니다. 당시에는 인터넷 회사에 들어와서 만들어보고 싶었던 것들이 몇 가지..
데이터 정보 지식 그리고 지혜 데이터, 정보, 지식 그리고 지혜를 어떻게 설명할 것인가? 통상적으로 데이터를 요약정리하면 정보가 되고, 그런 정보가 다시 정제되면 지식이 되고, 그런 지식이 누적되고 재활용되면 지혜가 된다고 들한다. 데이터를 깊이 파고드는 기술을 데이터마이닝 Data Mining이라하고, 정보를 찾는 과정을 정보탐색 Information Retrieval이라하고, 지식을 찾는 과정을 지식발견 Knowledge Discovery라고 한다. 그런데 지식의 다음 단계인 지혜를 얻는 방법에 대한 표현은 아직 없는 것같다. 통상적으로 이렇게 데이터, 정보, 지식, 그리고 지혜를 이해해도 무관하다. 그러나 더 쉬운 도식을 만들어보고 싶다. 정보는 데이터에서 나온다고 말했다. 그러나 데이터에서 나온 모든 것이 정보가 아니다. 일명..