본문 바로가기

빅데이터

(15)
[Q&A] 빅데이터 전공과 전망 블로그 방명록을 통해서 또 질문이 들어왔습니다. 개별적으로 답변할 수도 있지만 비슷한 고민/의문을 가진 분들을 위해서 공개적으로 글을 적습니다. 질문을 요약하면 아래와 같습니다. 1. 빅데이터 분야로 진출하기 위해서 인문학부생으로서 컴퓨터공학과와 통계학(수학) 중에서 어느 쪽으로 전과/복수전공하면 좋을까요? 2. '빅데이터'에 대한 부정적 시각도 많은데 관련된 미래 직업/산업에 대해서 어떻게 전망하시나요? 한줄 답변컴퓨터 공학과표지가 바뀐 고전인지 세련된 표지의 잡지인지는 책자을 열어봐야 안다. 그리고 고전도 시대정신을 따른다. 개인이 처한 모든 상황과 배경을 모르기 때문에 원하는 답변이 아닐 수도 있고, 또 여러 생각으로 길게 적다보니 중언부언할 수 밖에 없음을 양해바랍니다. 철저한 계획이 아닌 어쩌다..
데이터 과학자의 실체 지난주 금요일에 제주에서 대한인간공학회 춘계학술대회가 있었습니다. 프로그램을 준비하시는 분께서 '전문가 세션 > 빅데이터'에 발표해줄 연사가 필요하다고 해서 흔쾌히(?) 수락했습니다. 처음에는 단순히 다음이나 카카오에서 했던 다양한 분석 사례정도만 모아서 '카카오에서의 빅데이터 분석 및 활용' 정도로 발표하면 쉽게 될 거라 생각했습니다. 그런데 청자들이 데이터 분석을 담당하거나 적어도 프로그래머/개발자라면 쉬울 수 있는데, 대부분 인간공학 전공자들이라서 단순히 사례들만 모아서 장광설을 펼치면 죽도 밥도 안 될 것 같다는 두려움이 생겼습니다. 발표자료를 준비할 시간이 겨우 한달정도밖에 없었는데, 여러 고민을 하다가 인간공학을 전공하는 학생들에게도 도움이 될 수 있는 테스팅 방법론을 중심으로 준비하기로 마음..
[Q&A] 산업공학과 대학원에서 데이터마이닝을 전공하고 싶은 학생입니다 오랜만에 블로그 방명록을 통해서 들어온 질문에 대한 답변을 적어 봅니다. 질문을 대략 요약하면 다음과 같습니다. 인천에 있는 대학에서 경영학과 4학년으로, 산업경영공학을 복수전공해서 졸업할 예정이다. 제조업 물류 쪽에서 일하고 싶지만, (이런 쪽으로 진로를 정하기 위해서 컴공과보다는) 산업공학과 대학원에 진학해서 데이터마이닝을 전공하고 싶다. 실험계획이나 통계 관련 수업은 이미 들어서 기초적인 지식은 있지만, 겨우 MS SQL만 사용할 정도로 프로그래밍 쪽은 기초가 거의 없다. 그래서, 대학원에서 다뤄야할 기본 프로그래밍 언어는 어떤 것이 있고, 빨리 배우려면 어떻게 해야 할까요? 질문을 대략 요약한 것이라서 제가 답글로 남긴 내용은 위의 요약만으로는 조금 이해하기 어려울 수도 있지만, 짧게 남긴 답글을..
[책소개] 데이터는 언제나 옳다. 어쩌다 보니 책번역에 참여했습니다. 원제목은 'Data Just Right'인데, 번역서는 '데이터는 언제나 옳다'로 정해졌습니다. 그냥 '데이터는 항상 옳다'라고 가번역했는데, 저렇게 출판사에서 정했습니다. 아래는 옮긴이의 글을 다시 올립니다. 책에는 교정돼있지만, 원래의 느낌을 살리기 위해서 최초에 적었던 내용을 그대로 올립니다. 책 가격은 조금 비싼 듯도 하지만, 그건 제 영역 밖의 문제라...다음책: http://book.daum.net/detail/book.do?bookid=KOR9788998139551데이터는 언제나 옳다! 대규모 데이터 처리와 분석 실무국내도서저자 : 마이클 마누체흐리(Michael Manoochehri) / 정부환,류상호,염화음,이화경역출판 : 위키북스 2014.05.28상..
빅데이터, 하둡을 넘어... 며칠 전에 VectureBeat에 Guy Harrison이 적은 Why Hadoop projects fail -- and how to make yours a success라는 기사를 간단하게 정리했습니다. 전체를 번역하는 데는 무리가 있어, 큰 흐름에서 의역 및 생각을 추가했습니다. 자세한 내용은 원문을 참조하시기 바랍니다.--- 클라우드 컴퓨팅이 각광을 받으면서 빅데이터, 특히 하둡은 기업IT의 메인스트림으로 들어왔지만, 무분별한 실행은 애초의 기대/약속을 충족시키지 못하고 값비싼 실패, 소위 하둡행오버 Hadoop Hangover를 경험할 가능성이 높다. 빅데이터는 구글이나 아마존의 성공을 가능케했다. 단순히 차트나 레포트를 통한 실행결정을 하는 것이 아니라, 사용자 경험을 증진시키는 비즈니스 프로세..
빅데이터 시대의 웹디자인 데이터 분석을 업으로 하는 사람이 웹디자인을 논하는 것은 좀 주제넘은 것같고, 또 이 주제를 자세히 다루기 위해서는 많은 조사와 정리가 필요하기 때문에 이 글에서는 원론적인 선언만을 다루려 한다. 디자인이라는 것이 일종의 심미, 즉 눈에 보이는 아름다움을 다루는 것 (UI)이다. 그러나 스티브 잡스도 언급했듯이 최근에는 디자인의 기능적인 측면 (UX)도 중요시되고 있다. 그러나 겉으로 드러나는 UI나 겉으로 기능하는 UX에 더하여, 그것을 구성하는 데이터에 대한 인식도 필요하다. 여기서 말하는 데이터란 화면에 뿌려지는 정보뿐만 아니라, 이면에 존재하는 것 -- 소위 말하는 로그 데이터 --를 의미한다. 웹 아카이브에 들어가서 특정 사이트의 히스토리를 검색해보면 예전의 모습이 참 촌스럽고 사용성도 많이 떨..
인터넷 트렌드 정리. 그때와 지금 얼마 전에 KISTI에서 발표 요청이 들어왔다. 장소가 대전이고 발표일도 수요일이라 고민하는 사이에 이미 다른 발표자로 채워졌다는 소식을 듣고 결국 발표는 불발로 끝났다. 그런데 발표요청을 수락할까 말까를 고민하면서 이미 내 머리는 발표내용을 뭘로 할까?로 고민하고 있었다. 그래서 그때 생각했던 것이 아까워서 일단 발표자료를 만들기로 했고, 마침 다음 주에 팀워크샵에서 발표하기로 했다. 아래는 어제 밤에 정리한 1차 드래프트다. 전혀 새로운 주제를 가지고 발표할 수도 없으니 그냥 인터넷 및 데이터마이닝 트레드에 대한 내용을 준비했다. 2010년도에 모교 (포항공과대학교) 후배들과 울산대 학부생들을 위해서 이미 비슷한 주제로 발표를 했었다. 당시에는 8개의 C자로 요약한 인터넷 트렌드, 검색이야기, 그리고..
빅데이터 시대는 갔다. VentureBeat의 기사를 읽고 글을 적습니다. (참고. Big data is dead. What's next?) 언제나 기술용어가 마케팅용어로 변하는 시점이 되면 죽음 death이라는 단어가 등장합니다. 마케팅의 탄생 시점이 늘 기술의 사망 시점과 묘하게 겹치는 것같다. 인터넷만 국한시켜 생각해보면, 한 때 웹2.0이 기술용어인가 마케팅용어인가를 두고 논쟁이 벌어졌습니다. 그런 논쟁은 기술이 번성하고 이제 마케팅이 시작되는 시점에 벌어졌습니다. 그리고 최근에는 소셜이 그런 과정을 거쳤고, 이제는 클라우드나 빅데이터가 같은 운면에 접어들었습니다. 늘 그랬습니다. Geek의 손을 떠난 새로운 제품/서비스는 결국 마케터들의 손에 전달됩니다. 그 순간 매번 기술의 죽음이 언급됩니다. 마케팅이야 말로 기술과..