본문 바로가기

데이터과학

(12)
현업 데이터 과학자가 되려는데 굳이 이런 것까지 공부해야 합니까? 답글로 달기에는 글이 길어질 듯해서... (극히 개인적인 의견이니 그냥 참고만...) 딥러닝 기술을 바이오 데이터에 적용하는 걸로 석사를 졸업했다. 나는 취업해서 그냥 데이터 사이언티스트가 되고 싶다. 실무자가 되기 위해서 굳이 알고리즘의 수식을 유도하고 코드를 구현하는 걸 공부해야 하나? 머신러닝 이론이 실무에 그대로 활용되는가? 그냥 데이터 다루는 법이 더 중요하지 않나? 소프트웨어 엔지니어 수준의 개발 지식과 기술이 필요한가? 첫 줄 요약. 당장은 필요 없다. (일단 취업된다는 가정 하에) 하지만 레벨업을 위해선 미리미리 준비해야 한다. (언젠가 해야 한다면 어릴 때… == 취업 후에라도) 데이터 과학자도 여러 종류가 있다. 가장 하드코어 하게는 인공지능 연구실로 진학해서 더 나은 새로운 알고리즘을..
온라인 A/B 테스트 새로운 알고리즘/모델을 실 서비스에 적용하기 전에 다각도로 실험을 반복해서 검증하고 확인하는 게 중요하다. 과거의 이력 (LOG) 데이터로 오프라인 테스트를 통과하면 다시 서비스 적용 전에 온라인 테스트를 거친다. 오프라인 테스트는 모델 자체의 적합도를 검증하는 과정과 이를 통한 서비스의 성능 (e.g., 광고에서는 CTR이나 매출 등)을 시뮬레이션하는 과정으로 나뉜다. 모델 적합도 검사는 보통의 데이터 과학에서 수행하는 학습과 검증/테스트 데이터를 분리해서 강건하고 정확한 모델을 구축하는 것이고, 성능 시뮬레이션은 가상의 환경에서 LOG를 replay 하며 신규 모델이 기존보다 더 나은지를 체크한다. 오프라인 시뮬레이션은 많은 제약이 있다. 실제 환경을 완벽하게 모사하지 못할 뿐만 아니라, LOG 기록..
[상담] 데이터과학 대학원에 가고 싶은데 어떻게 하면 좋을까요? 아래처럼 (제가 요약한 것임) 현재 의용공학 4학년생의 고민글을 페메로 받았습니다. 원하는 바를 짧게 해결해줄 수는 없겠지만 나름 제 생각을 적겠습니다. 순전히 저의 개인적인 경험과 지식을 바탕으로 적는 글이니 각자의 상황에 맞게 취사선택하기 바랍니다. 의용공학과 4학년생입니다. 졸업과제로 질병 발생 예측 분석을 하면서 데이터과학에 관심을 갖게됐습니다. 확률통계는 수강했고 코딩은 원래 좋아해서 분석 프로그래밍에 별 어려움은 없습니다. 1년 정도 유급해서 통계, 분석 과목을 더 수강해서 학사 학점을 높여 대학원에 진학하고 싶습니다. 학교 경영학과에 데이터마이닝을 하는 연구실이 있다고 해서 알아보고 있고, 현재 학점으로 다른 학교 대학원에 진학할 수 있을지 의문입니다. 학교 내에 적당한 연구실/교수님이 없다..
빅데이터 시대는 갔다. VentureBeat의 기사를 읽고 글을 적습니다. (참고. Big data is dead. What's next?) 언제나 기술용어가 마케팅용어로 변하는 시점이 되면 죽음 death이라는 단어가 등장합니다. 마케팅의 탄생 시점이 늘 기술의 사망 시점과 묘하게 겹치는 것같다. 인터넷만 국한시켜 생각해보면, 한 때 웹2.0이 기술용어인가 마케팅용어인가를 두고 논쟁이 벌어졌습니다. 그런 논쟁은 기술이 번성하고 이제 마케팅이 시작되는 시점에 벌어졌습니다. 그리고 최근에는 소셜이 그런 과정을 거쳤고, 이제는 클라우드나 빅데이터가 같은 운면에 접어들었습니다. 늘 그랬습니다. Geek의 손을 떠난 새로운 제품/서비스는 결국 마케터들의 손에 전달됩니다. 그 순간 매번 기술의 죽음이 언급됩니다. 마케팅이야 말로 기술과..