추천 (10) 썸네일형 리스트형 딥 개인화에서 해결해야할 문제들... 지난 글에서 워드임베딩에 대한 생각을 정리하고 딥러닝과 결합해서 개인화 추천에 어떻게 적용할 것인가에 대한 간단한 스케치를 올렸습니다. (참고. 워드임베딩: http://bahnsville.tistory.com/1139, 개인화 추천: http://bahnsville.tistory.com/1141) 오늘은 그런 기술을 딥 개인화 시스템에 적용할 때 예상되는 문제점들에 대해서 생각나는대로 정리하려 합니다. 지난 글에 제시한 딥 개인화 아키텍쳐를 간단히 설명하면 다음과 같습니다. 텍스트, 이미지, 또는 웹로그 등의 유저 및 아이템 정보/이력에 포함된 개별 항목들을 워드임베딩 기술로 벡터화한다. 유저/아이템의 정보를 RNN이나 CNN 등으로 정형화된 벡터로 압축한다.정형화된 유저벡터와 아이템벡터의 관계를 유저.. 워드 임베딩과 팩토라이제이션, 그리고 개인화 Word Embedding, Factorization, and Personalization 여러 가지 개념이 혼재돼있습니다. 단어의 원래 뜻과 다르게 해석한 여지가 있습니다. 이 글에서 설명한 것이 절대적으로 맞다고 생각하면 위험합니다. 저는 제게 필요한 것으로 아전인수격으로 정의, 사용했을 개연성이 높음을 미리 경고합니다. 한글화된 용어를 별로 좋아하지 않지만 필요에 따라서 (국내에서 통상적으로 사용하는 경우) 일부 용어는 한글화했습니다. 2017년은 나름 공부하는 해로 정하고 그동안 미뤄놨던 논문들을 읽기 시작했습니다. 벌써 4주차가 됐는데도 여전히 논문을 읽고 있으니 지금의 흐름은 나름 오래 갈 것 같습니다. 한동안은 업무에 필요하거나 주목받은 논문 한두편을 짧게 읽은 적은 있지만, 연구실에 있을 .. '나를 위한 추천 뉴스' A/S 2 다음의 모바일 시작 페이지(이하, 엠탑)에 노출되는 '나를 위한 추천 뉴스'라는 서비스를 오픈한지도 이제 약 10개월이 다 되어 갑니다. 서비스를 오픈한 후에 서비스를 준비하면서 그리고 오픈하면서 느꼈던 소감을 조금 우울하게 적었고 (참고. '나를 위한 추천 뉴스' 후에), 약 두달 후에 이 글을 참조한 블로그 글을 본 후에 조금 방어적인 글을 다시 적었습니다. (참고. '나를 위한 추천 뉴스' A/S) 서비스를 운영한지 1년정도 된 시점에 다시 서비스를 리뷰해보는 것도 좋을 것같습니다라고 글을 적었지만, 어제 서비스 장애가 발생해서 뉴스 추천 또는 개인화가 효과가 있는가?에 대한 답을 얻은 것같아서 공유하려고 합니다. 뉴스 추천 또는 뉴스 개인화를 준비하면서 주변에서 가장 많이 들은 내용은 뉴스는 개인.. 페이스북 뉴스피드의 변화 최근 페이스북 뉴스피드를 보면 몇 가지 변한 점을 발견할 수 있다. 나쁜 점도 있고 좋은 점도 있다. 먼저 나쁜 점부터 집어 보면 (물론 개인의 사용 패턴 그리고 관점/철학의 차이에 따른 불편함이다.) 페이스북이 1월에 뉴스피드 노출 알고리즘을 개선했다. (참고. 페북 뉴스피드, 페이지보단 친구 소식 잘 띄게) 블로터 기사처럼 현재 뉴스피드는 친구의 글/사진과 페이지 (팔로잉하는 사람의 글/사진 포함)를 함께 보여줬는데, Most Recent 옵션을 사용하면 모든 글을 시간 역순으로 보여줬다. 그런데 뉴스피드 알고리즘을 변경한 후에는 뉴스피드만으로는 모든 글을 확인할 수 없다. 물론 이전에도 Top Stories를 선택하면 Edge Rank로 알려진 알고리즘에 의해서 많은 라이크나 댓글이 달린 기사를 우.. Like 라이크 최근에 사내에서 추천 시스템과 관련해서 전파교육 및 회의를 하면서 다양한 팀의 사람들과 만나고 있다. 단순히 내가 알고 있는 추천 시스템에 대한 소개를 하는 자리였지만 다양한 팀의 사람들을 만나다 보니 자연스레 그들이 생각하고 있는 이슈들을 듣게 되었다. 각자 페이스북에는 like 버튼이 많이 눌려지고 다양한 댓글들이 달리는데, 운영하는 서비스에서는 생각만큼 그런 종류의 추천/공감 버튼을 사용자들이 잘 누르지 않는다고 한다. 구체적인 수치를 밝힐 수는 없으나 담아두기 기능도 몇몇 헤비유저들만 사용하고 하루에 발생하는 건수도 생각보다 많지 않고, 공감/추천 버튼도 인터넷 사용량 (UV/PV)에 비하면 초라한 수준이라고 한다. 왜 그럴까? 일반 인터넷 서비스에서는 페이스북이나 다른 SNS만큼 라이크나 댓글이.. 추천 시스템을 위한 데이터 준비 (PR시리즈.2) 두번째로 추천에 사용되는 데이터에 대해서 간단히 설명하겠습니다. 추천방식에 따라서 필요한 데이터가 달라지지만, 가장 일반적인 내용을 설명하고 추후에 특정 알고리즘이나 방식에 맞는 데이터는 별도로 설명하겠습니다. (특정 용어가 특정/다른 상황에서 적절하지 않을 수도 있습니다.) 추천의 기본 원리는 과거는 곧 미래다입니다. 그렇기에 추천을 위해서 필요한 데이터는 유저들의 행위 behavior 기록입니다. 상품 구매 이력, 이벤트 참석 이력, 기사를 공유했거나 like를 한 이력, 영화나 드라마를 보거나 평점을 남긴 이력 등의 모든 것들이 추천시스템에서 활용합니다. 그런 모든 이력들이 제품이나 컨텐츠에 대한 사용자의 선호/관심을 나타내는 지표로 사용합니다. 좀 더 구체적으로 쇼핑 추천을 예로 들겠습니다. A라.. 관심 생명 주기 두가지 이야기부터 시작해보자. 첫번째는 최근에 진행 중인 쇼핑 추천 서비스와 관련이 있다. 아마존을 사용해본 사용자라면 다 알겠지만 아마존 홈페이지에 접속하면 최근에 구매했거나 조회해본 상품들이 첫화면에 나열되고 그것과 관련이 있는 상품들을 추천해준다. 일종의 개인화 추천이다. 구매나 조회는 나의 관심사를 암묵적으로 보여주고, 그것을 바탕으로 새로운 상품을 추천해주는 것은 직선적이다. 그런데 그런 상품을 언제까지 추천을 해줘야할까? 만약 1년 전에 마지막으로 아마존에 접속해서 책 한권을 살펴봤다가 1년만에 재접속했는데 여전히 그 책과 관련 도서를 보여준다면 제대로된 추천이라고 볼 수가 있을까? 두번째는 예전부터 알고는 있었지만 직접 경험해보니 좀 거시한 거다. 어떤 여성 의류 쇼핑몰이 있다. 그런데 최근.. 잉여와 잉여자, 그리고 검색 Abundance & Surplus 여섯번째 글입니다. 글의 시작은 재미있는 검색을 만들자였습니다. 그러다보니 바쁜 현대인들에게 잠깐의 기쁨을 줄 수도 있겠으나, 그것보다는 잠시라도 여유를 찾은 이들에게 검색이 어떤 혜택을 줄 수 있을까로 이야기가 흘러갔고, 재미있는 검색을 논하기 전에 검색이 줄 수 있는 재미는 어떤 것이 있을까?라는 물음에 이르렀습니다. 그런데 이 시점에서 핵심된 내용이 정리되지 못하고 지난 다섯편의 글을 적게 되었습니다. 그래서 이야기 논의흐름의 맥이 될 '잉여는 무엇이고 잉여자는 누구인가?'에 대해서 생각해야 합니다. 내가 대상으로 삼고 싶었던 그들이 누구이며 그들의 속성이나 성향을 알지 못하면서 그들에게 재미를 주겠다는 어설픈 논의는 핵심을 벗어날 수 밖에 없습니다. 먼저 지난 다섯편의 논의는 다음과 같습니다. 1.. 이전 1 2 다음
