이전 글들에서 추천 시스템과 관련된 기본적인 사항들은 대부분 다룬 듯합니다. 실서비스에서 추천 시스템이 어떻게 적용되었는지 예시를 들어보겠습니다. 추천 알고리즘 자체도 복잡하지도 않고 적용가능한 방법이 뻔해서 쇼핑하우를 조금만 사용해보시면 어떻게 적용되었는지 쉽게 유추가 가능합니다. 이 글에서는 앞서 설명드린 알고리즘들이 어떻게 적용되었는지를 간략히 보여줄뿐, (여러 이유로) 상세 내용을 다룰 수 없음을 양해바랍니다.
쇼핑하우는 포털 다음에서 제공하는 쇼핑메타검색 서비스입니다. 예전에는 D&shop이라는 쇼핑몰도 직접 운영했지만, 지금은 여러 쇼핑몰들의 상품 데이터를 가져와서 상품을 찾고 가격비교를 해주는 서비스만 제공하고 있습니다. 현재 다양한 곳에 추천 상품들을 배치하려고 준비중이지만, 시작은 쇼핑하우에서 검색했을 때 하단에 상품조회 이력을 바탕으로 관련/연관 상품들을 제공해주고 있습니다. 검색 페이지에서는 사용자의 의도에 맞는 검색결과를 제공해줌으로써 필요를 채우는 것이 맞지만, 검색의 본래 의도와는 조금 다른 디스커버리형 추천 상품도 함께 노출하고 있습니다.
기존에 상품 조회 이력이 없는 콜드스타트의 경우에는 검색어나 노출된 상품들의 카테고리 정보를 활용해서 여러 인기 상품들을 노출하고 있습니다. 특정 브랜드나 상품명을 검색했을 때는 기존의 쇼핑검색제안의 키워드를 이용해서 다양한 형태의 인기 상품/브랜드를 제시해주고 있고, 카테고리 검색 등에서는 관련 카테고리의 인기상품을 노출하고 있습니다. 관련 카테고리는 앞서 설명했던 아이템기반CF를 그대로 활용한 것입니다. 각 상품에 연결된 카테고리정보를 관련상품을 뽑듯이 바로 적용을 한 것입니다. 그런데 간혹 관련카테고리가 적은 경우가 발생하는데 (커버리지문제), 이 때는 상위 카테고리의 다른 하위 카테고리 (즉, 형제카테고리)를 더미로 제공해주는 CBF 방식으로 해결했습니다.
최근에 상품을 클릭했더라면 '최근본상품'이라는 이름으로 그들의 연관상품들을 제공해주고 있습니다. 연관상품은 당연히 아이템기반CF로 뽑혀졌습니다. 연관성의 정확도 문제도 있었지만, 가장 큰 문제는 여전히 낮은 커버리지였습니다. 인기가 있는 상품들은 다양한 연관상품들이 제공되고 있는데, 그렇지 않은 상품들은 연관상품이 전혀없거나 소수만 추천되는 문제가 발생했습니다. 그래서 CBF 방법을 묶어 하이브리드 추천을 진행했습니다. 대략 이런 질문에 대한 답들을 이용했습니다. 같은 카테고리에 속하는 제품은 연관상품이지 않을까? 같은 전문/소호몰에서 판매하는 제품들은 연관되어있지 않을까? 같은 브랜드나 제조사를 가지는 경우는 어떻게 되지? 등의 상품 메타데이터를 활용해서 연관성을 확장했습니다. 그리고 상품별로 설명 텍스트가 존재하기 때문에, 이들에 사용된 키워드를 가지고 클러스터링하는 것도 가능합니다. 또 다른 문제는 인기상품의 경우 다른 많은 상품들에 공통적으로 추천상품으로 연결되어 과다추천으로 인한 피로도가 증가한다는 문제가 발생했습니다. 이런 경우, 연관성 점수가 일정값을 넘어서면 (즉, 연관도가 입증된 경우) 임의성을 부여하는 방식으로 랭킹 등을 조정했습다.
지난 글에서 소개했듯이, 최종 추천 목록은 연관성에 더해서 다양한 비즈니스 로직들이 가미됩니다. 최근본상품이 여성의류인데, 핸드폰이 추천된다면 다양성/우연성 측면에서는 이해할 수 있지만, 그래도 너무 생뚱맞아 보입니다. 그렇다면 카테고리를 이용해서 필터링하거나 가중치를 반영해서 어느 정도 해결이 가능합니다. 비슷한 상품이라면 가겨이 비싼 것보다 더 싼게 효과가 있을 것입니다. (그러나 가격 요소는 제외했습니다.) 상품이미지가 더 깔끔한 것이 유저들의 주목을 더 받을 것이고, 또 가격비교가 가능한 묶음상품이 개별상품보다 더 활용도가 높을 것입니다. 이런 종류의 쇼핑 서비스의 경험을 추천에도 어느 정도 녺여냈습니다.
개인별로 정리된 상품 리스트를 추천해주는 완전한 개인화는 현재 버전에서는 적용되어있지 않습니다. 개인화는 여전히 풀어야할 문제가 있습니다. 기술적인 부분보다는 프라이버시 등의 법적인 문제도 있고, 이를 받아들이는 유저들의 인식의 문제도 있습니다. 현재 버전에서는 특정 카테고리에 한해서만 카테고리별 (반/세미/슈도) 개인화가 적용되어있습니다. 그외에도 다양한 것들이 논의되고 있지만, 풀어야할 것들도 여전히 남아있고 세부정보를 개인 블로그에 남기는 것은 문제의 소지가 있기 때문에 생략하겠습니다.
추천시스템 전체 목록
- 추천 시스템과의 조우 (PR시리즈.1)
- 추천 시스템을 위한 데이터 준비 (PR시리즈.2)
- 추천대상에 따른 추천 시스템의 분류 (PR시리즈.3)
- 알고리즘에 따른 추천 시스템의 분류 (PR시리즈.4)
- 추천 시스템을 위한 유사도 측정 방법 (PR시리즈.5)
- 추천 시스템의 성능 평가방법 및 고려사항 (PR시리즈.6)
- 추천 시스템에서의 랭킹과 필터링 문제 (PR시리즈.7)
- 추천 시스템의 쇼핑하우 적용예 (PR시리즈.8)
- 개인화 추천 시스템에 대하여 (PR시리즈.9)
- 추천 시스템의 부작용 - 필터버블 (PR시리즈.10)
- 추천 시스템의 레퍼런스 (PR시리즈.11)
- 추천 시스템에 대한 잡다한 생각들 (PR시리즈.12)
- 추천 시스템을 위한 하둡 마훗 사용하기 (PR시리즈.13)
- 추천 시스템에 대해서 여전히 남은 이야기들 (PR시리즈.14)
==
페이스북 페이지: https://www.facebook.com/unexperienced