다음의 모바일 시작 페이지(이하, 엠탑)에 노출되는 '나를 위한 추천 뉴스'라는 서비스를 오픈한지도 이제 약 10개월이 다 되어 갑니다. 서비스를 오픈한 후에 서비스를 준비하면서 그리고 오픈하면서 느꼈던 소감을 조금 우울하게 적었고 (참고. '나를 위한 추천 뉴스' 후에), 약 두달 후에 이 글을 참조한 블로그 글을 본 후에 조금 방어적인 글을 다시 적었습니다. (참고. '나를 위한 추천 뉴스' A/S)
서비스를 운영한지 1년정도 된 시점에 다시 서비스를 리뷰해보는 것도 좋을 것같습니다라고 글을 적었지만, 어제 서비스 장애가 발생해서 뉴스 추천 또는 개인화가 효과가 있는가?에 대한 답을 얻은 것같아서 공유하려고 합니다.
뉴스 추천 또는 뉴스 개인화를 준비하면서 주변에서 가장 많이 들은 내용은 뉴스는 개인화하면 안 된다는 얘기였습니다. 적당히 취향이 다른 그룹별로 다른 뉴스를 제공해주는 것은 의미가 있어도, 개인별 맞춤 뉴스는 어려울 것이다라는 늬앙스였습니다. 특히 대한민국 사람들은 자신이 보고 싶어하는 뉴스보다는 남들이 많이 본 뉴스에 관심을 가진다라는 그런 속설을 뉴스 서비스를 기획/개발하는 사람들도 다분히 가지고 있었습니다. 오픈 초기에 PV가 제대로 나오지 않아서 그런 속설을 확인한 것같아서 실망도 했지만, 기대한 PV를 내지 못했던 것은 그런 속설이나 추천 데이터/알고리즘의 문제보다는 노출 영역이 더 큰 영향을 줬습니다.
아래의 그래프는 지난 10개월동안의 일간 PV의 변화를 보여줍니다. (대외비로 절대 수치는 생략) 오픈 초기에는 다소 실망스러웠지만 차츰 PV가 증가하는 것을 볼 수 있었습니다. 첫오픈에서 엠탑의 두번째 탭에서 하단에 위치했기 때문에 많은 고객들이 서비스의 존재 자체도 확인하기 어려웠습니다. 그래서 PV가 다소(? 많이) 낮았다고 이유를 댔습니다. 사람들이 서비스를 인지하고 점차 사용량이 늘어나던 시점에 엠탑의 3번째 탭으로 밀려나면서 다시 PV 상승이 잠시 주춤했고, 몇 달 후에 개별 기사뷰 하단에 개인화 뉴스가 제공되면서 또 PV상승이 주춤했습니다. (아래 그래프는 엠탑의 PV를 보여주기 때문에 개별 기사뷰에서 소비되는 PV는 표시되지 않음) 중간에 몇번의 파라메터 최적화 등의 작은 개선도 있었고, 그렇게 10개월을 보낸 최근에 가장 많은 일간 PV를 기록하고 있었습니다.
그런데, 그래프의 마지막에 보시듯이 어제 PV가 급격하게 줄어들었습니다. 지난 주말에 데이터 센터 변경 등의 이유로 일부 데이터가 제대로 연동되지 못했지만, 너무 급격하게 떨어져서 처음에는 엠탑의 PV 로그를 수집하는 서버에 문제가 발생한 줄 알았습니다. 그런데 제게 추천되는 뉴스 목록을 확인하니 뭔가 이상한 것을 발견했습니다. 저는 주로 해외축구와 IT뉴스를 많이 보기 때문에, 추천뉴스도 대부분 그런 것입니다. 특히 지난 밤에는 챔피언스리그가 열렸는데, 관련 기사가 한건도 추천되지 않았다는 점이 너무 이상했습니다. 로그 수집기에 문제가 있는 것이 아니라, 추천 엔진에 문제가 있다는 것을 직감했습니다. 실제 확인 결과 개인별 추천 기사가 노출되고 있지 않고, 최신 기사 위주의 디폴트 (콜드스타트) 결과가 노출되고 있는 것을 확인했습니다.
불행 중 다행인 것은 이번 장애를 통해서 추천 기사가 충분히 효과가 있다는 것을 확인했다는 점입니다. 앞서 말했던 속설도 뒤집을 수 있고, 향후에 다양한 서비스에서 데이터를 기반으로 한 추천 및 개인화를 더 적극적으로 활용할 수 있다는 가능성을 확인할 수 있었습니다. 문제를 수정한 후에 다시 PV가 예전과 비슷하게 올라가는 것을 확인했습니다.
아래의 그래프는 지난주 (3/11, 파란선)와 어제 (3/17, 노란선)의 10분단위 PV와 오늘 (3/18, 녹색 막대 그래프)의 PV를 표시한 것입니다. 어제 오후 4시경 부터 PV가 전부대비 1/3 ~ 1/2로 줄어든 것을 확인할 수 있습니다. 줄어든 PV는 문제가 해결된 12시경까지 이어졌습니다. 즉 개인화/추천뉴스와 비추천 (또는 최신) 뉴스 간의 PV가 최소 2배 차이가 난다고 단순 결론을 내릴 수 있습니다. 장애 복구 후에도 한동안 평소보다 다소 낮다가, 15:30 이후로 다시 평소 PV를 회복한 것은 다른 장애 상황이 계속/복구됐기 때문으로 유추됩니다. 그런데 장애 기간동안 의외로 많은 PV가 발생했다는 점이 조금 의아합니다. 정확히 확인/검증이 필요하겠지만, 대략 유추해보면 디폴트로 노출된 뉴스 중에서도 고객이 좋아할 뉴스가 존재했을 수도 있고, 이 영역의 기사는 고객이 읽을 가치가 있는 맞춤형이라는 인식이 생겨서 믿고 클릭했을 수도 있고, 어쩌면 헤비 유저의 경우 다른 영역 (엠탑의 1탭이나 2탭 또는 3탭의 많이본뉴스 등)에서 소비하지 않은 새로운 뉴스가 추천 영역에 노출됐기 때문에 클릭했을 수도 있습니다.
서비스에서 장애는 절대 유쾌한 경험이 될 수가 없지만, 이번 장애를 통해서 추천/개인화가 뉴스에서도 효과가 있다는 것을 확인할 수 있었습니다. 추천 데이터와 알고리즘을 더 정교화하고, 추천에 대한 고객의 인식을 높인다면 여전히 추천은 많은 가능성과 개선의 여지를 가지고 있습니다.
==
페이스북 페이지: https://www.facebook.com/unexperienced
반응형