메타블로그나 검색엔진 등을 통해서 이 글이 머신런닝에서 말하는 EM (Expectation Minimization) 알고리즘에 대한 포스팅인 걸로 생각/기대하고 들어오신 분들에게는 먼저 죄송하다는 말을 전합니다. 이 글은 EM 알고리즘에 대한 것이 아닙니다. EM 알고리즘을 기대하셨던 분들에게는 제가 이 포스팅을 통해서 말하려던 바가 완전히 실패한 것입니다. 저는 여러분들이 가졌던 그런 기대와, 실제 제품/서비스들이 그런 기대를 충족시키느냐에 따른 고객만족 Satisfaction에 대한 글을 적으려고 합니다. (참고. 그렇지만, 제목에 사용한 Expectation Minimization은 분명 EM알고리즘에서 차용한 표현입니다.)
많은 서비스나 제품들을 출시하면서 기업들은 고객 만족의 정도를 측정하려고 합니다. 고객이 만족했다면 제대로된 서비스/제품의 기획/생산/출시일테고, 그렇지 못하다면 실패한 것입니다. 고객이 만족했다면, 소위 최근의 소셜마케팅/버징에서 얘기하듯이, 만족한 고객들에서 시작해서 제품/서비스에 대한 입소문이 타기 시작하고, 그런 입소문이 점점 번져서 더 큰 성공 (제품의 판매 및 서비스 이용자의 증가 등)으로 이러질 것입니다. 그런데, 이런 만족도를 측정하는 것이 말처럼 쉽지가 않습니다. 만족도를 측정하는 것이 어려운 이유는 모든 고객들이 다른 가치기준을 가지고 서비스/제품의 품질이나 만족도를 평가하기 때문입니다. 즉, 주관적인 만족도를 객관적인 수치로 표현하다는 것 자체가 어불성설일 수도 있습니다. 일단 주관도를 제외하더라도, 각 고객들이 처음에 서비스/제품을 접할 때 기대하는 기채치/기대수준이 모두 다르다는 것입니다. 그런 기대치를 상향시키면 고객들은 만족할 것이고, 그렇지 못하면 고객들은 실망할 것입니다. 이런 고객의 기대치와 만족도를 도식화하려던 시도가 있었습니다. 바로 Kano Model입니다.
Kano 모델은 이름에서 유추되듯이 1980년대에 Noriaki Kano 교수님에 의해서 처음 개발되어서 전파된 개념입니다. (대학에서 품질공학을 배우면 잠시 언급되는 모델입니다.) (카노모델에 대한 위키피디어 바로가기) 앞서 하이퍼링크한 위키피디어의 내용을 보시면, 카노모델을 바로 이해할 수 있습니다. 그래도, 짧게 설명한다면 고객의 만족도는 기본적으로 기대치 (기본기능)에 비례한다는 것입니다. 처음에 고객들이 어떤 제품/서비스가 제공해줄 것이라는 기능을 만족시키면 그것에 비례해서 고객의 만족도가 증가합니다. 바로 아래의 그림에서 파란색선이 보여주는 바입니다. 기본 기능에 충실하면 고객의 기대는 선형으로 증가하고, 그렇지 못하면 선형으로 감소하게 됩니다. 그런데, 카노모델에서 중요한 것은 선형의 파란색선이 아니라, 붉은색선과 녹색선이 나타내는 바입니다. 붉은색선은 기본 전체가 제품/서비스가 기본기능에는 충실할 때, 더 부가적인 기능을 제공해주면 고객들의 만족도가 선형이 아니라 비선형으로 증가하게 된다는 것을 뜻합니다. 즉, 고객이 예상/기대하지 못했던 새로운 기능이 추가되면 고객들은 만족한다는 것입니다. 붉은색선이 만족도의 양의 positive 영역에만 존재한다는 것도 주목할 것입니다. 즉, 그런 부가기능의 제공여부는 고객의 기본기대치/만족도에는 영향을 주지 않는다는 것입니다. 반대로, 녹색선이 보여주듯이 고객이 처음부터 제품/서비스에 기대했던 기본 기능을 충족시키지 못하면 파란색처럼 선형으로 만족도가 감소하는 것이 아니라 그 이상의 실망을 안겨주게 됩니다. (설명이 조금 잘못된 부분이 있을 수 있습니다.) 요약하면, 기본기능을 만족시키지 못하면 제품/서비스의 만족도는 크게 떨어지고, 기본기능만을 만족시키면 만족도는 선형으로 증가하고, 기본기능을 만족시키면서 부가기능까지 제공된다면 만족도가 기하급수적으로 증가한다는 것입니다. 여담이지만, 현재 출시되면 많은 서비스들 (제가 다니는 회사를 포함해서)이 기본기능을 만족시키지도 못하면서, 불필요한 부가기능들의 제공에 몰두하는 현상을 볼 수가 있습니다. 부가기능으로 인해서, excitement가 증가할 것으로 기대하겠지만, 기본에 충실하지 못하는 제품/서비스는 결국 고객실망으로 연결되게 됩니다.
위키피디어에 실린 카노모델을 설명하는 그래프 (GIF 그림을 그냥 가져왔는데, 투명GIF네요. 블로그 바탕이 검은색이라OTL. 죄송하지만 그림은 클릭해서 큰 사진으로 보세요.)
최근에 다음검색에서 개편한 사항을 가지고 얘기를 해보고자 합니다. 첫번째 사례는 벌써 1년도 더 전에 개편한 사항이고, 두번째는 2~3개월 전에 개편한 내용입니다.
첫번째 사례는 바로 내부적으로 '라인업'이라고 불린 프로젝트입니다. 당시에 SBS의 라인업이라는 프로그램이 막 중도종료한 때부터 시작했던 프로젝트입니다. 제가 2008년 3월에 다음에 처음 입사해서 맡았던 프로젝트 중에 하나가 바로 라인업입니다. 라인업은 제목에서 예상되듯이 '라인'을 '위로 올린다 (업)'는 의미를 가지고 있습니다. 여기서 말하는 '라인'은 다음검색의 검색결과 페이지에서 각각 출처별로 묶어서 보여주는데, 이 출처별 묶음을 '컬렉션 Collection'이라고 내부적으로 부르고 있습니다. 즉, 이 출처별 묶음인 컬렉션을 라인이라고 해석하면 됩니다. 이전 포스팅에서도 밝혔지만, 이 출처별보기가 네이버에서 검색기술의 한계 때문에 태어난 사생아인데, 국내에서는 너무 일반화되어서 사용되고 있습니다. 그래도, 출처별로 보여주면 많은 장점이 존재합니다. 그렇지만, 사용자가 입력한 검색어에 가장 충실한 컬렉션이나 문서가 존재함에도 불구하고 다른 이유 때문에 별로 연관성이 없는 문서/컬렉션이 최상단에 올라와서 사용자들의 검색만족도를 떨어뜨리는 부작용을 제공해주는 경우가 많습니다. 대표적으로 (지금은 거의 완화되었지만) 2008년이나 2009년 정도까지는 네이버에서 검색을 하면 (광고 컬렉션이나 특수 목적의 스페셜/컨텐츠/뉴스 컬렉션을 제외하고) 대부분 지식iN 컬렉션이 최상단에 노출되고, 다음에서 검색하면 카페 컬렉션이 최상단에 노출되는 경우가 많았습니다. 찾고자 하던 정보가 지식iN이나 카페에 존재했더라면, 사용자가 만족했겠지만 다른 컬렉션 (예를들어, 블로그 컬렉션)에 존재했다면 사용자는 원하던 검색결과를 찾기 위해서 불필요한 컬렉션을 먼저 스캔해서 봐야했고, 또는 스크롤다운을 해서 검색결과를 찾아가야하는 경우가 발생하게 됩니다. 이런 경우, 검색엔진을 이용하는 사용자들의 기대치는 가장 상단에 올라오는 결과가 내가 찾는 그 결과라는 기대치를 가지고 검색엔진을 이용하는데, 앞서 카노모델에서 설명하듯이 기본 기대치/기능을 충족시켜주지 못하는 결과가 나오게 됩니다. 그런 점에 착안해서, 사용자들이 가장 보고 싶어하는 결과를 최상단에 올려주자는 것이 라인업 프로젝트의 기본 목적입니다. 자세히 설명을 드릴 수는 없지만, 라인업 프로젝트를 위해서 1. 회사의 정책 점수 (예, 광고컬렉션을 최상단에 노출되어야 한다. 특수 목적의 컬렉션 (영화나 TV드라마 등)이 잘 매칭되면 최상단에 노출되어야 한다. 새로운 컬렉션 (예, 실시간 검색)이 오픈했기 때문에 상당기간동안 상단에 노출시켜서 사용자들의 주목/관심을 끌어들인다. 등) 2. 사용자 피드백 점수 (쉽게 설명해서, 많은 사용자들이 클릭한 컬렉션을 가능하면 상단에 노출시킨다. 일종의 집단지성 Collective Intelligence를 활용한 것입니다.) 그리고, 3. 문서/컬렉션 매칭점수 (즉, 사용자가 입력한 키워드와 잘 매칭되는 컬렉션을 상단에 노출시킨다. 즉, 보기 좋은 떡이 먹기도 좋다.)를 적절히 이용해서 현재 컬렉션간의 동적 경쟁을 시켜서, 가장 적합하다고 판단되는 컬렉션을 최상단에 노출시켜주고 있습니다. 그런데, 이런 동적 컬렉션 랭킹에도 분명 문제점이 있습니다. 바로, 고객의 (역?)기대치를 만족시키지 못한다는 것입니다. 매번 (일정기간은 컬렉션 순서가 고정되겠지만) 또는 쿼리마다 컬렉션의 노출순서가 달라진다는 점입니다. 검색엔진을 많이 사용한 사용자들은 검색을 하기 전에 미리 대강 알고 있습니다. 내가 특정 쿼리를 입력하면 카페 컬렉션은, 블로그 컬렉션은, 뉴스 컬렉션은 몇번째 즈음에 노출될 것같다는 감을 가지고 있습니다. 그런데, 라인업에서 제공하는 동적인 랭킹으로 인해서 사용자들이 기대했던 위치에 카페, 블로그, 뉴스 등의 컬렉션이 노출되지 않을 수도 있다는 것입니다. 사용자들의 만족도를 높이기 위해서 단행한 조치가, 역으로 사용자들의 기대치를 역행시키는 결과를 제공해주는 꼴이 되었습니다. 제품/서비스의 일관선 Consistency가 사용자의 기대치 모델에서 필수한 요소인데, 라인업 프로젝트의 결과물은 그런 점에서 일부 문제가 있습니다. (물론, 라인업 프로젝트를 통해서 많은 이들이 원하는 결과물이 최상단에 노출되기 때문에 전반적인 만족도는 향상되었습니다. 단지, 사용자들의 다른 기대가 조금 비틀어졌다는 것입니다.)
두번째 사례는, '다음 통합웹 검색 MOAS'에서 밝혔던 바로 그 프로젝트입니다. 내부적으로 컬렉션 간의 결과를 썪는다는 이유에서 Fusion이라는 일반적인 이름을 사용했습니다. (그래서, 제가 담당하고 있는 시점에서 나만의 이름을 붙여주지 못해서 MOAS라는 이름을 지난 포스팅에서 그냥 명명했습니다. MOAS = Mother of All Searches 즉, 모든 검색의 어머니) 지난 포스팅을 참조하시면 알겠지만, 모아스 (모았어)는 풀텍스트 (문서의 길이가 긴 경우) 컬렉션들 (뉴스, 카페, 블로그, 게시판, 지식, 웹문서 - 처음에는 뉴스는 미포함이었지만, 지금은 가끔 포함되는 듯함)의 결과를 하나의 통합웹 컬렉션에 묶어서 보여주는 것입니다. 라인업에서는 컬렉션 단위로 가장 적합한 문서를 가진 컬렉션을 최상단에 노출시키는 것이지만, 모아스에서는 문서 단위에서 가장 최상의 문서를 최상단에 노출시켜주는 것입니다. 긴 설명은 생략하고, 모아스의 이런 방향은 제가 오래 전부터 생각하던 바라서 바람직한 시도였습니다. 그런데, 이 통합웹 컬렉션을 서비스해주는 측면에서 사용자들의 기대를 일부 만족시키지 못하는 면이 있습니다. 다음검색을 사용해보신 분들은 아시겠지만, 어떤 쿼리/검색어에 대해서는 출처별보기가 노출되고 (기존의 라인업 결과), 또 어떤 쿼리에 대해서는 통합웹 컬렉션이 노출됩니다. 많은 트라이를 해보시면, 적당히 쿼리의 길이가 길고 단어수가 많은 경우 (즉, 소위 롱테일 쿼리) 통합웹이 노출되고, 1~2 단어의 단문 쿼리에 대해서는 기존의 출처별보기가 노출되고 있습니다. 바로 이 점을 얘기하고 싶은 것입니다. 사용자들이 어떤 쿼리를 입력했을 때, 결과가 출처별보기가 나올 것같다 또는 모아보기가 나올 것같다라는 기대를 가지게 못한다는 점입니다. 출처별로 보일 것같은 쿼리를 던졌는데 모아보기가 노출되고, 반대고 모아보기가 나올 것을 기대했는데 출처별보기가 나오고... 도대체 어떤 쿼리 (형식/패턴)를 다음검색에 던져야, 출처별보기 또는 모아보기가 나올지 좀처럼 예측을 할 수가 없다는 점입니다. 그런데, 어떤 경우에 어떤 결과가 나온다는 식의 좀 구체적이고 정형화된 문서/가이드라인이라도 제공해주면 좋을텐데, 다음검색 공식 블로그에 단지 통합웹 컬렉션 오픈에 대한 공지만 나왔지, 조금 구체적인 가이드라인을 제공해주지 못했다는 아쉬움이 남습니다. 제 개인적인 바램/욕심으로는 현재 '통합웹 - 출처 구분없이 적합한 순으로 보여드립니다. - 출처별보기'라는 통합웹 컬렉션의 상단 설명에 '통합웹 가이드라인'이라는 링크를 걸어줘서 어떤 경우에 통합웹이 활성화되는지 등에 대한 간단한 가이드라인이라도 제공해주면 좋겠다는 바램입니다.
낚시제목에서 시작해서, 카노모델을 (부정확하게) 설명드렸고, 또 다음검색에서 선보인 두가지 프로젝트/기술에서 일부 사용자들의 기대와 어긋난 결과를 제공해주는 (또는 기대를 하지 못하는) 경우가 발생할 수 있다고 글을 적었습니다. ... 적당한 클로징 멘트가 생각이 나지 않으니, 이만 적겠습니다.
반응형
