구글링 Googling으로 대표되는 현재의 검색 또는 검색패러다임에서 우리가 아무런 문제를 제기하지 않고 그냥 '그럴 것이다'라고 받아들이는 가정 또는 전제가 있다. 다음이라는 회사에 들어와서 검색본부에서 3년 반을 보내면서 여지껏 의심하지 않았던 그 가정들이 오늘 아침에 문득 머리를 스쳐갔다. 그 가정의 옳고 그름을 떠나서 내가 그렸던 검색의 미래모습에는 큰 차이가 없지만, 그 미래 비전을 이루기 위해서는 은연중에 품었던 그 가정들은 재고해볼 필요는 있는 듯하다.
전제 하나. 세상에는 또는 인터넷 상에는 내 (사용자/검색자)가 원하는 완벽한 (정답) 정보가 존재한다.
검색 서비스라는 것이 크게는 분산된 정보/문서를 수집하는 크롤링 Crawling, 수집된 문서를 키워드/형태소 단위로 잘 분류해서 정리하는 색인 Indexing, 그리고 수집/색인된 정보를 사용자 입력 질의어에 가장 잘 매칭되는 순으로 보여주는 랭킹 Ranking, 이렇게 3부분으로 구성되어있다. 물론 더 세부적으로 들어가면 더 복잡한 메커니즘이 존재하고, 수집/색인/정열에 사용되는 기술이나 기법/알고리즘도 다양하다. 그러나 기본적인 검색엔진의 구조는 수집 색인 정열에서 벗어나지 않는다. 그래서 여지껏 사람들 (검색엔진/서비스를 만든 기획/개발자들)은 어떻게 하면 더 효율적인 크롤러를 만들어서 더 많은 문서들을 수집할 것인가?, 어떻게 하면 더 형태소 분석을 잘해서 의미단위로 수집된 문서를 분류할 것인가?, 또는 어떻게 하면 더 질의어의 의도를 잘 분석해서 사용자가 원하는 검색결과를 보여줄 것인가?에 대한 해답을 찾기 위해서 분주했다. 이 세가지 부분에서 가장 잘했던 회사가 지금의 구글이고, 그래서 1등 기업이 될 수 있었다. 그런데, 이런 노력의 아래에는 우리가 인식하지 못했던 가정이 있다. '세상의 어느 곳에는 사용자가 원하는 (질의어게 가장 잘 반응하는) 검색결과/정보문서가 있다'라는 가정이다. 세상에 또는 더 좁혀서 인터넷 상에는 사용자가 찾고자 하는 정보가 없을 수도 있다는 것이 너무 당연한 것인데, '있다'는 가정 아래 검색엔진/서비스를 개발해왔다. 만약 내가 찾는 그 정보/문서가 인터넷 상에 없다면 지금의 구글, 다음, 네이버, 빙, 야후 등의 수많은 검색엔진/서비스가 무슨 효용이 있을까? 있다는 가정 아래의 수많은 노력들이 없다는 현실 속에서는 어떻게 될까?
전제 두울. 어딘가에 존재하는 그 정답을 찾기 위해서는 적절한 키워드만 사용하면 된다.
두번째 전제는 전제 1에서 파생된 것이다. 내가 원하는 정답문서가 분명히 존재할 것이기 때문에 내가 지금 적절한 정답을 찾지 못한 이유는 내가 뭔가를 잘못했기 때문에 검색결과가 없다라는 생각을 하게 된다. 그래서 같은 의미를 가지는 다른 단어를 사용하거나 새로운 조합으로 새로운 질의어를 만들어서 검색해본다. 많은 경우 키워드를 잘 선택하면 (물론, 검색엔진이 적절하 반응해준다는 가정 하에) 사용자가 원했던 결과를 찾을 수 있었다. (실제 아닌 경우가 더 많지만 이때도 '내가 뭘 잘못했다'라는 생각을 가지고 새로운 시도를 해보게 된다.) 앞서 말했던 검색엔진의 구조에서 키워드는 대단히 중요한 역할을 한다. 인터넷 상의 문서는 키워드로 구성되어있기에 문서를 수집한다는 것은 키워드군을 수집한다는 의미가 되고, 수집된 문서도 키워드 단위로 분류/정리가 되고, 또 검색 행위도 키워드에서 시작하게 된다. 적절한 키워드의 사용은 검색의 기본이다. 그런데, 진정 검색의 미래는 키워드 그 이상에 있다. 키워드만으로 표현될 수 없는 것을 키워드로 국한한 행위로 해결하려 한다.
더 좋은 검색이란 무엇인가? 더 강력한 검색이란 무엇인가? 그래서 검색의 미래는 무엇인가?에 대한 고민을 하다보면... 세상에는 완벽한 정답이 없는 경우가 더 많을 것인데 그때는 어떻게 해결하지?라는 의문이 들 것이고, 또 더 완벽한 정답은 키워드 이상의 노력과 연산이 필요한데 무슨 정보를 어떻게 처리해야하지?라는 의문이 들 것이다. 이전의 글들에서 제가 생각하는 몇 가지 힌트들은 넌지시 던져줬지만 저도 제의 생각의 범위, 시야각 내에서의 단서만을 제공했을 뿐... 다시 검색을 생각해 봅시다. 세상에는 정답문서가 없다. 설령 정답이 있다하더라도 단순한 키워드 조합만으로는 찾을 수 없다. 그러면 이제 어떻게 해야할까요? 검색에 대한 새로운 미션입니다. 이걸 잘 해결하면 넥스트구글이 만들어질지도 모르겠습니다. (완벽한 정답이 없기 때문에 기존의 정보들을 재조합하거나 그것들을 바탕으로 새로운 정보를 유추해내야할 것이고, 키워드만으로는 불가능하기 때문에 키워드 이상의 무엇 (컨텍스트 정보를 포함)을 이용해야하는데...)
참고로, 애플이 최근에 공개했던 SIRI도 아주 작은 힌트를 줍니다. 물론 그 전에 나왔던 다른 다양한 기술들이 미래에 대한 힌트들로 이뤄져있지만...
전제 하나. 세상에는 또는 인터넷 상에는 내 (사용자/검색자)가 원하는 완벽한 (정답) 정보가 존재한다.
검색 서비스라는 것이 크게는 분산된 정보/문서를 수집하는 크롤링 Crawling, 수집된 문서를 키워드/형태소 단위로 잘 분류해서 정리하는 색인 Indexing, 그리고 수집/색인된 정보를 사용자 입력 질의어에 가장 잘 매칭되는 순으로 보여주는 랭킹 Ranking, 이렇게 3부분으로 구성되어있다. 물론 더 세부적으로 들어가면 더 복잡한 메커니즘이 존재하고, 수집/색인/정열에 사용되는 기술이나 기법/알고리즘도 다양하다. 그러나 기본적인 검색엔진의 구조는 수집 색인 정열에서 벗어나지 않는다. 그래서 여지껏 사람들 (검색엔진/서비스를 만든 기획/개발자들)은 어떻게 하면 더 효율적인 크롤러를 만들어서 더 많은 문서들을 수집할 것인가?, 어떻게 하면 더 형태소 분석을 잘해서 의미단위로 수집된 문서를 분류할 것인가?, 또는 어떻게 하면 더 질의어의 의도를 잘 분석해서 사용자가 원하는 검색결과를 보여줄 것인가?에 대한 해답을 찾기 위해서 분주했다. 이 세가지 부분에서 가장 잘했던 회사가 지금의 구글이고, 그래서 1등 기업이 될 수 있었다. 그런데, 이런 노력의 아래에는 우리가 인식하지 못했던 가정이 있다. '세상의 어느 곳에는 사용자가 원하는 (질의어게 가장 잘 반응하는) 검색결과/정보문서가 있다'라는 가정이다. 세상에 또는 더 좁혀서 인터넷 상에는 사용자가 찾고자 하는 정보가 없을 수도 있다는 것이 너무 당연한 것인데, '있다'는 가정 아래 검색엔진/서비스를 개발해왔다. 만약 내가 찾는 그 정보/문서가 인터넷 상에 없다면 지금의 구글, 다음, 네이버, 빙, 야후 등의 수많은 검색엔진/서비스가 무슨 효용이 있을까? 있다는 가정 아래의 수많은 노력들이 없다는 현실 속에서는 어떻게 될까?
전제 두울. 어딘가에 존재하는 그 정답을 찾기 위해서는 적절한 키워드만 사용하면 된다.
두번째 전제는 전제 1에서 파생된 것이다. 내가 원하는 정답문서가 분명히 존재할 것이기 때문에 내가 지금 적절한 정답을 찾지 못한 이유는 내가 뭔가를 잘못했기 때문에 검색결과가 없다라는 생각을 하게 된다. 그래서 같은 의미를 가지는 다른 단어를 사용하거나 새로운 조합으로 새로운 질의어를 만들어서 검색해본다. 많은 경우 키워드를 잘 선택하면 (물론, 검색엔진이 적절하 반응해준다는 가정 하에) 사용자가 원했던 결과를 찾을 수 있었다. (실제 아닌 경우가 더 많지만 이때도 '내가 뭘 잘못했다'라는 생각을 가지고 새로운 시도를 해보게 된다.) 앞서 말했던 검색엔진의 구조에서 키워드는 대단히 중요한 역할을 한다. 인터넷 상의 문서는 키워드로 구성되어있기에 문서를 수집한다는 것은 키워드군을 수집한다는 의미가 되고, 수집된 문서도 키워드 단위로 분류/정리가 되고, 또 검색 행위도 키워드에서 시작하게 된다. 적절한 키워드의 사용은 검색의 기본이다. 그런데, 진정 검색의 미래는 키워드 그 이상에 있다. 키워드만으로 표현될 수 없는 것을 키워드로 국한한 행위로 해결하려 한다.
더 좋은 검색이란 무엇인가? 더 강력한 검색이란 무엇인가? 그래서 검색의 미래는 무엇인가?에 대한 고민을 하다보면... 세상에는 완벽한 정답이 없는 경우가 더 많을 것인데 그때는 어떻게 해결하지?라는 의문이 들 것이고, 또 더 완벽한 정답은 키워드 이상의 노력과 연산이 필요한데 무슨 정보를 어떻게 처리해야하지?라는 의문이 들 것이다. 이전의 글들에서 제가 생각하는 몇 가지 힌트들은 넌지시 던져줬지만 저도 제의 생각의 범위, 시야각 내에서의 단서만을 제공했을 뿐... 다시 검색을 생각해 봅시다. 세상에는 정답문서가 없다. 설령 정답이 있다하더라도 단순한 키워드 조합만으로는 찾을 수 없다. 그러면 이제 어떻게 해야할까요? 검색에 대한 새로운 미션입니다. 이걸 잘 해결하면 넥스트구글이 만들어질지도 모르겠습니다. (완벽한 정답이 없기 때문에 기존의 정보들을 재조합하거나 그것들을 바탕으로 새로운 정보를 유추해내야할 것이고, 키워드만으로는 불가능하기 때문에 키워드 이상의 무엇 (컨텍스트 정보를 포함)을 이용해야하는데...)
참고로, 애플이 최근에 공개했던 SIRI도 아주 작은 힌트를 줍니다. 물론 그 전에 나왔던 다른 다양한 기술들이 미래에 대한 힌트들로 이뤄져있지만...
반응형
