전체 글 (1189) 썸네일형 리스트형 LLM 왕국에서의 3년 작년 (2024) 이맘때 즈음에 ‘LLM 왕국에서의 2년’이란 글을 적었다. 이후 1년 동안 AI 씬에서 수많은 새로운 소식들이 전해졌는데, 작년 기준으로 어떤 변화가 있었는지를 정리하는 게 의미가 있어 보여서 글을 적는다. 그리고 회사를 퇴사하고 무직으로 지낸 지난 한 달 동안 몇몇 지인들을 만나고 사진 찍는 것만 했는데, 이제 나름 지적 활동을 재기하는 시발점이 되길 바란다. 1년 동안 많은 뉴스가 있었지만 크게 보면 작년에 정리한 것과 어쩌면 큰 차이점이 없지만, 한편으론 완전히 새로운 세상이 열리기도 했다. 기본적으로 작년에 적은 글을 참고하고, 변화를 중심으로 간단히 집어보려 한다. 아래는 작년에 정리했던 슬라이드를 1년 동안 간간히 업데이트한 거다. LLM 중심으로 정리한 것이어서 이미지나 비.. 적자공존 適者共存 Towards Artificial Human Intelligence 어릴 적부터 자동차 번호판을 보면 각각의 합이 같아지도록 숫자를 두 그룹으로 나뉘는지를 계산하는 버릇이 있었다. 몇 주 전에 고향집을 내려가면서 옆에 지나가는 차량들의 번호판이 위 조건을 만족하는지 계산하면서 무료한 운전 시간을 보냈다. 그러다 문득 사람 지능과 인공 지능의 차이가 뭘까?라는 의문이 들었다. 바로 명확한 답을 얻진 못했지만, 대략적으로 인간은 (생물학적) 생존이 아닌 일에 에너지를 소비한다는 점이란 결론을 내렸다. 자동차 번호판을 분석하는 것이 목적이 아니라면 인공 지능은 굳이 자동차 번호판을 보면서 저런 계산을 하는데 에너지를 허비하지 않았을 거다. 그런데 인간은 직접적 생존이 아닌 재미를 위해서 별의별 짓을 다한다. 끼워 맞추면 생존 활동으로 연결 지을 수 있겠지만, 예술 활동을 포함.. 광고랭킹의 이해 Ad Ranking 카카오에서 마지막 해를 보내던 2021년도 여름에 지인의 부탁으로 전반적인 온라인 디스플레이 광고 랭킹에 관한 세미나를 진행했다. 그때 처음 만들었던 자료에 최신 이슈를 조금 더 보강해서 지난주에 다른 지인의 부탁으로 세미나를 진행했다. 카카오를 떠난 지도 벌써 3.5년이 지났고, 자료 중 상당 부분은 2019년과 2020년에 If Kakao에서 발표해서 공개된 것이기에 최근 업데이트 본을 전체 공개한다. 예전부터 계획하던 거였는데 귀찮기도 하고 -- 대부분 공개된 내용이지만 -- 전 직장에서 얻은 지식이기도 해서 차일피일 미루던 거였으나, 이렇게 아끼면 똥 되는 거고 또 편하게 글 하나 때우려고 공개한다.https://www.slideshare.net/slideshow/a-general-introduc.. AI 시대의 개발이란? 질문: 현재 가장 인기 있는 프로그래밍 언어는? 답을 찾기 위해서 굳이 구글링 할 필요 없다. 이 글을 읽는 사람이라면 이미 모두 사용하고 있는 언어다. 참고로 가장 오래된 프로그래밍 언어다. 엄밀히 말하면 기계어나 어셈블리어가 가장 오래된 프로그래밍 언어일 텐데 요즘 이걸 알고 있는 사람이 몇이나 될까? 대학 동기 중에 몇 명은 2학년 때 어셈블리 수업을 들었는데, 아직 제대로 기억하고 있는 친구가 몇 있을까? 나 때 대학교 1학년에 들어가서 모두 C언어를 배웠다. 하드웨어 쪽에선 여전히 사용하겠지만 요즘에 핫한 언어는 아니다. 인터넷 업계에선 Java도 많이 사용하고 데이터 과학자는 Python을 기본으로 사용한다. 웹을 위해서 JavaScript도 인기가 있고, 이전 직장에서 속도 때문에 Go를 사.. 딥리서치 해부학 A Technical Anatomy of Deep Research Deep Research: Agentic AI for ResearchChatGPT 이후로 지난 2년여의 시간은 AI 세계에서는 거의 영겁의 시간이었다. 거의 매주, 아니 매일 새로운 Foundation Model이 업데이트되고 새로운 서비스가 등장하고 새로운 방법론이 등장했다. 최근에 AI 커뮤니티를 가장 뜨겁게 달군 주제는 아마도 Deep Research 류의 서비스가 아닌가 싶다. 지난해 말에 구글에서 처음 Deep Research를 내놓았을 때는 그래도 구글이 자존심을 세웠다고 생각했는데, 지난 2월에 오픈AI에서 Deep Research를 내놓은 후로 다시 여론은 오픈AI로 기울었다. 몇 주가 지난 지금 Perplexity, xAI를 비롯해서 여러 회사에서 비슷한 서비스를 계속 내놓고 있다. 지난.. AI 검색의 구조적 이해 늘 그렇듯 어쩌다 AI 검색을 짧게 조사하게 됐다. 내가 관심 있는 부분은 과연 AI 검색은 시스템 구조상으로 기존 키워드 검색과 어떻게 다른지를 확인하고 싶었다. AI 검색에 관한 긴 설명과 장단점을 나열한 소개글은 많았지만 보고 싶었던 구조적 차이를 설명하는 그림과 글은 찾을 수 없었다. 없으면 직접 만드는/그리는 것이 공돌이의 숙명이기에 아는 범위 내에서 최대한 간략히 두 시스템을 비교하는 그림을 아래와 같이 그렸다. 한때 검색 분야에서 살짝 발을 담갔지만 AI 검색은 거의 문외한이기 때문에 아래의 그림과 설명이 실제와 다를 수 있음을 미리 밝힌다.ChatGPT가 나온 후로 AI가 검색을 변혁시킨다는 주장을 별로 대수롭지 않게 생각했다. 그냥 기존에 검색을 장악한 구글이 잘할 거라 생각했다. Per.. LLM 왕국에서의 2년 Two Years in LLM 언어모델 (Language Model)이란 개념이 등장한 지도 이미 반세기가 지났고 현대적 LM을 알린 Transformer 논문이 나온 지도 이미 7년이 지났지만, 오늘날의 LLM은 ChatGPT가 대중에 공개된 2022년 11월, 즉 겨우 2년 미만의 시간이 지났다. 어쩌다 보니 작년 초부터 LLM을 중심으로 AI 기술의 발전을 매달 정리해서 발표했는데, 이번에는 전체 팀원을 대상으로 지난 8, 9월의 트렌드를 소개하게 됐다. 몇 명의 새로운 멤버가 세미나에 참석할지는 모르겠으나 지난 1년 반 동안의 발표를 놓친 이들에게 8월에는 이런 서비스가 출시했고 9월에는 이런 논문이 나왔어요라고 발표하기에는 무리가 있어서 지난 2년 간의 LLM/AI 연구를 한 장에 정리했다. 요즘은 학계 연구보다는 산업계의 .. 모델 성능이 안 나올 때 데이터 분석이나 AI 모델 개발은 귀납 과정이면서 연역 과정이다. 다양한 시도와 많은 실패 속에서 개발자의 자질과 능력이 향상되고, 그걸 밑거름으로 해서 새로운 아이디어를 짜낼 수 있다. 그래서 귀납적이면서 연역적이라는 거다. 나름 몇 년의 경험을 통해서 가장 스탠더드 한 AI 서비스 모델을 정립했다고 생각했지만 실험 결과가 예상치를 벗어나서 지난주 내내 이것 때문에 골치가 아팠다. 직접 데이터를 가져와서 모델을 개발하고 다양한 실험을 시도하면서 문제 원인과 해결점을 찾는다면 어쩌면 좀 더 쉽게 문제를 해결했을 수도 있지만, 실질적으로 현업에서 손을 떼고 옆에서 훈수만 두는 뒷방 늙은이가 된 지 이미 몇 년이 돼서 그저 사고실험으로 왜 AI 모델이 기대치를 못 미치는지를 고민했다. 가능성 있는 여러 아이.. 이전 1 2 3 4 ··· 149 다음
