본문 바로가기

전체 글

 (1179)
내가 묻고 AI가 답하다. 인공지능, ChatGPT 시대에 살아남는 법에 대한 두 번째 글을 준비하고 있었다. 첫 번째는 질문하기였는데 두 번째는 그 대척점의 평가하기였다. 생각이 완벽히 정리되지 않은 시점에 글을 적으니 논리가 술술 풀리지 않아서 며칠을 묶혀뒀다. 그러나가 좀 전에 그냥 ChatGPT에게 ‘인공지능의 시대에 무슨 기술이나 지식이 필요한가?’라는 짧은 질문을 던졌다. 그냥 그 답을 옮긴다. Q. Which skills or knowledge are required in the ai era? (번역본은 아래에) ChatGPT’s Answer. As we continue to enter the era of artificial intelligence (AI), there are certain skills and know..
LLM은 왜/어떻게 작동하는가? 제목을 더 자극적으로 ‘ChatGPT는 왜 동작하는가?”로 할 수도 있지만 어차피 ChatGPT도 한 때고 새로운 LM이 나와서 이번이 진짜 AGI다라고 또 주장할 테니 중립적으로 LM은 어떻게 동작하고 왜 LLM이 작동하는가라고 정했다. 이 글은 기술적으로 LM이나 GPT/LaMDA 등을 다루지 않고, 단지 일반 독자의 이해를 돕기 위한 글이다. 개념적으로 설명한 것이니 기술적으로 완전히 틀렸을 수도 있다. Wikipedia는 Language Model (LM, 언어모델)을 ‘a probability distribution over sequences of words’라고 정의한다. 이를 좀 쉽게 설명하면 어떤 단어 (또는 문장)이 주어지면 바로 다음에 올 단어(의 확률)를 예측하는 거다. ‘I am a..
모든 ML 알고리즘의 이해 이직 후로는 면접에 들어가지 않고 있지만 면접에서 유능한 인재를 만나면 묻고 싶었지만 아직 한 번도 묻지 못한 질문이 있다. 머신러닝 학습의 핵심이 뭐냐? 는 질문이다. 개별 알고리즘의 개념이 아닌 모든 알고리즘들의 공통된 근간이 무엇인지를 묻는 질문이다. 내가 생각하는 이 질문의 답에 관한 글이다. 물론 내가 틀렸을 수도 있다. 모든 — 적어도 내가 아는 모든 — ML 알고리즘은 유사도 (또는 거리)를 측정하는 거다. 나 (X)랑 닮은 X’를 찾거나 나랑 전혀 다른 X’’를 찾는 것이 ML 알고리즘이다. 회귀 Regression은 나랑 닮은 X들이 공통으로 같은 Y, 보통은 평균을 예측/계산하는 알고리즘이다. 분류 Classificaiton은 나와 근접한 X들이 다수를 점유하는 클래스를 찾는 거다. C..
호모 애스쿠스: ChatGPT와의 조우 인공지능 분야는 지루할 틈이 없다. 심심해질 만하면 또 새로운 장난감이 등장한다. 가장 최근에 주목을 끈 장난감은 분명 OpenAI에서 공개한 ChatGPT다. 기술을 잘 알지도 못하지만, 이 글에서 GPT (Generative Pretrained Transformer)가 사용하는 기술을 굳이 자세히 언급할 필요는 없을 것 같다. 다만 이전의 장난감들은 그저 소개한 기사나 동영상 또는 좀 더 기술적으로 궁금하면 관련 논문만 찾아 대강 훑어봤었는데, 소셜미디어에 관련 내용이 워낙 많이 소개돼서 이번에는 직접 가입해서 시연해봤다 정도의 차이가 있다. 부족함이 없진 않지만 최근 기술 발전이 그저 놀랍기만 하다. 소싯적의 심심이와는 차원이 다르다. 간간히 틀린 정보도 눈에 띄고 학습 이후에 발생한 새로운 정보는..
내가 일한 삼성과 카카오 달고나 시리즈의 취지에 다소 어긋날 수도 있으나 국내에서 데이터 사이언티스트의 옵션이 별로 다양하지도 않고, 게 중에서 가장 큰 옵션은 삼성으로 대변되는 기존 대기업 그룹으로 진출하거나 카카오로 대변되는 인터넷 서비스 기업 (및 스타트업)에 취직하는 거다. 전문 연구소는 다소 이질적 집단이고 중소기업은 사실상 옵션으로 고려하라고 권하고 싶지 않다. 중소기업에서 기술을 배워서 대기업으로 레벨업하라는 조언도 간혹 듣겠지만 이걸 자세히 얘기하려면 애초에 대학 교육부터 시작해야 하는 큰 주제여서 이글에선 생략한다. 다음/카카오는 13년을 넘게 다녔고 이제 겨우 삼성리서치에서 1년을 보낸 사람으로서 모든 걸 안다고 말할 수는 없으나 그냥 개인의 경험과 관점에서 정리한 거니 자신의 경험과 맞지 않다면 ‘넌 그렇게 ..
특허 이야기 삼성리서치의 팀 전체와 팀장의 KPI에는 상위 저널/학회에 제출된 논문 편수와 특허 발명 건수가 포함된다. 개인 KPI에는 명시적으로 포함되지 않더라도 어차피 최종 평가자인 팀장의 KPI 달성(에의 기여) 여부가 팀장이 개인을 평가하는데 일부 반영되기 때문에 논문 작성과 발명을 게을리할 수는 없다. 8월 말과 9월 초에는 논문을 채우려 애썼는데, 지금은 부족한 특허를 채우기 위해서 고민 중이다. 예전에는 소프트웨어나 알고리즘에 관한 독창성이 특허로 이어지느냐에 관한 논란이 있었지만, 요즘은 당연히 특허로 인정받을 뿐 아니라 AI 기술을 접목한 특허가 꽤 많이 늘고 있다. 당장의 목표는 데이터 사이언티스트가 되기 또는 데이터 사이언티스트로 취업 (창업)하기일 수도 있으나 중장기적으로 내가 고안한 아이디어가..
알고리즘 소개: Product Quantization 오랜만에 알고리즘을 소개하는 글을 적는다. 몇 달 전에 처음 Product Quantization (PQ)를 접하고 재미있어서 — 간단하지만 효과 있어서 — 간단한 소개글을 적으려 했으나, 페이스북에서 이 알고리즘을 제안한 논문 (Optimized Product Quantization for Approximate Nearest Neoghbor Search)을 제출한지도 벌써 10년이 더 지났고 FAISS: a library for efficient similarity search라는 오픈소스도 공개돼있어서 굳이 이제야 글을 적어야 할까?를 오래 고민했지만, 최근에 너무 가벼운 글들만 적었고 또 이 글을 통해서 PQ라는 알고리즘을 처음 접할 이들도 있을 것 같아 글을 적기로 했다. 알고리즘 자체는 매우 간..
인피니트 게임 데이터나 알고리즘에 관한 글은 아니다. 그저 책 소개라기보단 그 속의 개념을 내 방식으로 좀 풀어보려 한다. 넓게는 사람이 살아가는 모든 것이 데이터와 알고리즘이니 정말 무관한 주제도 아니다. 어쩌면 특정 알고리즘이나 기법을 소개하는 것보단 이런 개념을 공유하는 게 더 나은 데이터 사이언티스트, 개발자/기획자/경영자 또는 그냥 인간이 되는데 도움이 되리라 믿는다. 저자 사이먼 시넥 Simon Sinek은 꽤 유명하다. 거의 10년 전에 그의 TEDx 영상이 공개됐을 때 많은 사람들이 열광했고 소셜 미디어에 계속 퍼 날라졌다. ‘How great leaders inspire action’이란 제목의 TEDxPugetSound 영상은 이미 6천만 번 조회됐고 1.7백만의 좋아요를 받았다 (TED 공홈 기준)..

티스토리툴바