Latent Space: The AI Engineer Podcast - Beating Google at Search with Neural PageRank and $5M of H200s — with Will Bryk of Exa.ai
ExaAI는 전통적인 검색 엔진의 한계를 극복하기 위해 대규모 언어 모델(LLM)을 활용하여 사용자의 의도를 더 잘 이해하는 검색 엔진을 개발하고 있다. 이 회사는 검색 엔진을 처음부터 구축하여 웹의 모든 정보를 완벽하게 검색할 수 있는 시스템을 목표로 한다. 이를 위해 웹 크롤링, AI 처리, 고속 데이터베이스 제공 등 다양한 하위 시스템을 개발하고 있다. ExaAI는 사용자가 복잡한 쿼리를 입력하면 해당 쿼리에 가장 적합한 결과를 제공하는 것을 목표로 하며, 이는 기존의 검색 엔진이 제공하지 못하는 새로운 경험을 제공한다. 또한, ExaAI는 검색 엔진을 통해 사용자가 원하는 정보를 정확하게 필터링하고, 사용자의 선호도에 따라 결과를 정렬할 수 있는 기능을 제공한다. 이는 검색 엔진이 단순히 키워드 기반의 결과를 제공하는 것을 넘어 사용자의 의도를 이해하고 그에 맞는 결과를 제공하는 방향으로 발전하고 있음을 보여준다.
Key Points:
- ExaAI는 LLM을 활용하여 사용자의 복잡한 쿼리를 이해하고 정확한 결과를 제공하는 검색 엔진을 개발 중이다.
- 검색 엔진의 하위 시스템으로 웹 크롤링, AI 처리, 고속 데이터베이스 제공을 포함한다.
- 사용자의 쿼리에 맞는 결과를 필터링하고, 선호도에 따라 결과를 정렬할 수 있는 기능을 제공한다.
- 전통적인 검색 엔진의 한계를 극복하고 새로운 검색 경험을 제공하는 것을 목표로 한다.
- 검색 엔진의 발전 방향은 사용자의 의도를 이해하고 그에 맞는 결과를 제공하는 것이다.
Details:
1. 👋 팟캐스트 소개 및 게스트 소개
- Will Brick는 현재 ExaAI의 CEO이자 공동 창업자이며, 이전에는 Metaphor Systems로 알려졌습니다.
- 어릴 때부터 검색과 고품질 정보에 대한 관심이 있었던 Will은 고등학생 시절부터 뉴스 정보를 개선하려는 노력을 해왔습니다.
- 대학 시절 미니 검색 엔진을 개발하며 Exa를 통해 어린 시절의 꿈을 실현하고자 했습니다.
- 2019년 Metaphor Systems로 시작하여, 2021년 Y Combinator(YC)에 참여, '우리는 구글보다 낫다'는 목표를 세웠습니다.
- GBD3 출시 당시, LLMs의 통찰을 검색 엔진에 적용하여 사용자의 언어를 이해하는 검색 엔진을 만들고자 했습니다.
- Metaphor Systems에서 ExaAI로의 전환 과정에서 기술적 난관을 극복하며, LLMs의 활용을 통해 검색의 새로운 가능성을 제시했습니다.
- ExaAI는 사용자 맞춤형 검색 결과를 제공하여, 소비자 경험을 향상시키는 데 주력하고 있습니다.
2. 🚀 ExaAI의 창립과 Google을 능가하는 목표
2.1. AI 스타트업의 초기 도전과 기회
2.2. SpaceX와 Elon Musk의 영향
2.3. Metaphor System의 초기 비전
2.4. 연구 중심에서 제품 중심으로의 전환
3. 🔍 검색 기술 혁신: Exa의 접근법
- 링크 예측은 주어진 텍스트에서 다음에 나올 링크를 예측하는 방식입니다. 이 방법은 웹에서 링크를 찾아 주변 텍스트를 분석하여 어떤 링크가 뒤따를지 예측하는 과정을 포함합니다.
- 이 과정은 수십억 번 반복되어 검색 엔진을 구축할 수 있게 합니다. 사용자가 쿼리를 입력하면 모델은 가장 가능성이 높은 링크를 예측합니다.
- 링크 예측은 문서 예측으로도 볼 수 있으며, URL 자체를 예측하는 것이 아니라 실제 문서를 예측하는 것입니다.
- Exa의 초기 기본 모델은 이 방식으로 훈련되었지만, 현재는 더 발전된 방식으로 이동하고 있습니다.
- 모델을 더 통제 가능하고 견고하게 만들기 위해 합성 데이터를 추가하고 감독된 미세 조정을 통해 훈련합니다.
- Exa는 완벽한 검색 엔진을 목표로 하며, 주요 구성 요소로는 벡터 데이터베이스가 포함됩니다.
4. 🧠 LLM과 검색의 융합: Exa의 비전
- Exa는 완벽한 검색 엔진 구축을 목표로 하며, 다양한 하위 시스템을 통해 웹 크롤링과 URL 수집을 포함한 데이터를 처리합니다. 이는 고속 처리와 낮은 지연 시간을 위한 벡터 데이터베이스를 활용합니다.
- Exa는 10의 18승이라는 수치로 Google과 차별화하며, 이는 검색에서 실제로 필요한 정보를 정확히 제공하는 것을 목표로 합니다.
- 새로운 버전은 복잡한 쿼리를 처리하여 사용자가 원하는 결과 목록을 정확히 제공할 수 있도록 개발되었습니다. 예를 들어, 샌프란시스코의 하드웨어 관련 스타트업을 찾는 복잡한 쿼리를 통해 325개의 관련 결과를 제공합니다.
- Exa는 현재의 도구로는 불가능한 새로운 검색 경험을 제공하는 것을 목표로 하고 있습니다.
5. 💡 Exa의 검색 인프라 및 사용자 활용법
- Exa는 30백만 개의 검색 결과를 처리할 수 있는 능력을 통해 사용자에게 포괄적인 검색 결과를 제공합니다.
- 검색의 포괄성을 위해 추가적인 컴퓨팅 리소스를 투입하여 모든 쿼리에 유연하게 대응합니다.
- 컴퓨팅 파워의 유연한 제공을 통해 특정 예산 내에서 최적의 검색 결과를 달성합니다.
- Exa는 사용자가 대규모 작업을 시작하기 전에 검색 결과 미리보기를 제공하여 효율성을 높입니다.
- 기존 검색 엔진과는 달리, Exa는 더 긴 검색 시간을 허용하여 더욱 강력한 결과를 제공합니다.
- 벤처 캐피탈 등 다양한 분야에서 Exa의 우수한 검색 성능을 활용할 수 있습니다.
- 사용자가 즉시 유용한 결과를 얻을 수 있도록 직관적인 제품 인터페이스를 제공합니다.
6. 🌐 검색 엔진의 진화와 EXA의 역할
6.1. 검색 엔진의 현대화와 EXA의 역할
6.2. 효율적인 검색 시스템 구축 전략
7. 🛠️ EXA의 다양한 응용 사례 및 도전 과제
- EXA는 전통적인 키워드 기반 알고리즘 대신, GB3와 같은 신경망 기술을 활용한 검색 엔진을 구축함으로써 새로운 질문과 연구 방향을 추구하고 있음.
- 전통적인 검색 엔진과 달리, EXA는 웹 스케일의 신경망 검색을 선도하고 있으며, 보다 고품질의 결과를 제공하는 것을 목표로 함.
- EXA는 Google이나 Bing과 같은 전통적인 검색 엔진에 의존하지 않으며, 자체 검색 시스템을 가지고 있음.
- EXA의 링크 예측 목표는 PageRank보다 강력한 '신경 페이지랭크'로, 사람들 간의 링크 공유 패턴을 예측함으로써 고품질 콘텐츠를 더 많이 반영.
- 고객들이 EXA의 검색 API를 통해 AI 애플리케이션을 구축하며, 단순한 URL 목록이 아닌 클린하고 파싱된 전체 콘텐츠를 요구함.
8. 📈 데이터 파트너십과 검색 알고리즘의 미래
8.1. 데이터 스크래핑의 중요성과 도전
8.2. 데이터 파트너십의 필요성
8.3. Exo의 다양한 활용 사례
8.4. Exo의 비즈니스 활용 사례
8.5. 검색 알고리즘의 영향
9. 🔍 검색의 진화와 사용자 인터페이스
- 맥루한주의(McLuhanism)는 '우리가 도구를 만들면 도구가 우리를 형성한다'는 개념이다.
- 검색 도구가 변화하면, 검색 대상도 변화한다는 반사적인 연결이 있다.
- 구글은 지난 30년간 사용자들에게 '검색'이 무엇인지 교육했다.
- 사용자들은 검색을 몇 가지 키워드를 통해 이루어지는 과정으로 인식하고 있다.
- 새로운 검색 패러다임에서는 복잡한 정보 요청을 통해 완벽한 목록을 제공받을 수 있다.
10. 🤖 AGI와 EXA의 비전
- EXA는 기존 검색 엔진과 달리 LLM을 활용하여 복잡한 쿼리를 효율적으로 처리할 수 있습니다. 전통적인 검색 엔진은 단순한 키워드에 의존하지만, EXA는 문단 단위의 입력도 처리 가능하며, 사용자가 긴 문장을 입력하지 않아도 자동으로 명확한 쿼리를 생성합니다.
- EXA는 필터링과 랭킹을 명확히 구분하여, 필터링은 쿼리의 일치 여부를, 랭킹은 주관적인 기준에 따라 순위를 매깁니다. 이는 개인의 선호도에 맞춰 결과를 랭킹할 수 있는 다양한 방법을 제공하며, 유의미한 정보 제공을 보장합니다.
- AGI와 관련하여, EXA는 점차 에이전트화 되어가고 있으며, 사용자 입력에 따라 더 깊이 있는 분석을 수행할 수 있습니다. 이로 인해 EXA는 더 나은 사용자 경험을 제공하기 위해 지속적으로 발전 중입니다.
- EXA의 기업 문서 관리 적용 가능성은 시장 내 경쟁력 있는 솔루션이 될 수 있으며, LLM을 통한 검색 인터페이스의 변화는 사용자 경험을 혁신적으로 향상시킬 수 있습니다.