Latent Space: The AI Engineer Podcast - The Rise and Fall of Vector DBs
조 크리스찬 베르감은 벡터 데이터베이스의 급부상과 쇠퇴를 설명하며, 벡터 데이터베이스가 AI 검색 기술의 필수 요소로 자리 잡았지만, 이제는 그 자체로서의 필요성이 줄어들고 있다고 주장한다. 그는 벡터 검색 기능이 거의 모든 데이터베이스 기술에 통합되고 있으며, 기존의 검색 엔진에서도 유사한 기능을 제공하고 있다고 설명한다. 또한, 벡터 데이터베이스가 아닌 검색 엔진으로 AI와 지식을 연결하는 것이 더 자연스러운 추상화라고 강조한다.
그는 또한 임베딩의 중요성을 언급하며, 임베딩이 데이터 표현에 있어 중요한 역할을 하지만, 단순한 유사성 검색만으로는 충분하지 않다고 지적한다. 검색 품질을 높이기 위해서는 신선도, 권위 등 다양한 신호를 고려해야 한다고 설명한다. 마지막으로, 그는 AI 검색 기술의 발전 방향에 대해 논의하며, 벡터 데이터베이스의 카테고리가 사라지고 있지만, AI와 검색의 결합은 여전히 중요하다고 강조한다.
Key Points:
- 벡터 데이터베이스는 AI 검색 기술의 필수 요소였으나, 이제는 그 자체로서의 필요성이 줄어들고 있다.
- 벡터 검색 기능은 거의 모든 데이터베이스 기술에 통합되고 있으며, 기존의 검색 엔진에서도 유사한 기능을 제공한다.
- 임베딩은 데이터 표현에 있어 중요한 역할을 하지만, 단순한 유사성 검색만으로는 충분하지 않다.
- 검색 품질을 높이기 위해서는 신선도, 권위 등 다양한 신호를 고려해야 한다.
- AI와 검색의 결합은 여전히 중요하며, 벡터 데이터베이스의 카테고리는 사라지고 있지만, 검색 엔진으로의 전환이 필요하다.
Details:
1. 🇳🇴 노르웨이 트론헤임의 매력과 기술적 환경
1.1. 트론헤임의 일반적 매력
1.2. 트론헤임의 기술적 환경
2. 📰 벡터 데이터베이스의 부상과 몰락에 대한 통찰
- 저자는 20년간 검색 시스템에 종사하며 야후, 노르웨이의 트론헤임 등에서 검색 인프라를 구축해왔다.
- OpenAI의 ChatGPT와 데이터 연결 가이드를 통해 많은 개발자들이 RAG와 검색 구축에 참여하게 되었다.
- RAG의 검색과 벡터 임베딩 사이의 인위적인 연결이 형성되었다.
- 저자는 Chroma의 초기 투자자로, OpenAI의 예제 작성에 기여했다.
- Pinecone이 벡터 데이터베이스를 새로운 인프라 카테고리로 정의하며 AI 작업에 필수적이라고 강조했다.
- 벡터 데이터베이스 사용이 AI 작업에 필수적이라는 인식이 생겨났다.
- 벡터 데이터베이스의 사용 증가에도 불구하고, 인프라 유지의 복잡성과 비용으로 인해 사용이 줄어들고 있다.
- 벡터 데이터베이스는 초기에는 많은 관심을 받았으나, 실질적인 활용 사례가 부족하여 지속 가능한 성장에 실패했다.
- 기술적인 한계와 높은 운영 비용이 벡터 데이터베이스의 채택을 방해하였다.
3. 🚀 빠르게 변화하는 벡터 데이터베이스 시장과 경쟁
- Pinecone은 빠르게 1억 달러 AR에 도달했으나, 이후 많은 인재들이 회사를 떠나며 급격히 인기가 하락함.
- Pinecone은 개발자 중심으로 다시 초점을 맞추며 원래의 메시지로 돌아가려는 시도를 하고 있음.
- TurboPuffer와 같은 새로운 경쟁자들은 개발자와의 소통을 강화하며 차별화된 가격 전략을 사용하고 있음.
- 현재 대부분의 데이터베이스 기술에 벡터 검색 기능이 포함되어 있어, 별도의 벡터 데이터베이스 필요성이 감소함.
- Elasticsearch, Solar, Vespa와 같은 전통적인 검색 엔진에도 벡터 검색 기능이 포함되어 있음.
- Postgres의 PG 벡터와 같은 기능으로 인해 벡터 데이터베이스의 범주가 줄어들고 있음.
- 정보 검색은 AI와 지식을 연결하는 자연스러운 추상화라고 평가되며, RAG를 수행하는 데 적합한 도구로 인식됨.
- Windsurf와 같은 도구들은 다양한 검색 방법을 제공하며, LLM이 적절한 쿼리를 형성하는 데 도움을 줌.
- Chroma는 처음부터 정보 검색에 초점을 맞추고 있으며, 좁은 의미의 RAG가 아닌 광범위한 정보 검색을 목표로 함.
- AI의 발전과 함께 벡터 데이터베이스에 대한 투자가 증가했으며, 총 2억 3천만 달러가 투입됨. 이는 MongoDB의 전체 투자 금액을 초과하는 수준임.
4. 🔄 검색 시스템과 벡터 검색의 융합과 발전
- MongoDB는 NoSQL 시장에서 새로운 범주를 도입했지만, 현재는 다른 데이터베이스들도 이를 따라잡아 MongoDB도 관계형 SQL을 지원하게 되었다.
- 포스트 GPT 시대 이후 OpenAPI의 임베딩 API로 인해 임베딩 기술이 주류가 되었고, 대부분의 개발자가 이를 사용하고 있다.
- 임베딩은 유사성 검색을 넘어 신선도, 권위 등 다양한 신호와 결합해 검색 품질을 높일 필요가 있다.
- Elastic Search와 같은 검색 시스템들은 종종 메인 데이터 저장소의 복제본을 만들어 검색 인덱스를 구축하는 방식이다.
- Postgres의 확장 기능인 pgVector는 새로운 알고리즘 도입과 벡터 검색 기능 확장을 통해 벡터 데이터베이스보다 뛰어난 기능을 제공하고 있다.
- 데이터가 Postgres에 이미 존재하고 규모가 적당하다면 벡터 검색을 위해 Postgres를 사용하는 것도 합리적이다.
- 검색 품질이 비즈니스에 중요한 경우, 실제 검색 엔진을 사용하는 것이 더 적합하다.
5. 🔗 임베딩과 검색 기술의 진화와 미래
5.1. 임베딩 기반 검색 기술의 발전과 융합
5.2. 재정렬의 전략적 활용
5.3. RAG 애플리케이션 구축 전략
5.4. 데이터베이스 및 인프라 전략
6. 📚 RAG와 벡터 데이터베이스의 이해와 오해
- 10백만 모델이 등장하면서 긴 문맥과 관련된 논쟁이 재점화되었으나, 이는 기존의 논쟁과는 다르게 해결될 것임.
- RAG를 사용할 필요가 없는 상황에서도 이를 적용하는 사례가 있으며, 이는 종종 오해에서 비롯됨.
- 300개의 기사로 구성된 데이터셋이 충분히 긴 문맥 창에 맞을 수 있어 벡터 데이터베이스가 필요하지 않음.
- 4K 문맥 창에서 10백만 문맥 창으로의 발전이 빠르게 이루어지고 있음.
- TREK COVID의 작은 데이터셋 예시에서 170,000개의 문서가 3,600만 토큰으로 구성되어 있어 단일 쿼리에 모두 로드하는 것이 비효율적임.
- 그래프 데이터베이스는 특정 문제를 해결하는 데 효과적이지만, 지식 그래프를 구축하는 것이 핵심 과제임.
- 그래프 RAG와 벡터 RAG의 비교에서, 특정 상황에서는 그래프 RAG가 더 나을 수 있음.
- LLM을 사용하면 엔티티 트리플렛 생성이 더 용이해져 지식 그래프 구축이 더욱 수월해질 수 있음.
7. 🌟 LLM과 임베딩 모델의 혁신적 미래
- Voyage는 도메인별 임베딩 모델, 특히 법률 PDF 처리에서 선두를 달리고 있으며, NVIDIA에 인수되었습니다.
- 법률, 금융, 건강 분야에서 PDF를 임베딩으로 표현하는 모델의 성장이 기대됩니다.
- 시각적 언어 모델을 임베딩 모델의 백본으로 사용하면 OCR을 거치지 않고도 풍부한 표현을 얻을 수 있습니다.
- 임베딩 모델에서의 혁신이 필요하지만, API 기반 서비스와 컴퓨팅 비용 문제로 인해 어려움이 있습니다.
- Gina는 유럽 언어에 초점을 맞추어 많은 성과를 내고 있으며, 모든 기업이 가치 사슬에서 상위로 이동하려고 노력하고 있습니다.
- 더 나은 일반 임베딩 모델의 성장이 기대됩니다.