Latent Space: The AI Engineer Podcast - Everything you need to run Mission Critical Inference (ft. DeepSeek v3 + SGLang)
DeepSeek V3는 6710억 개의 매개변수를 가진 대규모 MOE 모델로, FP8 혼합 정밀도 훈련과 다중 토큰 예측 목표를 사용하여 훈련되었습니다. 이 모델은 15조 개의 데이터 토큰을 사용하여 훈련되었으며, LM Arena 리더보드에서 세계 7위로 평가받고 있습니다. Base10은 H200 클러스터를 사용하여 DeepSeek V3를 온라인으로 제공하는 최초의 NeoCloud 스타트업입니다. 이 모델은 특히 대규모 오픈 소스 AI 모델의 성능을 향상시키는 데 중점을 두고 있습니다. SGLang은 DeepSeek V3의 최적화를 지원하며, MLA 및 FP8 커널과 같은 고급 기능을 제공합니다. Base10은 고객의 요구에 맞춰 다양한 GPU SKU를 제공하며, 고객의 특정 요구 사항에 따라 맞춤형 솔루션을 제공합니다. 또한, Base10은 다중 단계 추론 워크로드를 지원하는 TrustChains를 통해 낮은 대기 시간으로 AI 전화 통화와 같은 복잡한 워크플로우를 구현할 수 있습니다.
Key Points:
- DeepSeek V3는 6710억 개의 매개변수를 가진 대규모 MOE 모델로, FP8 혼합 정밀도 훈련을 사용하여 훈련되었습니다.
- Base10은 H200 클러스터를 사용하여 DeepSeek V3를 온라인으로 제공하는 최초의 NeoCloud 스타트업입니다.
- SGLang은 DeepSeek V3의 최적화를 지원하며, MLA 및 FP8 커널과 같은 고급 기능을 제공합니다.
- Base10은 고객의 특정 요구 사항에 맞춰 다양한 GPU SKU를 제공하며, 맞춤형 솔루션을 제공합니다.
- TrustChains를 통해 낮은 대기 시간으로 AI 전화 통화와 같은 복잡한 워크플로우를 구현할 수 있습니다.
Details:
1. 🎉 DeepSeek V3 발표 및 성과
- DeepSeek V3은 6710억 개의 파라미터를 가진 대규모 MOE 모델로, 256명의 전문가를 포함합니다.
- FP8 혼합 정밀 훈련과 DeepSeek V2에서의 다중 헤드 잠재 주의 메커니즘을 사용하여 훈련되었습니다.
- 새로운 다중 토큰 예측 목표와 15조 개의 데이터 토큰을 포함하며, 여기에는 DeepSeek R1에서 추출한 합성 추론 데이터가 포함됩니다.
- 현재 LM Arena 리더보드에서 세계에서 7번째로 높은 평가를 받은 모델로, 점수는 1319점입니다.
- 2025년 1월 기준으로 최고의 오픈 웨이트 모델로 평가받고 있습니다.
- 최근 중국 연구소에서는 매우 큰 오픈 웨이트 모델을 출시하는 경향이 있으며, Tencent의 Hunyuan large와 Hailuo의 Minimax text가 각각 400억 이상의 크기로 출시되었습니다.
2. 📈 중국 대형 모델 트렌드 및 도전
2.1. 대형 언어 모델의 어려움
2.2. Base10의 DeepSeq v3 온라인 전환
2.3. Base10과의 협력
2.4. Tensor RT-LLM 워크숍
2.5. DeepSeq와 SGLang 논의
2.6. 임무 수행 추론 워크로드의 세 가지 기둥
2.7. AI Engineer Summit 초대
3. 🗽 AI Engineer Summit 2025 소개
- AI 리더십 트랙의 성공적인 재도입
- AI 엔지니어링 트랙은 작업 중인 에이전트에 집중
- 2025년 에이전트를 구축하는 사람들을 위한 최고의 컨퍼런스
- DeepMind, Anthropic, OpenAI, Meta, Jane Street, Bloomberg, BlackRock, LinkedIn 등에서 발표자 발표 후 매진 예상
- AI 엔지니어링 트랙에서는 새로운 기술과 혁신적인 방법론에 대한 심도 있는 토론이 예정되어 있음
- 참가자는 최신 AI 기술 동향과 성공 사례를 배울 수 있는 기회 제공
4. 🎤 Latent Space Podcast: Base10과 SGLang의 인사이트
4.1. Base10의 혁신과 시장 전략
4.2. SGLang의 기술 혁신과 성능
5. 🤝 커뮤니티와 AI 이벤트 참여
- Heroku의 12-factor 앱 유형의 매니페스토를 생성하면 시장에서 미션을 확립하고 리더십을 발휘할 수 있습니다.
- Enterprise ready.io는 주요 요구사항을 목록화하여 브랜드와 분리하여 마케팅 전략으로 활용, 성공적인 사례를 만듭니다.
- Base 10, SG Lang, Deep Stick V3와 같은 혁신적인 기술을 커뮤니티에 알리고 있습니다.
- 2023년 Late in Space 해커톤에서 100개의 크루아상을 제공하여 커뮤니티 이벤트에 적극적으로 참여했습니다.
- 해커톤의 Brev의 Natter와 Roboflow의 Joseph이 참여한 프롬프트 배틀은 업계에 큰 영향을 미쳤습니다.
- CES에서 Jensen이 보여준 그래프에 많은 기업들이 참석하여 커뮤니티의 중요성을 강조했습니다.