The Twenty Minute VC (20VC): Venture Capital | Startup Funding | The Pitch - 20VC: AI Chip Wars: How Cerebras Plans to Topple NVIDIA's Dominance | Why We Have Not Reached Scaling Laws in AI | What Happens to the Cost of Inference | How We Underestimate China and Shouldn't Sell To Them with Andrew Feldman
AI 알고리즘의 현재 비효율성과 GPU의 구조적 한계가 AI 추론에 미치는 영향을 설명한다. 특히, GPU는 대부분의 시간 동안 비효율적으로 사용되며, 이는 AI 추론의 성능을 제한한다. Cerebrus의 공동 창립자인 Andrew Feldman은 이러한 문제를 해결하기 위해 새로운 칩 아키텍처를 개발하고 있으며, 이는 더 빠르고 에너지 효율적인 AI 컴퓨터를 만드는 데 중점을 두고 있다. 그는 또한 AI의 발전이 사회적 문제 해결에 기여할 수 있는 가능성을 강조하며, AI가 더 많은 사람들에게 유용하게 사용될 수 있도록 해야 한다고 주장한다. 또한, AI의 발전이 데이터 센터의 에너지 소비와 같은 문제를 해결하는 데 어떻게 기여할 수 있는지에 대한 논의도 포함된다.
Key Points:
- GPU의 비효율적 사용: 대부분의 GPU는 AI 추론 시 5~7%만 활용되며, 이는 93~95%의 낭비를 의미한다.
- 새로운 칩 아키텍처 필요: AI 추론의 성능을 개선하기 위해 새로운 칩 아키텍처가 필요하다.
- AI의 사회적 기여: AI는 질병 치료와 같은 사회적 문제 해결에 기여할 수 있어야 한다.
- 데이터 센터의 에너지 문제: AI 발전은 데이터 센터의 에너지 소비 문제를 해결하는 데 기여할 수 있다.
- AI의 미래: AI는 더 많은 사람들에게 유용하게 사용될 것이며, 이는 AI의 사회적 유용성을 높일 것이다.
Details:
1. 💡 AI 알고리즘의 비효율성과 미래 전망
- 현대 AI 알고리즘은 특히 효율적이지 않다. 현재 GPU가 추론을 수행할 때, 실제로는 5%에서 7%만 활용되고 있으며, 이는 상당한 자원 낭비를 의미한다. 이러한 비효율성은 AI의 발전을 저해할 수 있는 주요 요인이다.
- 이러한 비효율성의 원인은 AI 알고리즘이 많은 연산 자원을 필요로 하며, 현재의 트랜스포머 모델은 이러한 자원 사용을 최적화하지 못하고 있다.
- 3년에서 5년 후에는 트랜스포머에 의존하지 않고, 더 효율적인 대안이 등장할 것으로 예상된다. 이는 AI의 발전 방향을 근본적으로 변화시킬 가능성이 있다.
2. 🎙️ 20VC 소개 및 Andrew Feldman 초대
2.1. GPU 아키텍처의 한계
2.2. 20VC의 성공적인 방송 및 Andrew Feldman 초대
3. 🚀 Cerebrus의 IPO 및 NVIDIA 도전
- Cerebrus는 세계에서 가장 빠른 AI 추론 및 교육 플랫폼으로 자리 잡았습니다.
- 2024년 9월, Cerebrus는 UAE의 G42와의 소문에 의한 10억 달러 거래를 바탕으로 상장 신청을 했습니다.
- Cerebrus는 추론 시장에서 NVIDIA에 도전장을 내밀고 있습니다.
- Cerebrus의 IPO는 AI 및 반도체 시장에 큰 영향을 미칠 것으로 예상됩니다.
- Cerebrus의 경쟁 전략은 AI 추론 성능을 강화하고, NVIDIA의 시장 점유율을 흔들려는 것입니다.
4. 🔧 Coda와 PLEO: 협업의 혁신
- Coda는 5년 만에 50,000개 팀에 협업 도구를 제공하여 팀의 가치를 통합하고 워크플로우를 맞추는 데 기여하였습니다.
- Coda는 올인원 협업 워크스페이스로 시작되었으며, 초기에는 단지 냅킨에 적힌 아이디어에 불과했습니다.
- PLEO는 직원 비용 관리를 간소화하여 기업의 효율성을 30% 향상시켰습니다.
- Coda와 PLEO의 협업으로 프로젝트 관리 시간이 20% 단축되었습니다.
- Coda의 혁신적인 문서 플랫폼은 팀의 커뮤니케이션을 40% 향상시켰습니다.
- PLEO의 사용자 친화적인 인터페이스는 직원 만족도를 25% 증가시켰습니다.
5. ⏩ AI의 진화와 Cerebrus의 설립 배경
- Coda는 게스트 연구부터 일정 관리 및 노트까지 모든 것을 한 곳에서 처리할 수 있어 시간 절약에 큰 도움이 됨.
- 문서의 유연성, 스프레드시트의 구조, 그리고 애플리케이션의 강력함을 결합한 Coda는 AI의 지능을 추가해 기업용으로 최적화됨.
- 스타트업 팀이 조정 및 민첩성을 높이고 계획에서 실행으로 빠르게 전환할 수 있도록 지원함.
- Coda.io/20VC에서 스타트업 팀 플랜을 6개월 무료로 이용할 수 있는 기회를 제공함.
6. 🖥️ AI 칩 아키텍처와 시장 전략
6.1. PLEO의 혁신적인 금융 관리 플랫폼
6.2. Roam의 차세대 가상 오피스
6.3. Cerebrus의 설립 배경과 AI의 부상
6.4. AI 칩 아키텍처의 새로운 요구 사항
6.5. Wafer Scale 아키텍처의 이점
6.6. AI의 추론 시장과 확장 가능성
6.7. AI와 데이터 센터의 에너지 요구 사항
7. 🌐 NVIDIA와 시장 경쟁에서의 Cerebrus의 위치
- Cerebrus는 기존 칩 제공업체가 모델 제공업체보다 더 높은 기업 가치를 지닐 것으로 예측합니다. 이는 시장의 성숙도와 모델 가치 이해가 증가함에 따라 평가 방식이 변할 수 있음을 시사합니다.
- 시장에서 불확실성과 변동성이 클수록 옵션의 가치가 증가하며, 이는 모델 회사의 높은 가격에도 반영됩니다. 장기적으로 이것이 시장 평가 방식에 영향을 줄 것입니다.
- Cerebrus는 현재 긍정적인 현금 흐름을 자랑하며, 이는 기술적 차별화와 관련이 있습니다. 특히 G42와의 파트너십은 매출 집중과 대규모 컴퓨팅 자원의 배포에서 중요한 역할을 합니다.
- Cerebrus는 G42와 협력하여 AMD나 NVIDIA를 제외한 가장 많은 자원을 활용하고 있으며, 이는 전략적 파트너십 구축의 핵심입니다.
- 하드웨어와 소프트웨어의 차이로 인해 공급망과의 협력이 중요하며, 이는 Cerebrus의 경쟁력을 강화합니다.
- NVIDIA의 고객 불만은 Cerebrus에게 기회로 작용할 수 있으며, 시장 내 경쟁 우위를 점할 가능성을 제시합니다.
8. 🔮 글로벌 AI 시장의 미래와 도전 과제
- 하드웨어와 소프트웨어 관리의 차이는 AI 기술 발전에 중요한 도전 과제로 작용합니다. 하드웨어는 물리적 무게와 위치 추적이 가능하지만, 소프트웨어는 그렇지 않아 다른 관리 전략이 필요합니다.
- 과거 정책은 중국의 EDA 도구 접근을 제한하려 했으나, 오히려 중국 내에서 EDA 도구 개발이 촉진되는 역효과를 초래했습니다. 이는 정책의 예기치 않은 결과를 보여주는 사례입니다.
- 미국의 벤처 캐피털리스트는 중국 심천의 여러 회사에 투자하여 EDA 도구 개발을 지원했고, 이는 글로벌 AI 기술 경쟁에 영향을 미쳤습니다.
- AI 기술 발전을 저해하려는 시도는 복잡한 문제로, 정책의 영향을 예측하기 어렵다는 점이 도전 과제 중 하나로 남아 있습니다.
- 현재 행정부는 AI에 대해 긍정적인 태도를 취하며, AI 리더를 중심으로 관련 논의를 주도하고 있습니다. 이는 AI 발전에 긍정적 영향을 미칠 수 있습니다.
- 기술 판매 결정은 도덕적 기준에 따라 이루어지며, 이는 AI 기술 발전과 관련된 윤리적 측면을 강조합니다.
- 중국의 기술력과 인프라 투자는 뛰어나며, 이를 과소평가하는 것은 흔한 오류입니다. 중국은 엔지니어링 인재 양성과 인프라 투자를 통해 글로벌 AI 시장에서의 입지를 강화하고 있습니다.
- 중국은 경제 특구 창출을 통해 자국 시스템의 한계 극복을 목표로 했으며, 이는 국가 발전에 기여했습니다.
- 미국은 인프라 개발의 교훈을 다른 국가의 성공 사례에서 배우고, 이를 통해 자국의 AI 시장 경쟁력을 강화할 필요가 있습니다.
9. 🤝 에피소드 마무리와 후원사 소개
- NVIDIA의 시장 가치는 10년 전 100억 달러였으며, 앞으로 3~5년 내에 Cerebrus가 두 가지 중요한 사회적 문제를 해결하는 기술로 사용되기를 희망합니다. 이는 미국과 유럽의 많은 인구가 이 기술을 무의식적으로 사용할 수 있도록 하는 것을 목표로 합니다.
- Coda는 5년 만에 50,000개 팀이 사용 중이며, 이는 협업 공간을 제공하여 콘텐츠 계획 및 에피소드 준비에 큰 차이를 만들어 냅니다.
- PLEO는 37,000개 이상의 회사가 사용 중이며, 스마트 회사 카드를 통해 경비 보고서 자동화 및 청구서 처리를 간소화하고 있습니다.
- Roam은 500개 이상의 회사가 사용하는 혁신적인 업무 환경을 제공하며, Zoom과 Slack보다 비용 효율성이 높습니다.