The Twenty Minute VC (20VC): Venture Capital | Startup Funding | The Pitch - 20VC: NVIDIA vs Groq: The Future of Training vs Inference | Meta, Google, and Microsoft's Data Center Investments: Who Wins | Data, Compute, Models: The Core Bottlenecks in AI & Where Value Will Distribute with Jonathan Ross, Founder @ Groq
Grok은 AI 추론 시장에서 NVIDIA와 경쟁하며, 저렴한 비용과 높은 효율성을 제공하여 시장 점유율을 확대하고 있다. Grok의 LPU는 GPU보다 에너지 효율적이며, 대량의 데이터를 처리하는 데 적합하다. Grok은 파트너와 협력하여 자본 지출을 줄이고, 수익을 공유하는 모델을 통해 성장하고 있다. 이로 인해 Grok은 AI 추론 시장에서 빠르게 성장하고 있으며, 2027년까지 세계 AI 추론 컴퓨팅의 절반을 제공하는 것을 목표로 하고 있다. Grok은 또한 오픈 소스 모델을 활용하여 비용을 절감하고, 파트너와의 협력을 통해 수익성을 높이고 있다. Grok의 비즈니스 모델은 파트너가 자본을 투자하고, Grok이 수익을 공유하는 방식으로, 자본 제약 없이 확장이 가능하다. 이로 인해 Grok은 AI 추론 시장에서 빠르게 성장하고 있으며, 2027년까지 세계 AI 추론 컴퓨팅의 절반을 제공하는 것을 목표로 하고 있다.
Key Points:
- Grok은 AI 추론 시장에서 NVIDIA와 경쟁하며, 저렴한 비용과 높은 효율성을 제공한다.
- Grok의 LPU는 GPU보다 에너지 효율적이며, 대량의 데이터를 처리하는 데 적합하다.
- Grok은 파트너와 협력하여 자본 지출을 줄이고, 수익을 공유하는 모델을 통해 성장하고 있다.
- Grok은 오픈 소스 모델을 활용하여 비용을 절감하고, 파트너와의 협력을 통해 수익성을 높이고 있다.
- Grok은 2027년까지 세계 AI 추론 컴퓨팅의 절반을 제공하는 것을 목표로 하고 있다.
Details:
1. 🔍 오픈AI 매출 논쟁과 NVIDIA의 역할
- 오픈AI의 실제 매출은 15억 달러가 아닌 그 금액의 약 30%에 불과하다는 점이 강조됩니다.
- 전략적 성공을 위해서는 단순히 유행을 따르는 것이 아니라, 유행에 대비하여 전략적 위치를 잡는 것이 중요합니다.
- NVIDIA와의 협력은 오픈AI가 인공지능 개발의 최전선에 서도록 돕고 있으며, 이는 기술적 지원뿐만 아니라 시장 내 영향력 확대에도 기여합니다.
- 오픈AI는 NVIDIA의 하드웨어를 활용하여 인공지능 모델의 성능을 극대화하고 있으며, 이를 통해 경쟁력을 강화하고 있습니다.
2. 🌊 AI 산업에서의 전략적 위치 잡기
- NVIDIA는 모든 GPU를 판매할 수 있으며, 이는 고수익의 훈련에 사용되고, 배포를 통해 감가상각됩니다.
- 회사는 저수익 고용량의 추론 비즈니스를 담당하여 NVIDIA가 저수익 제품을 팔 필요가 없도록 합니다.
- 회사의 성장률은 지수보다 빠르며, 이는 시장에서 영향력 있는 위치를 확보하는 것이 중요함을 의미합니다.
- NVIDIA의 전략적 위치는 AI 산업의 중심에 있으며, 이는 회사의 지속적인 성장을 견인하는 핵심 요소가 됩니다.
- 시장의 수요 변화에 대응하여 NVIDIA는 다양한 제품 포트폴리오를 유지하며, 이는 경쟁력을 강화하는 요인입니다.
3. 🧠 NVIDIA와 Groq의 AI 시장 지배 전략
3.1. NVIDIA의 AI 훈련 시장 전략
3.2. Groq의 AI 추론 시장 전략
4. 💼 스타트업 도구 혁신: Coda와 PLEO
- Coda는 출시 5년 만에 전 세계 50,000개 팀이 협업하는 데 도움을 주었습니다. 20VC에서는 Coda를 사용하여 콘텐츠 계획과 에피소드 준비에 구조를 제공하여 큰 차이를 만들었습니다.
- Coda의 통합 기능을 통해 게스트 리서치부터 일정 관리, 노트까지 모든 것을 한 곳에 보관하여 시간을 절약하고 효율성을 높일 수 있습니다.
- Coda는 문서의 유연성, 스프레드시트의 구조, 애플리케이션의 힘을 결합하여 스타트업 팀의 정렬과 민첩성을 높이는 도구로 활용됩니다.
- Coda의 AI 기능은 계획에서 실행으로 빠르게 전환할 수 있도록 지원하며, 사용자들의 생산성을 크게 향상시킵니다.
5. 🔒 보안과 신뢰: Vanta로 자동화된 컴플라이언스
- PLEO는 스마트 회사 카드를 제공하여 팀이 필요한 것을 구매하는 동안 재무 부서는 통제력을 유지할 수 있습니다.
- 비용 보고서를 자동화하고 인보이스를 매끄럽게 처리하며 상환 관리도 하나의 플랫폼에서 간편하게 수행할 수 있습니다.
- Xero, QuickBooks 및 NetSuite 같은 도구와의 통합을 통해 PLEO는 워크플로에 적합하게 맞춰지며, 시간 절약과 모든 엔티티, 결제 및 구독에 대한 완전한 가시성을 제공합니다.
- 37,000개 이상의 기업이 이미 PLEO를 사용하여 재무를 간소화하고 있습니다.
- 예를 들어, Company X는 PLEO를 도입한 후 비용 관리에서의 오류를 30% 줄이고, 보고서 작성 시간을 40% 단축했습니다.
6. 🗣️ 프랑스에서의 인터뷰: Groq의 Jonathan Ross
- 인터뷰는 파리에서 진행되며, Groq의 CEO Jonathan Ross와의 대화를 통해 회사의 비전과 전략을 탐구합니다.
- 첫 번째 부분에서는 AI 및 반도체 산업의 최신 동향과 도전 과제를 다루고, 두 번째 부분에서는 Groq의 기술적 혁신과 시장에서의 경쟁력을 분석합니다.
- Ross는 Groq의 제품 개발 전략과 고객 맞춤형 솔루션을 강조할 예정입니다.
- 특히, Groq의 AI 가속기와 관련된 새로운 기술 발표 및 시장 진입 계획에 대한 논의가 있을 것입니다.
7. 📈 스케일링 법칙과 AI 모델의 진화
- OpenAI의 스케일링 법칙에 따르면, 모델의 파라미터 수가 많을수록 정보를 더 잘 흡수할 수 있다.
- 모델의 성능 향상은 로그 스케일로 증가하며, 선형적으로 토큰 수를 증가시킬 때 로그 수준의 개선이 이루어진다.
- 훈련에 사용되는 데이터의 품질이 일정하지 않다는 오해가 발생할 수 있다.
- 모델은 간단한 문제와 복잡한 문제를 혼합하여 학습시키는데, 이는 실제 학습 과정에서의 난이도 조절을 반영하고 있지 않다.
- 스케일링 법칙은 AI 모델의 효율성을 높이고 복잡한 문제 해결 능력을 증진시키는 데 중요한 역할을 한다.
- 실제 사례로, 대규모 언어 모델의 개선이 스케일링 법칙을 적용함으로써 가능해졌다.
8. 🤖 합성 데이터와 AI 교육의 혁신
- 합성 데이터는 고품질 데이터를 생성하여 모델을 더 효율적으로 학습시킬 수 있다. 예를 들어, AlphaGo Zero는 자체적으로 데이터를 생성하여 학습하였다.
- LLM(대규모 언어 모델)이 합성 데이터를 사용하여 자체 학습을 가능하게 한다.
- 합성 데이터는 모델이 더 스마트하기 때문에 실제 데이터보다 더 우수할 수 있다. 이는 모델이 학습할 수 있는 데이터의 다양성과 범위를 확장시킨다.
- 모델의 성능이 향상됨에 따라 더 나은 데이터를 생성하고, 이를 통해 모델을 재학습시킴으로써 지속적인 개선이 가능하다.
- 합성 데이터는 각종 시나리오를 시뮬레이션할 수 있어, AI 교육에 혁신적인 변화를 가져온다.
9. 🚀 AI 추론의 미래: LPU와 GPU의 조화
- 모델을 오프라인에서 가지치기(pruning)하여 성능을 개선할 수 있음. 이는 모델의 효율성을 높이며, 처리 속도를 증가시킴.
- 모델을 반복적으로 훈련시켜 더 나은 데이터를 지속적으로 반영함. 이로 인해 지속적인 성능 개선이 가능함.
- 스케일링 법칙은 실제로 비대칭적(asymptotic)인 패턴을 보이지 않음. 이는 이론적 한계가 아닌 효율성의 새로운 지평을 열 수 있음을 시사함.
- 이론적으로는 효율성의 천장이 없으나 수학적 한계가 존재함. 이는 기술 발전을 통해 극복 가능하다는 가능성을 내포함.
- LPU와 GPU의 결합은 AI 모델의 추론 능력을 비약적으로 향상시키며, 실시간 데이터 처리와 같은 실질적인 응용 분야에서 강점을 발휘함.
10. 💡 에너지 효율성을 위한 칩 설계 혁신
- 퀵소트 알고리즘은 n log n 단계로 복잡도가 낮아 칩 설계에서 효율적이며, 1,000개의 숫자를 정렬할 때 약 10,000단계가 필요합니다.
- 버블소트 알고리즘은 n 제곱 단계가 필요하여, 1,000개의 숫자를 정렬하는 데 약 1,000,000단계가 필요하여 비효율적입니다.
- 효율적인 알고리즘 선택은 칩의 에너지 소비를 줄이고 처리 속도를 높이는 데 중요하며, 이는 칩 성능 최적화의 핵심입니다.
- LLM이 큰 수를 곱하는 데 어려움을 겪는 이유는 곱하기 연산의 비선형성 때문이며, 이는 중간 단계 처리가 필요하게 만듭니다.
11. 🧩 시스템 사고와 두뇌의 협업
- LLM은 복잡한 계산을 처리하기 위해 중간 단계가 필요하며, 이는 수학적 요구 사항이다. 예를 들어, LLM은 임의의 큰 숫자를 곱하도록 훈련할 수 없지만, 더 큰 숫자 그룹을 기억하도록 설계할 수 있다. 이는 시스템 사고의 일환으로, 복잡한 문제를 해결할 때 더 작은 부분으로 나누어 접근하는 방식이다.
- 모델이 더 많은 데이터를 학습할수록 더 많은 예시를 접하게 되어 특정 상황에 대한 답변을 즉각적으로 제공할 수 있다. 이는 두뇌의 학습 방식과 유사한데, 두뇌도 경험을 통해 패턴을 인식하고 빠르게 반응할 수 있는 능력을 개발한다.
- 모델이 더 직관적으로 발전함에 따라 직관적으로 답을 제공할 수 있게 되며, 이는 인간의 직관적 사고와 유사하다. 이러한 발전은 시스템 사고와 두뇌의 협업을 통해 이루어지며, 복잡한 문제를 더 효율적으로 해결할 수 있게 한다.
12. 🔍 AI의 병목 현상과 해결 방안
- 시스템 1과 시스템 2 사고를 결합하여 직관적 접근을 강화하면 성능이 향상됨. 그러나 시스템 2 요소를 추가할 때 복잡성이 증가할 수 있음.
- 모델의 성능은 훈련 데이터와 테스트 시점의 연산 능력 향상으로 기하급수적으로 증가할 수 있음.
- 합성 데이터를 활용한 훈련은 더 직관적인 모델을 만들어 병목 현상을 줄일 수 있음.
- 체스의 그랜드마스터가 최적의 수를 즉시 알아보는 것처럼, 합성 데이터를 통한 훈련은 더 빠른 문제 해결을 가능하게 함.
- AI 시스템에서 병목 현상은 주로 데이터 처리 속도와 알고리즘의 복잡성에서 발생함.
- 효율적인 데이터 파이프라인 구축과 고급 알고리즘 최적화가 병목을 해결하는 핵심 전략임.
- 딥러닝에서의 병목 현상은 GPU 및 TPU 활용을 통해 완화될 수 있음, 이를 통해 학습 속도가 최대 10배 향상됨.
- 병목 현상을 줄이기 위해, 데이터 증강 기법과 전이 학습을 활용하여 모델의 일반화 능력을 강화할 수 있음.
13. 📊 Groq의 비즈니스 모델과 시장 전략
- 컴퓨팅 성능 향상은 데이터 부족이나 알고리즘 개선 부족을 어느 정도 상쇄할 수 있음
- 직관적인 계산 능력을 향상시키기 위해 10배 더 많은 데이터와 예제가 필요함
- 병목 현상은 하드웨어, 데이터, 알고리즘 모두에 존재하며, 이를 종합적으로 이해해야 함
- 컴퓨팅 자원이 병목 현상이 아닌 경우가 많으며, 추가적인 컴퓨팅 자원이 데이터 부족을 극복하는 데 도움을 줄 수 있음
14. 🗺️ 글로벌 AI 경쟁 구도와 NVIDIA의 역할
- 컴퓨팅 자원은 쉽게 조절 가능한 요소로, 더 많은 컴퓨팅 자원을 제공하면 성능이 향상됩니다. NVIDIA는 이를 통해 AI 성능을 극대화하는 데 중요한 역할을 하고 있습니다.
- DeepSeat의 사례는 적은 컴퓨팅 자원으로 더 많은 것을 할 수 있음을 보여주며, 이는 알고리즘 개선 덕분입니다. NVIDIA는 알고리즘 최적화를 통해 컴퓨팅 효율성을 높이고 있습니다.
- 단순한 알고리즘 개선이 데이터 생성의 용이성을 높였고, 이는 훈련 데이터의 품질을 향상시킵니다. NVIDIA는 이러한 개선을 통해 경쟁력을 강화하고 있습니다.
- AI와 추론에 대한 오해는 컴퓨팅 자원, 데이터, 특히 합성 데이터와 알고리즘의 역할에 대한 것입니다. NVIDIA는 이 모든 요소를 통합하여 AI 혁신을 주도하고 있습니다.
15. 🏛️ 인공지능 시장에서의 NVIDIA와의 협력
- 구글은 인공지능 모델 훈련에 비해 추론에 10배에서 20배 더 많은 컴퓨팅 자원을 소모한다. 이는 추론의 중요성을 강조한다.
- NVIDIA의 주가는 DeepSeek 이후 15% 하락했으며, 이는 추론의 가치가 과소평가된 결과로 해석된다. 많은 투자자들이 이 하락을 오해하고 주식을 매도한다는 잘못된 결정을 내리고 있다.
- NVIDIA와의 협력은 인공지능 시장에서의 강력한 입지를 다지는 데 중요한 전략적 요소로 작용할 수 있다.
16. 🛠️ 스타트업의 성장과 경영 전략
- 스타트업은 미래의 기술 발전을 예측하고 대비하여 사업을 구축해야 한다. 예를 들어, 인터넷 초기 시절에 우버 같은 사업 모델은 성공하지 못했을 것이다.
- 현재의 모델은 오류가 발생할 가능성이 있지만, 알고리즘 개선을 통해 이러한 오류를 줄이고 적절한 시장 위치를 확보할 수 있다.
- Grok은 제품 시장 적합성에 도달하기 전 7년간 준비했으며, 이는 대규모 모델 운영의 필요성을 미리 판단한 결과였다. 이는 스타트업이 단순히 현재의 트렌드를 따르는 것이 아니라, 미래의 트렌드에 대비해야 함을 시사한다.
- 대다수의 사람들은 단일 PCIE 카드로 추론을 실행할 것이라 예상했으나, 우리는 미래를 내다보고 올바른 결정을 내렸다. 스타트업의 목표는 트렌드를 따르는 것이 아니라, 트렌드에 대비하는 것이다.
17. 💪 스타트업의 도전과 생존 전략: Grok의 사례
- 대부분의 사람들은 LLMs가 좋지 않을 것이라고 말했지만, Grok는 AI가 중요한 기술임을 인식하고 개발을 멈추지 않았다. Grok는 초기 AI 기술 개발 시, 많은 회의론에 직면했지만, 지속적인 혁신과 연구를 통해 이를 극복했다.
- TPU 개발 전 AI가 잘못된 사람들에게 과도한 통제를 줄 수 있다는 우려로 인해 기술 개발을 지속했다. Grok는 이러한 우려를 해소하기 위해 AI 윤리와 안전성을 강화하는 방안을 모색했다.
- AI 시대에 인간의 주체성을 유지하는 것이 목표이며, 이는 Grok의 성공 여부에 필수적이다. Grok는 인류의 주체성을 보호하는 방향으로 기술을 개발하며, 이는 고객 신뢰를 확보하는 데 중요한 역할을 했다.
18. 🎯 자금 조달과 기업 문화: Grok의 혁신적 접근
18.1. Grok의 혁신적 자금 조달 전략
18.2. 직원 참여와 조직 문화
19. 🌐 데이터 센터의 미래와 전력 관리
- 자금 절약을 위한 그록 본드 실행은 재정적 파산을 피하는 데 필수적이었습니다. 이는 스타트업 창업자들이 어려운 결정을 내리게 하고, 그로 인해 가족과 경력에 중대한 영향을 미쳤습니다.
- 취약성을 드러내는 것이 사람들의 협력을 이끌어내는 중요한 요소가 됩니다. 특히, 기술 혁신이 가속화된 환경에서는 이러한 협력이 더욱 중요합니다.
- LPU나 GPU는 추론이 20배 더 중요해진 현대에서 핵심적인 역할을 합니다. 충분한 LPU나 GPU를 보유하는 것은 직원이 하는 일을 대신 수행할 수 있음을 의미합니다.
20. 📉 칩 공급과 HBM 메모리의 중요성
20.1. 칩 공급 증가와 전략적 고용
20.2. HBM 메모리와 시장 독점
21. 🔄 칩 기술 진화와 메모리 구조 변화
- GPU는 계산 속도가 매우 빨라 일반 메모리를 사용할 경우 마치 마티니 스트로를 통해 물을 마시는 것처럼 시간이 오래 걸립니다.
- 이 때문에 사람들은 CPU보다 GPU에서 훈련과 추론을 선호하며, 이는 메모리 대역폭이 제한적이기 때문입니다.
- CPU는 주로 일반 메모리를 사용하며, HBM을 거의 사용하지 않습니다.
- Grok를 시작할 때 관찰한 점은 모든 사람들이 알고 있는 무어의 법칙입니다. 18~24개월마다 트랜지스터 수가 두 배로 증가하며, 이는 컴퓨팅 능력이 두 배로 증가함을 의미합니다.
- AI 성능 개선 속도는 알고리즘의 비약적인 발전 때문이 아니며, 데이터가 크게 증가한 것도 아닙니다.
- 트랜지스터 수는 18~24개월마다 두 배로 증가할 뿐만 아니라 칩의 수도 두 배로 증가하고 있습니다. 따라서 성능은 2배가 아닌 4배가 됩니다.
22. ✨ LPUs와 GPUs: 에너지 효율과 성능의 혁신
- LPUs는 외부 메모리를 사용하지 않고 모든 매개변수를 칩 내에 유지하여 아키텍처를 혁신적으로 변경합니다. 이러한 설계는 외부 메모리 접근을 줄여 에너지 소비를 감소시킵니다.
- GPU는 8개의 칩을 사용하는데 비해, LPU는 모델에 대해 600개에서 3000개의 칩을 사용하여 에너지 효율을 약 3배 향상시킵니다. 이는 LPU의 높은 병렬 처리 능력에 기인합니다.
- 에너지를 절약하기 위해 외부 메모리에서 읽어올 필요가 없는 구조는 LPU의 주요 강점이며, 이는 GPU에서도 일괄 처리가 가능하지만 LPU의 경우 더욱 효율적입니다. 이는 데이터 센터 내에서 큰 장점이 됩니다.
- 데이터 센터에서의 컴퓨팅이 엣지 컴퓨팅보다 더 에너지 효율적이라는 점을 강조하며, 특히 LPU 아키텍처는 중앙 집중식 컴퓨팅 환경에 적합합니다.
- 사례 연구를 통해, LPU의 도입으로 특정 워크로드에서 성능이 2배 이상 증가했으며, 에너지 소비가 40% 감소했습니다. 이는 대규모 데이터 처리 환경에서 LPU의 장점을 잘 보여줍니다.
23. 🔮 AI 칩 기술의 미래와 시장 전망
23.1. 에너지 효율성의 향상과 그 영향
23.2. LPU와 GPU의 조합 및 시장 전략
24. 🧑💻 창업과 경영에서의 도전 과제
- 일부 고객들은 1년 이상 선결제하고도 여전히 GPU를 받지 못했다는 문제가 있다. 이는 공급망 관리의 개선 필요성을 시사한다.
- 사우디아라비아에서의 최근 배포는 계약에서부터 생산까지 51일이 걸렸다. 이 사례는 간단한 아키텍처와 칩 간의 직접 연결을 통해 효율적인 배포가 가능함을 보여준다.
- 에너지 효율성 및 예측 가능성을 고려할 때, Nvidia는 LPU에 대해 더 적극적이지 않다. 이는 LPU의 시장 잠재력과 효율성 개선의 필요성을 나타낸다.
- Nvidia의 최신 GPU는 이전 세대보다 30배 빠르다고 발표되었지만, 실제 성능 곡선은 과장된 면이 있다. 따라서 성능 측정의 투명성과 고객 기대 관리가 필요하다.
25. 🌍 글로벌 AI 시장에서의 Groq의 입지
- Groq의 칩은 이전 칩보다 월등히 빠르다.
- AI 시장에서는 사양 경쟁이 중요한 역할을 한다.
- 기업 판매에서는 스펙이 중요한 기준이 되지만, 실제로 중요한 것은 토큰 당 비용(token per dollar)과 토큰 당 에너지(token per watt)이다.
- Nvidia의 30배 빠르다는 광고는 익숙한 마케팅 전략이지만, Groq는 'Grok, 여전히 더 빠름'이라는 간단한 메시지로 주목받았다.
- Groq는 성능 우위와 효율성을 강조하여 AI 시장에서의 입지를 강화하고 있다.
- Groq의 마케팅 전략은 간결하지만 강력한 메시지를 통해 고객의 관심을 끌고 있다.
- Groq의 경쟁력은 시장 점유율 확대와 고객 획득에 긍정적인 영향을 미치고 있다.
26. 💹 Groq의 혁신적 비즈니스 모델
- 경쟁이란 고객의 미해결 문제를 찾지 못했음을 의미한다. 이미 해결된 문제에 시간을 쏟을 필요가 없다.
- NVIDIA는 빠른 토큰과 저렴한 토큰을 제공하지 않지만, 훈련 분야에서는 누구보다도 뛰어난 성과를 보인다.
- Groq은 추론 시장을 소유하려는 전략을 가지고 있으며, 이는 NVIDIA와의 차별점을 만든다.
- 고객들에게 더 많은 GPU를 구매하라고 조언하는 이유는 Groq의 모델이 그 위에서 잘 작동하기를 바라기 때문이다.
- 추론을 위해서는 더 이상 NVIDIA의 GPU를 구매할 필요가 없으며, Groq의 LPU가 더 저렴하고 빠른 대안이 될 수 있다.
27. 🔗 AI와 데이터 센터의 병목 현상
27.1. 비용 효율성
27.2. 에너지 효율성
27.3. 운영 및 자본 비용
27.4. 수익과 규모
27.5. HBM 사용 회피의 이점
27.6. NVIDIA의 이익률
28. 🔌 데이터 센터와 전력 관리의 미래
28.1. 경제적 효율성
28.2. 비즈니스 모델 혁신
29. 📊 데이터 센터의 확장과 인프라의 중요성
- 현재 전 세계적으로 데이터 센터의 전력 용량은 약 15 기가와트이다.
- 데이터 센터 건설자들에게 60곳 이상에서 1 기가와트의 전력을 요구하여 60 기가와트의 수요가 발생하고 있다.
- 현재 데이터 센터를 위해 만들고자 하는 전력은 약 20 기가와트로, 현재 용량의 두 배 이상을 초과하고 있다.
- 3~4년 후에는 데이터 센터의 전력 수요가 120 기가와트에 이를 것으로 예상되며, 이는 현재 사용 가능한 전력보다 훨씬 많다.
- 지금 과잉으로 전력을 구축하고 있는 상황에서 실제로 필요한 전력이 부족하게 될 가능성이 있다.
- 데이터 센터의 전력 부족은 향후 3~4년 내에 심각한 병목 현상이 될 것이다.
- 데이터 센터의 수요는 추론이 교육보다 20배 커질 세상으로 이동하고 있기 때문에 증가할 것이다.
30. 🏢 데이터 센터와 AI의 확장 전략
- 데이터 센터는 단순한 부동산이 아니며, 100메가와트의 용량을 3개월 내에 제공할 수 있다는 업계 주장과 달리 이는 실현 불가능하다.
- 발전기 주문에 90개월의 리드 타임이 필요하며, 많은 신규 사업자들이 데이터 센터를 부동산으로 잘못 이해한다.
- 아마존과 같은 대기업은 물이나 전력이 없는 데이터 센터에는 투자하지 않으며, 많은 프로젝트가 실제로 개발되지 않는다.
- 데이터 센터 구축에는 시간이 걸리며, 모델 훈련 시 약 6개월의 감가상각이 필요하고, 칩 배포에는 3~5년이 소요된다.
- 데이터 센터 구축에는 10~15년, 발전소에는 15~20년이 소요되며, 이러한 시간적 제한이 산업의 문제점이다.
- 데이터 센터 확장에는 장기적인 계획과 자원이 필요하며, 기업들은 이러한 요구를 충족시키기 위해 물류와 인프라에 대한 철저한 분석과 준비가 필요하다.
- 성공적인 데이터 센터 운영을 위해서는 전력 및 수도와 같은 핵심 자원의 확보가 필수적이며, 이는 프로젝트의 생존 가능성을 결정한다.
31. 🚀 AI 시장에서의 투자와 성장 가능성
- AI 모델 훈련은 6개월이 소요되지만, 데이터 센터의 장기 계약 요구(7년)는 투자와의 불일치를 초래합니다. 이는 AI 생태계의 위험 회피 경향을 보여주며, 기업들은 이에 따라 전략을 조정할 필요가 있습니다.
- LPUs와 GPUs는 생성적 AI 외에도 다양한 용도로 활용될 수 있으며, 데이터 센터와 전력 역시 다양한 용도로 활용 가능합니다. 이는 투자 다각화의 기회를 제공합니다.
- 기존 기업들은 데이터 센터 제공자들의 장기 요구를 맞출 수 있는 유일한 주체로서 경쟁 우위를 가지며, 이는 안정적인 수익 기반을 구축하는 데 유리합니다.
- 사우디 아람코와의 파트너십은 장기적 자금 조달 능력을 강화하며, 기업의 신용 등급을 높이는 데 기여합니다. 이는 전략적 파트너십이 투자의 신뢰성과 안정성을 높일 수 있는 좋은 예입니다.
32. 🧬 AI 학습과 추론의 경제학
- OpenAI는 전체 매출의 약 30%에 해당하는 수익을 달성했다.
- 작년에는 19,000개의 칩을 51일 만에 배포했으며, 이는 AI 학습과 추론 인프라의 신속한 확장을 의미한다.
- 현재 데이터 센터에 칩을 배포하기 위해 CapEx를 적극적으로 투입하고 있으며, 이를 통해 발생한 수익으로 상환이 가능하다.
- 자본의 제한 없이 운영할 수 있는 구조를 구축했다는 점에서 금융적 안정성을 확보했다.
- Grok은 낮은 가격 책정에도 불구하고 수익성을 유지할 수 있으며, 이는 비용 효율적인 AI 운영을 가능하게 한다.
- 오픈 소스 모델을 통해 타사와 차별화된 수익 창출 구조를 갖추고 있다.
- 파트너와의 협력을 통해 IRR을 지불하고 수익을 창출할 수 있으며, 이는 지속 가능한 비즈니스 모델을 형성한다.
- Play.ai와 협력하여 음성 모델을 개발 중이며, 수익을 공유하는 구조로 진행 중이다.
33. 📈 AI 시장의 거품과 미래 전망
- 2027년까지 세계 AI 추론 컴퓨팅의 절반을 제공하는 것을 목표로 함
- 성장을 위해 적극적인 구축 및 가격 전략 필요
- 지수보다 빠른 성장률을 기록 중이며 시장 입지를 확보하는 것이 중요
- 대규모 투자로 인해 가격 경쟁보다는 시장 점유율 확보가 우선
- 메타, 구글, 마이크로소프트가 각각 데이터 센터에 수십억 달러 투자
- 메타는 2027년까지 AI 추론 컴퓨팅의 50%를 제공하려는 목표를 가지고 있으며, 이는 시장 지배력을 강화하기 위한 전략적 투자로 보임
- 구글과 마이크로소프트도 데이터 센터 확장에 수십억 달러의 투자를 하고 있으며, 이는 시장 점유율을 높이기 위한 장기적인 전략의 일환