Latent Space: The AI Engineer Podcast - [Ride Home] Simon Willison: Things we learned about LLMs in 2024
![[Ride Home] Simon Willison: Things we learned about LLMs in 2024](/_next/image?url=https%3A%2F%2Fis1-ssl.mzstatic.com%2Fimage%2Fthumb%2FPodcasts116%2Fv4%2F97%2F39%2Fd6%2F9739d6fc-d55e-483b-c8fd-66764254ab1d%2Fmza_11445832196745209483.jpg%2F600x600bb.jpg&w=1920&q=75)
2025년 AI의 발전은 빠르고 저렴한 모델의 등장으로 특징지어집니다. Simon Willison은 AI 모델이 GPT-4 수준의 성능을 유지하면서도 비용이 크게 절감되었다고 설명합니다. 예를 들어, OpenAI의 GPT-3 모델은 2022년과 2023년 동안 가장 발전된 모델이었지만, 현재의 모델은 100배 저렴해졌습니다. 이는 경쟁의 결과로, Google, Anthropic, Meta와 같은 주요 기업들이 더 저렴한 모델을 제공하고 있습니다. 또한, DeepSeek와 같은 기업은 600만 달러로 최첨단 모델을 훈련할 수 있음을 보여주며, AI 모델 훈련 비용이 계속해서 감소할 가능성을 시사합니다.
AI 에이전트의 발전도 논의되었습니다. 현재 AI 에이전트는 신뢰성과 진실성 구별의 문제로 인해 완전한 자율성을 갖추지 못하고 있습니다. 그러나 연구 보조 형태의 에이전트는 유망하며, Google Gemini와 같은 모델이 이를 지원하고 있습니다. 또한, AI의 멀티모달 기능이 향상되면서 비디오 스트리밍과 같은 새로운 응용 프로그램이 가능해졌습니다. 이러한 발전은 AI의 실용성을 높이고, 다양한 산업에서의 활용을 촉진할 것입니다.
Key Points:
- AI 모델 비용 절감: OpenAI의 GPT-3 모델은 현재 100배 저렴해졌으며, 이는 경쟁의 결과입니다.
- DeepSeek의 혁신: 600만 달러로 최첨단 모델을 훈련할 수 있어 AI 훈련 비용이 감소할 가능성을 보여줍니다.
- AI 에이전트의 한계: 신뢰성과 진실성 구별의 문제로 완전한 자율성을 갖추지 못하고 있습니다.
- 멀티모달 기능 향상: 비디오 스트리밍과 같은 새로운 응용 프로그램이 가능해졌습니다.
- AI의 실용성 증가: 다양한 산업에서의 활용을 촉진할 것입니다.
Details:
1. 🎙️ 2025 테크 밈 라이드 홈 특별 에피소드 소개
- 2025년 첫 보너스 에피소드가 소개되었으며, 프로그램의 호스트는 Brian McCullough입니다. 이번 에피소드에서는 2025년의 주요 기술 동향과 혁신적인 기술 밈에 대해 깊이 있는 논의를 진행합니다. 또한, 과거와 현재의 기술 발전을 비교하고 앞으로의 기술 전망에 대해 전략적인 통찰을 제공합니다.
2. 🧠 AI 전문가 사이먼 윌리슨의 통찰력
- 사이먼 윌리슨은 AI 분야의 새로운 현상이 발생할 때마다 분석과 비판을 통해 많은 사람들에게 중요한 정보원이 되고 있다.
- 그의 블로그는 AI 관련 최신 정보를 전달하며, AI 공간에서 중요한 비판적 시각을 제공한다.
- 윌리슨은 AI 발전의 방향성 및 상태에 대한 통찰력을 제공하며, AI 분야에 대한 깊은 이해를 필요로 한다.
- 사이먼 윌리슨은 GPT-3와 같은 AI 모델의 한계와 가능성을 조명하며, 윤리적 고려사항을 강조한다.
- 그는 AI 기술의 투명성과 책임성을 중시하며, 이는 AI 개발 및 적용에 있어 중요한 요소로 강조된다.
- 윌리슨은 AI가 사회적, 경제적 영향을 미칠 수 있는 방법에 대해 심층적인 분석을 제공한다.
3. 🔮 2025년 AI 기술의 발전과 한계
- 2024년 동안 AI 모델은 비용이 50% 감소하고 처리 속도가 30% 빨라졌으며, 멀티모달 기능까지 가능하게 되었습니다.
- GPT-4와 같은 수준의 AI는 예상만큼 개선되지 않았지만, 가격이 60% 저렴해지고 문맥 길이가 두 배로 늘어났으며 멀티모달 기능이 추가되었습니다.
- AI 모델의 발전은 기대했던 것과는 다른 방향으로 이루어졌으며, 가격 하락과 새로운 기능 추가가 주요 변화였습니다.
- 2025년까지 AI는 의료 분야에서 약 40%의 진단 정확도를 향상시켰으며, 고객 서비스 분야에서는 35%의 효율성을 높였습니다.
4. 💸 AI 모델의 비용 절감 및 경제성 혁신
- AI 모델은 예기치 않은 다양한 개선을 통해 2024년 말까지 휴대폰을 통한 대화 및 시각 정보 제공이 가능할 것으로 기대됩니다. 이는 사용자 경험을 혁신적으로 개선할 것입니다.
- GPT-5 모델의 출시 시기는 불확실하지만, 여러 GPT-5 클래스 모델이 가까운 미래에 등장할 것으로 보입니다. 이로 인해 다양한 응용 분야에서 활용 가능성이 높아질 것입니다.
- 모델의 지능은 지속적으로 향상되고 있으며, 특히 추론 시간과 컴퓨팅 비용이 크게 증가할 것으로 보입니다. 이는 보다 복잡한 작업을 수행할 수 있는 능력을 제공합니다.
- 현재의 목표는 성능을 유지하면서도 비용을 저렴하게 하고 속도를 향상시키며, 기능을 확장하고 긴 문맥을 처리할 수 있는 것입니다. 이는 사용자에게 더 나은 가치를 제공합니다.
- Simon의 연말 포스트에는 2024년에 LLM에 대한 새로운 학습 내용이 포함될 예정이며, 이는 학습 효율성을 크게 향상시킬 것입니다.
5. 🔍 2024년 AI의 주요 발전과 사회적 영향
- 2024년에는 18개의 새로운 AI 모델이 GPT-4를 능가하며 AI 모델의 효율성과 가성비가 크게 개선되었습니다. OpenAI 모델의 사용 비용은 GPT-3 대비 100배 감소하였고, Google의 Gemini 1.5 Flash는 백만 토큰당 $0.075로 가격이 하락했습니다.
- DeepSeek V3 모델은 550만 달러에 훈련되어 예상 비용의 10분의 1 수준으로 모델 훈련의 효율성을 입증했으며, 이는 국가 단위의 자원이 없어도 첨단 모델을 훈련할 수 있음을 보여줍니다.
- AI 모델의 가격 경쟁은 대형 IT 기업들 간의 치열한 경쟁으로 이어져 가격을 지속적으로 낮추는 요인이 되고 있습니다.
- 연구 보조 형태의 에이전트는 실질적인 가치를 제공하며, Google Gemini 1.5 Pro와 같은 모델은 복잡한 문제에 대한 유용한 정보를 제공합니다.
- AI 에이전트가 자율적으로 결정을 내리고 돈을 쓰는 것은 여전히 신뢰할 수 없는 문제로 남아 있습니다.
- 영상 및 멀티모달 AI 모델의 발전은 실시간 비디오 스트리밍 분석에 큰 잠재력을 가지며, 사용자의 일상 생활에 더 많은 응용 가능성을 제공합니다.
- 지역 모델의 발전으로 로컬 환경에서 AI를 활용할 가능성이 증가하며, 개인 사용자의 AI 접근성을 높이는 데 기여하고 있습니다.
- AI가 생성한 콘텐츠의 신뢰성과 검증은 여전히 중요한 이슈로 남아 있으며, 인간의 검토와 편집이 콘텐츠의 질을 보장하는 데 필수적입니다.
6. 🎤 AI 에이전트와 사용자 인터페이스의 미래
- MLC Chat은 사용자의 휴대폰에서 Llama 3b 모델을 로컬로 실행할 수 있으며, 간단한 설치로 재미있는 기능을 제공함.
- Ollama는 로컬 모델 실행을 돕고 훌륭한 사용자 인터페이스를 제공하여, LM Studio는 최고의 인터페이스를 제공함.
- 최고의 모델은 20~30GB의 디스크 공간이 필요하며, 3b 모델은 2GB의 공간이 필요함.
- Super Whisper는 장문의 작업에서 타이핑을 대체하고, GPT-4를 사용하여 문장을 다시 작성할 수 있음.
- Riverside는 AI 기반 스마트 편집 기능을 통해 비디오 및 오디오 파일을 자동 편집하여 시간을 절약함.
- OpenAI는 2024년에도 좋은 성과를 내고 있으나 Google Gemini와 같은 경쟁자가 부상하고 있음.
- 대규모 언어 모델(LLM)은 환경적 영향과 데이터 훈련의 윤리적 문제에도 불구하고 유용하게 활용됨.
- AI 웨어러블은 프라이버시 문제 해결이 중요한 올해 주목할 기술이며, 회의 보조 장치로 유용함.