Latent Space: The AI Engineer Podcast - 2024 in Open Models [LS Live @ NeurIPS]
![2024 in Open Models [LS Live @ NeurIPS]](/_next/image?url=https%3A%2F%2Fis1-ssl.mzstatic.com%2Fimage%2Fthumb%2FPodcasts116%2Fv4%2F97%2F39%2Fd6%2F9739d6fc-d55e-483b-c8fd-66764254ab1d%2Fmza_11445832196745209483.jpg%2F600x600bb.jpg&w=1920&q=75)
2024년 열린 모델의 발전은 놀라운 속도로 진행되었으며, 다양한 새로운 모델들이 등장했습니다. 구글의 Gemma, Cohere의 Command R, 알리바바의 Quen, DeepSeek 모델, LLM360, DCLM, Allen Institute의 OLMO 등이 그 예입니다. 이러한 발전은 연구와 AI 구축에 있어 열린 모델의 중요성을 강조하며, 특히 연구자들에게는 모델링, 평가, 추론, 기계적 해석 가능성 연구에 필수적입니다. 그러나 열린 모델 연구는 자금, GPU 및 데이터 세트 접근성, 규제 논쟁 등 여러 도전에 직면해 있습니다. 2024년에는 첫 번째 오픈 소스 AI 정의가 도입되었으며, 이는 소프트웨어 오픈 소스의 핵심 원칙을 충족합니다. 그러나 데이터 접근성 문제는 여전히 해결되지 않았습니다. 데이터 접근성의 감소는 특히 폐쇄형 연구소에 유리하게 작용하며, 새로운 플레이어에게는 불리한 상황을 초래합니다. AI의 위험성을 과장하는 로비 활동도 문제로 지적되었습니다. 열린 모델의 안전성을 보장하기 위한 노력도 계속되고 있습니다.
Key Points:
- 2024년 열린 모델의 급속한 발전과 다양한 새로운 모델의 등장
- 열린 모델은 연구와 AI 구축에 필수적이며, 특히 연구자들에게 중요
- 열린 모델 연구는 자금, GPU 및 데이터 세트 접근성, 규제 논쟁 등 여러 도전에 직면
- 첫 번째 오픈 소스 AI 정의 도입, 그러나 데이터 접근성 문제는 여전히 해결되지 않음
- AI의 위험성을 과장하는 로비 활동과 열린 모델의 안전성 보장 노력
Details:
1. 🎉 Latent Space Live 개막: NeurIPS 2024에서의 첫 만남
- Latent Space Live는 NeurIPS 2024에서 처음 개최된 미니 컨퍼런스입니다.
- 이 행사는 밴쿠버에서 열렸습니다.
- AI 공동 진행자인 Charlie가 소개를 맡았습니다.
- 이번 주 특별 이벤트로 2024년의 주요 도메인별 하이라이트를 요약합니다.
- Latent Space Live의 목적은 AI 연구자와 전문가들이 최신 기술과 아이디어를 공유하고 네트워킹할 수 있는 플랫폼을 제공하는 것입니다.
- 이 행사는 AI 커뮤니티 내에서 중요한 의미를 가지며, 혁신적인 연구와 발전을 촉진하는 데 기여합니다.
2. 🗣️ 설문조사와 연사 초대: 최고의 연사들과 함께하는 시간
- 900명 이상의 참가자에게 설문조사를 실시하여 참가자들이 원하는 주제를 파악함
- 설문조사 결과에 따라 Latent Space Network의 각 분야 최고의 연사들을 초대함
- 초대된 연사들은 AI, 데이터 과학, 기술 혁신 등 다양한 주제를 다룸
- 200명이 하루 종일 직접 참여하여 연사들의 강연을 들음
3. 🔍 2024년 오픈 모델 현황: Luca Soldani와 Nathan Lambert의 키노트
- Allen Institute for AI의 Luca Soldani와 Nathan Lambert가 2024년 오픈 모델 현황에 대해 논의하며, Mistral의 Dr. Sophia Yang이 특별 출연합니다.
- Nathan Lambert는 2024년 1월에 RLHF 201 에피소드에서 언어 모델을 위한 강화 학습과 성장하는 포스트 트레이닝 및 미드 트레이닝 스택에 대해 논의했습니다.
- 헌법 AI에서 DPO, 거절 샘플링에 이르기까지 다양한 주제에 대한 의견을 제시했습니다.
- Allen Institute에 다가오는 큰 변화에 대한 예고도 있었습니다.
4. 📈 오픈 모델의 폭발적 성장: 새로운 모델들의 등장
- 오픈 모델의 사용이 지난 해 동안 폭발적으로 증가하였습니다.
- 최신 AI 훈련의 기술적 측면에 대한 깊이 있는 분석을 제공하는 서브스택을 구독할 것을 권장합니다.
- 디스코드에 접근하여 더 많은 정보를 얻을 수 있습니다.
5. 🌐 새로운 오픈 모델 등장: Google, Alibaba 등 다양한 기업의 참여
- 2023년에는 상위 LLM 순위에 오르는 이름이 다섯 개에 불과했습니다: Mistral, MosaixMPT, TIIUAE의 Falcon, Yi from KaifuLi's 01.ai, Meta의 Llama1과 2.
- 올해는 Google의 Gemma, Cohere의 Command R, Alibaba의 Quen 및 DeepSeek 모델, LLM360 및 DCLM 등 새로운 오픈 모델들이 등장했습니다.
- 이 새로운 모델들은 기존의 상위 모델들과 비교하여 더 다양한 기능과 성능을 제공하며, 각 기업의 기술력을 보여주는 중요한 지표로 작용하고 있습니다.
6. ⚖️ 오픈 모델 연구의 도전과 규제: 유럽과 미국의 규제 논의
- 오픈 모델 연구는 자금 조달, GPU 및 데이터 세트 접근성 외에도 규제 논의와 같은 많은 도전 과제를 수반합니다.
- 유럽에서는 데이터 보호와 개인정보 보호 규제가 오픈 모델 연구에 큰 영향을 미치고 있으며, GDPR 준수가 필수적입니다.
- 미국에서는 AI 연구의 투명성과 책임성을 강조하는 규제 논의가 진행 중이며, 특히 AI 모델의 공정성과 비차별성을 보장하기 위한 법적 프레임워크가 중요시되고 있습니다.
- 오픈 모델 연구의 성공을 위해서는 이러한 규제 환경을 이해하고 적절히 대응하는 전략이 필요합니다.
7. 📊 오픈 모델의 기술적 진보: 연구와 개발의 새로운 방향
- 유럽, 캘리포니아, 백악관에서의 연례 행사에서 오픈 모델의 기술적 진보가 논의됨. 이들 행사는 AI 기술 발전의 중요한 플랫폼으로 자리잡고 있음.
- AI 엔지니어 월드 페어 오픈 모델 트랙에서 Mistral의 발표가 주목받음. Mistral은 최신 AI 모델의 성능 향상과 효율성 증대에 대한 구체적인 사례를 제시함.
- 발표 자료는 유튜브 링크와 슬라이드로 제공됨. 이는 연구자와 개발자들이 발표 내용을 쉽게 접근하고 활용할 수 있도록 함.
8. 🧠 오픈 모델의 발전과 과제: 자원 제약과 데이터 접근성 문제
8.1. 오픈 모델의 2024년 테마
8.2. 발표 시간
8.3. 슬라이드 전환
8.4. 2023년과 2024년 모델 비교
8.5. 2023년 모델 출시
8.6. 2024년 모델 출시
8.7. 2024년의 차이점
8.8. 오픈 모델의 성과
8.9. 오픈 모델의 필요성
8.10. 연구와 오픈 모델
8.11. 로컬 모델의 장점
8.12. 오픈 모델의 안정성
8.13. 오픈 모델 커뮤니티
8.14. 오픈 소스 정신
8.15. 협업의 중요성
8.16. 오픈 소스 AI 정의
8.17. 오픈 소스 라이선스
8.18. 데이터 접근성 문제
8.19. 오픈 소스의 기대
8.20. 2024년 오픈 모델의 발전
8.21. 자원 제약 문제
8.22. 컴퓨팅 자원 필요성
8.23. GPU 요구사항
8.24. 포스트 트레이닝
8.25. 완전한 오픈 모델
8.26. 오픈 모델의 예시
8.27. 오픈 모델의 장점
8.28. 오픈 모델의 발전
8.29. 오픈 소스 AI 정의의 중요성
8.30. 오픈 모델의 데이터 접근성
8.31. 오픈 모델의 자원 제약
8.32. 오픈 모델의 발전 방향
8.33. 오픈 모델의 협업 사례
8.34. 오픈 모델의 데이터 문제
9. 🐱 Mistral의 혁신과 미래: 새로운 모델과 기능 소개
- Mistral은 2023년 5월에 설립된 파리 기반의 스타트업으로, 2023년 9월에 첫 오픈 소스 모델인 MR7B를 출시했습니다.
- 2023년 12월에는 MLE 아키텍처를 기반으로 한 인기 모델 MR 8X7B를 출시했습니다.
- 2024년 2월에는 Mr. Small, Mr. Large, Le Chat이라는 채팅 인터페이스를 포함한 여러 모델을 출시했습니다.
- 모든 모델은 Google Cloud, AWS, Azure, Snowflake, IBM 등에서 사용할 수 있습니다.
- 2024년 4월과 5월에는 강력한 오픈 소스 MOE 모델 AX20UB와 80개 이상의 언어를 지원하는 첫 코드 모델 Coastal을 출시했습니다.
- Mistral Fine Tune이라는 오픈 소스 코드 베이스를 통해 모델의 미세 조정 서비스를 제공합니다.
- 2024년 7월부터 11월까지 Minstrel 3B, Minstrel 8B, NEMO12b 등 여러 모델을 출시했습니다.
- Minstrel Large는 최신 기능과 뛰어난 함수 호출 기능을 갖춘 버전 2로 업데이트되었습니다.
- PIX12-12b와 PIX12-large라는 두 가지 멀티모달 모델을 출시했습니다.
- 모든 모델은 API를 통해 사용할 수 있으며, 일부는 무료로 연구 목적으로 사용할 수 있는 라이선스를 제공합니다.
- Le Chat은 무료로 사용할 수 있는 채팅 인터페이스로, 이미지 이해 및 OCR 작업에 뛰어난 성능을 보입니다.
- Le Chat은 Python 코드를 실행할 수 있는 캔버스 기능을 무료로 제공합니다.
- 웹 검색 및 이미지 생성 기능도 지원합니다.