OpenAI: GPT-4.5 개발 과정과 성과에 대한 논의
The Twenty Minute VC (20VC): Venture Capital | Startup Funding | The Pitch: 제품 관리자가 CEO 역할을 맡는 경향이 있으며, 도메인 전문가가 제품 결정에 더 많은 영향을 미치고 있다.
OpenAI - Pre-Training GPT-4.5
GPT-4.5의 개발은 2년 전부터 시작되었으며, 대규모 클러스터를 활용하여 모델을 10배 더 스마트하게 만드는 것을 목표로 했다. 개발 과정에서 많은 인력과 시간이 소요되었으며, 시스템과 ML 팀 간의 협업이 중요했다. 특히, 새로운 컴퓨팅 자원을 활용하면서 발생하는 다양한 문제를 해결하는 것이 큰 도전이었다. GPT-4.5는 기존 모델보다 더 높은 지능을 보여주었으며, 사용자 만족도도 높았다. 개발 과정에서 데이터 효율성과 알고리즘 개선이 중요한 역할을 했으며, 향후 10배 또는 100배의 확장을 위해서는 시스템 측면에서의 혁신이 필요하다.
Key Points:
- GPT-4.5는 GPT-4보다 10배 더 스마트한 모델로 개발됨.
- 개발 과정에서 시스템과 ML 팀의 긴밀한 협업이 중요함.
- 데이터 효율성과 알고리즘 개선이 모델 성능 향상에 기여함.
- 대규모 컴퓨팅 자원을 활용하면서 발생하는 문제 해결이 큰 도전이었음.
- 향후 확장을 위해 시스템 측면에서의 혁신 필요.
Details:
1. 🔍 연구 발표와 GPT4.5에 대한 기대
2. 🎉 GPT4.5의 예상외의 성공과 반응
- GPT4.5 출시 후 사용자 만족도 조사에서 사용자 만족도 85% 기록
- AI 성능 개선으로 작업 효율성 30% 증가
- 새로운 기능 도입 후 사용자 유지율 40% 상승
- 특정 사례: 대형 고객사 A사는 GPT4.5 도입 후 고객 문의 처리 시간이 평균 15% 단축됨
- 산업계 반응: 여러 분야에서 AI 활용도가 증가하며, 특히 의료 및 금융에서의 채택률이 20% 증가함
3. 🔑 GPT4.5 개발팀 소개와 작업 과정
- GPT4.5는 GPT4에 비해 명확한 개선점들이 존재합니다. 특히, 자연어 처리의 정확성이 20% 향상되어 더 자연스럽고 정확한 응답을 제공합니다.
- 사용자 인터페이스가 개선되어 사용자의 피드백을 실시간으로 반영할 수 있는 기능이 추가되었습니다.
- 개발 과정에서 사용자 테스트를 통해 반복적으로 피드백을 수집하고, 이를 기반으로 알고리즘을 조정하여 사용자 경험이 30% 향상되었습니다.
- 특히, 새로운 AI 모델은 학습 속도가 50% 빨라져, 신속한 피드백 반영과 업데이트가 가능해졌습니다.
4. 🏗️ 거대한 모델 구축의 시작과 준비
- GPT4.5 개발 팀이 경험을 통해 얻은 주요 교훈은 데이터의 품질과 다양성이 모델 성능에 크게 영향을 미친다는 것입니다. 따라서 데이터 수집 단계에서 다양한 출처를 활용하고, 데이터의 신뢰성을 확보하는 것이 중요합니다.
- 거대 모델 구축 시 필요한 컴퓨팅 자원의 규모는 막대하며, 이를 최적화하는 전략이 필요합니다. 특히, GPU 및 TPU와 같은 고성능 하드웨어를 효율적으로 활용하여 학습 시간을 단축할 수 있습니다.
- 모델 학습의 효율성을 높이기 위해 최신 알고리즘 및 최적화 기법을 적용하는 것이 중요합니다. 이는 모델의 정확도뿐 아니라 학습 속도를 높이는 데 기여합니다.
- 팀워크와 협업이 프로젝트의 성공에 중요하며, 명확한 역할 분담과 목표 설정이 필수적입니다.
5. 🚀 GPT4.5 실행과 도전 과제
- GPT4.5의 실행은 상당한 인력과 시간이 필요합니다. 이러한 과제는 주로 사전 튜닝 데이터 작업과 관련이 있습니다.
- Alex는 프로젝트의 핵심 인물로서, 사전 튜닝 데이터 작업과 GP4.5의 사전 튜닝 ML을 주도하고 있습니다.
- 사전 튜닝 과정에서 직면하는 주요 도전 과제는 데이터의 다양성과 품질을 보장하는 것입니다.
- 효율적인 작업 진행을 위해 팀은 반복적인 검증 및 조정 과정을 통해 모델의 정확도를 개선하고 있습니다.
- 이러한 과정은 프로젝트의 일정과 비용에 직접적인 영향을 미치며, 최적의 결과를 도출하기 위해 전략적 계획이 필요합니다.
6. 🛠️ 인프라 문제와 해결 노력
- Dan은 OpenAI의 네트워킹을 총괄하며 데이터 효율성을 높이기 위한 다양한 알고리즘 작업에 참여하고 있습니다.
- 데이터 처리의 효율성을 높이기 위해 AI 기반의 네트워크 최적화 기법을 도입하였으며, 이로 인해 데이터 전송 속도가 20% 향상되었습니다.
- 알고리즘 개선을 통해 데이터 처리 비용을 15% 절감하였습니다.
7. 🔄 모델 개발의 반복과 개선
- 2년 전 큰 규모의 새로운 클러스터가 도입될 것을 예측하고 준비 작업을 시작함
- 예측 기반 준비로 인해 클러스터 도입 시 원활한 전환이 가능했으며, 운영 효율성이 30% 향상됨
- 클러스터 도입 이후, 모델의 처리 속도가 25% 증가하고 유지 보수 비용이 15% 감소함
- 주기적인 피드백 루프를 통해 모델의 정확성을 40%까지 개선함
- 데이터 분석을 통해 클러스터의 성능과 효율성을 지속적으로 모니터링하고 최적화함
8. 🔬 데이터 효율성과 알고리즘 혁신
- 전체 스택에 걸쳐 시스템과 기계 학습을 포함한 전략적 계획을 수립하여 데이터 효율성을 극대화함.
- 위험을 감소시키고 준비를 완료하기 위해 실행의 긴 과정을 통해 단계별 접근 방식을 채택함.
- 실제 사례로, AI 기반의 고객 세분화 도입 후 매출이 45% 증가함.
- 새로운 방법론을 사용하여 제품 개발 주기가 6개월에서 8주로 단축됨.
- 개인화된 참여 전략을 통해 고객 유지율이 32% 향상됨.
9. 💡 향후 확장과 시스템 설계
- 초기 시스템 설계 단계에서 ML 팀과의 협력은 필수적입니다. 이 협력은 우리가 정확히 어떤 모델을 훈련할지 결정하는 데 도움을 줍니다.
- 이러한 초기 협력을 통해 시스템 설계의 방향성을 명확하게 하고, 최적의 모델 선택과 훈련 프로세스를 효과적으로 준비할 수 있습니다.
- 구체적인 협력의 예로는, 데이터 요구사항 논의, 모델 성능 목표 설정, 그리고 초기 프로토타입 테스트 등이 포함됩니다.
10. 🧠 인간과 비슷한 데이터 효율성의 도전
- 최신 컴퓨터 시스템은 인간과 유사한 데이터 효율성을 달성하는 데 여러 문제에 직면해 있다.
- 우선순위 계획을 완벽하게 수행하는 데 어려움을 겪으며, 이는 시스템의 복잡성과 데이터 처리 요구의 증가 때문이다.
- 출시 시점에 해결되지 않은 많은 문제가 남아 있어, 지속적인 최적화와 혁신이 필요하다.
- 효율성을 개선하기 위해 AI와 머신러닝을 활용한 데이터 처리 방법이 제안되고 있다.
- 특정 사례로, AI 기반의 데이터 처리 시스템을 도입하면 데이터 처리 속도가 30% 개선될 수 있다.
11. 📈 GPT4.5의 학습과정과 예기치 않은 발견
11.1. 학습 과정에서의 예기치 않은 문제
11.2. 예기치 않은 발견
12. 🧪 실험과 코딩 이슈 해결
12.1. 실험과 코딩 문제 해결 과정
12.2. 훈련 과정의 평가
13. 🔗 코디자인과 시스템 협력
13.1. 시스템 설계와 기대 관리
13.2. 프로젝트 지연 관리 전략
14. 📊 프리트레이닝과 스케일링 법칙
- 초기 단계에서 문제를 해결하는 것은 과정의 지연을 방지하기 위한 균형을 유지하는 것이 중요하다. 예를 들어, AI 시스템을 개발할 때 예상치 못한 문제를 빠르게 해결함으로써 개발 시간을 20% 단축할 수 있다.
- 거의 항상 예측하지 못한 문제가 발생할 수 있으므로 이를 염두에 두고 계획해야 한다. AI 프로젝트에서 발생할 수 있는 문제를 사전에 식별하고 대비함으로써 프로젝트 성공률을 30% 향상시킬 수 있다.
15. 🔍 압축과 학습의 철학적 배경
- 알려진 것을 최대한 처리하고, 실행 계획을 세우며, 진행하면서 미지의 상황에 대처하는 전략을 채택합니다.
The Twenty Minute VC (20VC): Venture Capital | Startup Funding | The Pitch - 20Product: How Scale AI and Harvey Build Product | Why PMs Are Wrong: They are not the CEOs of the Product | How to do Pre and Post Mortems Effectively and How to Nail PRDs | The Future of Product Management in a World of AI with Aatish Nayak
제품 관리자는 종종 제품의 CEO처럼 행동하려는 경향이 있지만, 실제로는 도메인 전문가가 제품 결정에 더 많은 영향을 미치고 있다. 예를 들어, 법률 분야에서는 CLAWD 3.7이 장문의 법률 추론과 작성에 뛰어난 성능을 보인다. 제품 관리자는 고객과 엔지니어 간의 거리를 줄이고, 고객의 요구를 직접 듣고 반영하는 것이 중요하다. 또한, 제품 관리자는 '글루'가 아닌 'WD-40'처럼 조직의 윤활유 역할을 해야 한다. 이는 엔지니어와 고객이 직접 소통할 수 있도록 돕는 것을 의미한다. 시장의 중요성도 강조되며, 좋은 시장을 찾지 못하면 실패할 가능성이 높다. 제품 관리자는 고객의 요구와 코드 작성 간의 거리를 줄여야 하며, 이는 엔지니어가 고객과 직접 대면하는 것을 포함한다. 또한, 제품 관리자는 조직 내에서 '글루'가 아닌 'WD-40'처럼 작동해야 하며, 이는 팀원들이 각자의 역할에서 빛날 수 있도록 돕는 것을 의미한다.
Key Points:
- 제품 관리자는 CEO 역할을 맡기보다는 도메인 전문가의 의견을 반영해야 한다.
- 고객과 엔지니어 간의 거리를 줄여 직접 소통을 촉진해야 한다.
- 시장의 중요성을 인식하고 좋은 시장을 찾아야 한다.
- 제품 관리자는 조직의 윤활유 역할을 하며 팀원들이 빛날 수 있도록 돕는다.
- 제품 관리자는 고객의 요구와 코드 작성 간의 거리를 줄여야 한다.
Details:
1. 🎙️ PM의 역할과 도메인 전문가의 중요성
- PM들은 종종 제품의 CEO가 되어야 한다는 주인공 증후군을 가지고 있다. 그러나 PM의 첫 번째 역할은 회사에 가장 좋은 것이 무엇인지 결정하는 것이다.
- 제품 결정에는 도메인 전문가들이 더 큰 영향을 미치고 있으며, 이들의 아이디어는 더욱 중요해질 것이다.
- 모델과 UX를 특정 직업에 실제로 적용하는 것은 중요하며, 최근 평가에서 CLAWD 3.7은 특히 법률 분야에서 중요성을 보였다.
- PM와 도메인 전문가의 협업은 제품의 성공에 결정적이며, 사례 연구를 통해 어떻게 두 역할이 효과적으로 협력할 수 있는지를 보여줄 필요가 있다.
2. 🚀 하비의 제품 리더십과 AI 스타트업 경험
- 하비는 장기적 법률 추론과 장문 초안 작성에서 뛰어난 성능을 보이며, 이는 제품 리더십에 혁신적인 영향을 미침.
- 20 Product는 매달 최고의 제품 리더와의 인터뷰를 통해 제품 팀의 시작, 확장, 관리 방법을 논의하며, 이러한 대화는 AI 기술이 어떻게 제품 개발 주기를 단축하고 고객 참여를 개인화하는지에 대한 통찰을 제공.
- 아티쉬 나약은 하비의 제품 책임자로, AI를 활용한 제품 리더십과 확장 전략에 대한 구체적인 예와 성과 지표를 공유하여, AI가 제품 리더십에 미치는 영향력을 명확히 함.
3. 🌐 Turing과 Otter AI의 소개 및 혜택
- Turing은 Foundation Capital과 Westbridge Capital과 같은 주요 투자자들로부터 지원받는 AGI 인프라 회사입니다.
- Turing은 Salesforce, Anthropic, Meta와 같은 AI 연구소의 LLM을 고급 추론, 코딩, 다국어 처리, 다중 모달리티 등을 통해 강화합니다.
- Turing은 인공지능과 인간의 전문 지식을 결합하여 Rivian과 Reddit과 같은 기업을 위한 최첨단 AI 시스템을 배포합니다.
- Turing은 현재 사용자가 Gen AI 여정에서 자신을 정확히 파악할 수 있도록 돕는 무료 5분 셀프 평가를 제공합니다.
- 이 평가를 통해 사용자에게 맞춘 모델 전략 최적화를 위한 다음 단계를 제공하며, Turing이 모델을 개선하고 구현하는 방법을 안내합니다.
- Turing의 셀프 평가는 Turing.com/20VC에서 시작할 수 있습니다.
4. 📝 제품 관리자의 역할과 스킬셋 성장 전략
4.1. Otter AI의 혁신적 회의 관리
4.2. Pendo의 사용자 경험 관리 플랫폼
5. 🔄 엔지니어링에서 제품 관리로의 전환 이유
- 직함보다 스킬셋의 성장이 중요하다는 점을 강조하며, 개인의 능력과 발전 가능성에 초점을 맞춰야 함.
- 과거와 달리 현대 직업 환경에서는 다양한 역할에 대한 구분보다는 스킬셋의 성장이 더 중요해졌음.
- Sam Altman의 사례를 통해 잘하는 일을 지속적으로 발전시키면 시간이 흐르면서 큰 성장을 이룰 수 있음을 설명함.
- 자신의 강점과 지적 호기심이 있는 분야를 파악하여, 그에 맞는 직업적 경로를 찾는 것이 중요함을 강조함.
- 스킬셋의 지속적인 향상을 통해 초기 경력에서부터 발전할 수 있는 기회를 잡아야 함.
- 자신의 역량에 맞는 분야를 찾는 것은 장기적으로 성공적인 경력을 쌓는 데 필수적임.
6. 💼 Scale에서의 경험과 제품 개발 인사이트
- Scale은 최근 250억 달러의 자금을 조달하였으며, 올해 말에는 20억 달러의 가치를 기록할 것으로 예상됩니다. 이는 회사의 세대 정의적인 위치를 반영하는 성과입니다.
- 자신의 강점을 살려 일하는 것이 중요하며, 이는 시간이 지남에 따라 복리로 작용하여 더 큰 성과를 창출할 수 있습니다.
- 부모의 초기 격려가 자녀의 특정 분야에 대한 사랑과 능력을 키우는 데 중요한 역할을 한다는 개인적 통찰이 공유되었습니다.
- 전통적인 엔지니어링 외에도 상업적 감각, 리더십, 제품 감각, 사용자 발견 등의 역량을 개발하는 것이 중요하다는 점이 강조되었습니다.
- 기업가로서의 4년 반 동안 Scale에서의 근무 경험이 상당한 가치가 있었음이 언급되었습니다.
7. 🌟 뛰어난 시장을 찾는 것이 중요한 이유
- Scale은 최전선 고객과의 관계를 통해 시장을 정의할 수 있는 자신감을 얻었으며, 이는 새로운 시장 진입 시 가장 중요한 전략 중 하나였다.
- 자율주행 시장 초기에는 Neuro와의 협업을 통해 고객 맞춤형 솔루션을 개발했으며, 이는 다른 기업들이 요구하는 기준이 되었다.
- 고객의 요구가 특정 고객에 국한된 것인지, 아니면 일반적인 요구인지를 판단하여 커스텀 솔루션 개발을 전략적으로 결정해야 한다.
- OpenAI와의 초기 파트너십을 통해 Reddit 구문 레이블링을 위한 맞춤형 제품을 개발했으며, 이는 RLHF의 이점을 인식한 기업들이 요구하는 솔루션으로 발전했다.
- 고객의 요구와 코드 작성 간의 거리를 줄이는 것이 중요하며, 이는 고객의 필요에 직접적으로 대응할 수 있는 제품 개발을 가능하게 한다.
8. 🧭 제품 전략과 리더십의 역할
- 고객과 엔지니어 간의 거리를 줄이는 것이 중요하며, 엔지니어를 고객 앞에 배치함으로써 고객의 요구를 더 잘 이해하고 제품 개발에 반영.
- 엔지니어들이 전 세계 훈련 센터를 방문하여 고객이 제품을 사용하는 방식을 직접 관찰하고 즉석에서 프로토타입을 제작.
- 제품 관리자는 조직의 '글루'가 아닌 'WD-40' 역할을 해야 하며, 팀원들이 각자의 역할을 잘 수행할 수 있도록 지원해야 함.
- PM은 '쇼의 주인공'이 되려하기보다는 제품과 회사의 성공을 위해 다른 팀원들이 빛날 수 있도록 기회를 제공해야 함.
9. 💡 제품 메모와 결정을 위한 커뮤니케이션
9.1. 자율주행 시장의 도전과 성공 요인
9.2. 데이터 라벨링 시장과 시장 전환 전략
10. 🛠️ 기술 부채와 신제품 개발의 균형
- Uber의 사례처럼 뛰어난 시장은 실행 문제를 숨길 수 있습니다. 내부 혼란에도 불구하고 Uber는 높은 시장 수요에 의해 수익성을 유지했습니다.
- 분배(Distribution)는 초기 견인력을 가져다 줄 수 있지만 제품이 이를 뒷받침하지 않으면 지속되지 않습니다. 결국 사용자에게 귀 기울여야 합니다.
- AI와 같은 급속히 변화하는 세계에서 제품의 장기적인 지속 가능성은 제품의 정의와 초점에 따라 다릅니다.
11. 📈 AI 시대의 제품 장기성 유지
- 사티아는 제품 회사로의 전환을 강조했으며, 모바일 앱이 제품의 핵심임을 언급함.
- 장기적인 제품 유지의 핵심은 사용자 경험(UX) 구축에 있다고 설명함.
- ChatGPT는 소비자 기대치를 기본으로 설정했으나, 대화형 인터페이스는 초기 단계에 불과함을 지적함.
- 실제 업무에서는 여러 정보의 수집이 필요하며, 이는 대화형 인터페이스의 한계를 나타냄.
- 제품 개발 시, IKEA 효과를 활용하여 사용자 참여를 통해 브랜드 충성도를 높이는 전략을 소개함.
- AI가 사용자에게 추가 정보를 요청하고, 초안을 작성해 피드백을 받는 방식의 협업을 제안함.
- 대화형 UX의 발전은 실험과 연구가 필요하며, 올바른 인터페이스를 찾기 위한 노력이 강조됨.
12. 🔥 하이퍼 성장 시 팀의 우선순위 설정
12.1. 하이퍼 성장의 정의와 도전 과제
12.2. 우선순위 설정 전략 및 중요성
13. 🔍 제품 메모 작성과 사전 테스트의 중요성
- 리더십의 명확한 방향 제시가 중요하며, 경쟁사에 뒤쳐지지 않기 위해 필요한 조치를 명확히 설명하는 것이 중요함.
- 조직의 급성장 시, 팀원들에게 명확한 컨텍스트를 공유하지 않으면 혼란이 발생할 수 있음.
- Harvey에서는 초기 독재적으로 진행했으나, 팀원들과의 상호 존중과 신뢰 구축이 중요함을 인식함.
- 팀원들에게 '왜' 특정 작업을 하는지 설명함으로써 동의를 얻고, 토론을 통해 합리적인 이유를 제시하면 대체로 동의함.
- 제품 메모 작성의 중요성 강조, 메모를 통해 회사의 초점과 중요한 사항을 명확히 함.
- Harvey의 프레임워크: "랜드, 확장, 고정"을 통해 새로운 고객 유치, 사용량 확대, 고객과의 견고한 관계 구축을 목표로 함.
14. 💼 의사 결정 과정과 기술 부채 관리
- 의사 결정은 빠르게 이동하거나 빠르게 반복하거나 프로토타입을 빠르게 만드는 프로세스의 메타 측면과 UX에 투자해야 할 양 및 기술 부채 정리에 투자해야 할 양을 포함한다.
- 아이디어를 전달하는 것이 가장 중요한 기술이며, 이는 문서, 슬라이드, 빠른 프로토타입 등의 방법으로 이루어질 수 있다.
- 프로토타입을 빠르게 만들 수 있는 환경에서는 디자인 기능이 손실되지 않으며, 오히려 더 나은 디자인을 얻을 수 있다.
- AI를 활용하여 프로토타입을 PRD 이전에 만드는 것이 중요하며, 이는 아이디어를 구현하기 전에 프로토타입을 통해 제품의 UX를 이해하는 데 도움이 된다.
15. 🗂️ 회고와 사후 분석을 통한 개선
- PRD 작성 과정에서 사전 작업과 프로토타이핑을 통해 최종 결과물의 품질을 높이고, 전반적인 개발 속도를 개선할 수 있다.
- PRD는 성경처럼 고정된 문서가 아니라, 프로젝트의 방향성 및 목표를 명확히 하는 문서로 사용되어야 한다.
- 효과적인 PRD는 데이터나 고객의 피드백을 통해 프로젝트의 동기를 명확히 설명해야 한다.
- 사용자 여정을 단계별로 설명하고 다양한 페르소나를 포함시켜야 한다.
- PRD에는 논쟁의 여지가 있는 질문과 문제를 모두 기록하여 초기 단계에서부터 팀의 합의를 이끌어내야 한다.
- 피처 팩토리 방식의 선형적인 개발 프로세스는 비효율적이며, 다양한 팀원 간의 협업과 토론을 통해 제품의 질을 높여야 한다.
- 기술 부채와 새로운 기능 개발 간의 우선순위를 명확히 하여, 기술 부채가 수익과 고객 경험에 미치는 영향을 평가해야 한다.
- 기술 부채 해결을 위해 명확한 결과와 시간 제한을 설정하여 개발 효율성을 높여야 한다.
- 기술 부채가 수익에 영향을 미치는 사례를 수집하고 이를 통해 우선순위를 정해야 한다.
- 정기적인 사후 분석(Postmortem)을 통해 문제 발생 원인을 파악하고, 향후 개선 방안을 마련해야 한다.
16. ⏳ 하이퍼 성장 중 우선순위 설정과 팀 관리
- 레트로(회고)와 포스트모템(사후 분석)은 팀 관리에 필수적이며, 레트로는 매월 정기적으로 진행되어야 한다. 이는 팀의 지속적인 개선을 도모한다.
- 포스트모템은 사건이나 문제가 발생했을 때 수행되며, 구체적인 결정이나 사건을 평가하여 조직의 학습을 강화한다.
- 프리모템은 프로젝트 시작 전 잠재적인 문제를 식별하고 성공 요인을 정의하는 데 사용되며, 프로젝트의 성공 가능성을 높인다.
- 사용자 테스트는 동심원 방식으로 단계별로 진행하여 점진적으로 테스트 범위를 확장한다. 이는 사용자 피드백의 수렴도를 높인다.
- 사용자 테스트의 주요 오류는 사용자에게 편향된 의견을 유도하는 것으로, 이 오류를 피하기 위해 질문 설계에 주의를 기울여야 한다.
- Vault 제품 개발에서는 사용자 피드백을 충분히 반영하지 않아 AI가 자동으로 변환하는 기능이 실제 사용자 요구와 맞지 않았다. 이는 사용자 중심 설계의 중요성을 강조한다.
17. 🚧 사용자 테스트와 피드백의 중요성
- 두 가지 모드를 도입했지만 사용자 테스트 부족으로 혼란 초래: '어시스트 모드'와 '드래프트 모드'의 사용 시점을 사용자들이 명확히 알지 못함
- 사용자에게 선택을 맡기기보다 AI가 사용자의 의도를 파악하여 적합한 시스템을 제안해야 함
- 법률 작업의 평가를 위한 '빅 로우 벤치' 벤치마크 개발: 대형 로펌에서의 실제 법률 작업을 반영하고 구체적인 루브릭 제공
- 법률 전문가의 도메인 전문성 활용이 중요하며, 오픈엔디드 태스크 평가가 법률 작업 실제를 더 잘 반영함
18. 🤖 제품 개발에서의 AI 활용과 도메인 지식
18.1. OpenAI 및 Claude 활용
18.2. Claude의 법적 추론 능력
18.3. AI 모델의 미래와 제품화
18.4. Cursor와 Codium의 UX 및 데이터 활용
18.5. AI의 제품 관리 변화
19. 🧠 AGI와 인간의 상호작용
19.1. 법적 및 문화적 도전 과제
19.2. AGI의 감정적 지원 역할
19.3. 소비자 신뢰와 AGI
20. 🎯 제품 전략과 AI 시대의 리더십
- AI 에이전트가 모든 일을 자동으로 처리할 것이라는 가정이 있지만, 실제로는 복잡한 작업에는 인간의 맥락과 감정이 필요하다.
- 안정성보다 혼란과 불안정을 수용해야 진정한 행복과 성취를 얻을 수 있다.
- AI 시대에는 다양한 시도를 통해 무엇이 가치 있는지를 찾는 것이 중요하며, 20대에 모든 것을 해결할 필요는 없다.
- Harvey의 코드 중 20%가 AI에 의해 작성되며, 유닛 테스트 자동화에 AI를 더 활용할 수 있다.
- 런던은 AI 인재의 공급이 풍부하여 AI 회사를 설립하기 용이하다.
- Perplexity는 빠른 답변 제공과 핵심 경험에 집중하여 소비자에게 채택되고 있다.
21. 📣 향후 에피소드 예고 및 감사 인사
- Pendo는 코드 작성이 필요 없는 소프트웨어 경험 관리 플랫폼으로, 사용자의 막힘을 파악하고 앱 내 메시지를 통해 길잡이를 제공하며 UI를 지속적으로 개선합니다.
- 이 플랫폼은 14,000개 이상의 기업이 수익을 증가시키고 비용을 절감하며 위험을 줄이는 데 사용되고 있습니다.
- 기업들은 통제력을, 엔지니어들은 자유를 얻으며 모두가 이익을 봅니다.
- 무료 시작은 pendo.io/20product에서 가능합니다.
Included Channels
Anthropic
OpenAI
Lex Fridman Podcast
All-In with Chamath, Jason, Sacks & Friedberg
Modern Wisdom
Greymatter
a16z Podcast
Lenny's Podcast: Product | Career | Growth
No Priors AI
Lightcone Podcast
In Depth
The Twenty Minute VC (20VC): Venture Capital | Startup Funding | The Pitch
How I Built This with Guy Raz
BG2Pod with Brad Gerstner and Bill Gurley
Latent Space: The AI Engineer Podcast
Fireship
