The Twenty Minute VC (20VC): Venture Capital | Startup Funding | The Pitch - 20Product: How Scale AI and Harvey Build Product | Why PMs Are Wrong: They are not the CEOs of the Product | How to do Pre and Post Mortems Effectively and How to Nail PRDs | The Future of Product Management in a World of AI with Aatish Nayak
제품 관리자는 종종 제품의 CEO처럼 행동하려는 경향이 있지만, 실제로는 도메인 전문가가 제품 결정에 더 많은 영향을 미치고 있다. 예를 들어, 법률 분야에서는 CLAWD 3.7이 장문의 법률 추론과 작성에 뛰어난 성능을 보인다. 제품 관리자는 고객과 엔지니어 간의 거리를 줄이고, 고객의 요구를 직접 듣고 반영하는 것이 중요하다. 또한, 제품 관리자는 '글루'가 아닌 'WD-40'처럼 조직의 윤활유 역할을 해야 한다. 이는 엔지니어와 고객이 직접 소통할 수 있도록 돕는 것을 의미한다. 시장의 중요성도 강조되며, 좋은 시장을 찾지 못하면 실패할 가능성이 높다. 제품 관리자는 고객의 요구와 코드 작성 간의 거리를 줄여야 하며, 이는 엔지니어가 고객과 직접 대면하는 것을 포함한다. 또한, 제품 관리자는 조직 내에서 '글루'가 아닌 'WD-40'처럼 작동해야 하며, 이는 팀원들이 각자의 역할에서 빛날 수 있도록 돕는 것을 의미한다.
Key Points:
- 제품 관리자는 CEO 역할을 맡기보다는 도메인 전문가의 의견을 반영해야 한다.
- 고객과 엔지니어 간의 거리를 줄여 직접 소통을 촉진해야 한다.
- 시장의 중요성을 인식하고 좋은 시장을 찾아야 한다.
- 제품 관리자는 조직의 윤활유 역할을 하며 팀원들이 빛날 수 있도록 돕는다.
- 제품 관리자는 고객의 요구와 코드 작성 간의 거리를 줄여야 한다.
Details:
1. 🎙️ PM의 역할과 도메인 전문가의 중요성
- PM들은 종종 제품의 CEO가 되어야 한다는 주인공 증후군을 가지고 있다. 그러나 PM의 첫 번째 역할은 회사에 가장 좋은 것이 무엇인지 결정하는 것이다.
- 제품 결정에는 도메인 전문가들이 더 큰 영향을 미치고 있으며, 이들의 아이디어는 더욱 중요해질 것이다.
- 모델과 UX를 특정 직업에 실제로 적용하는 것은 중요하며, 최근 평가에서 CLAWD 3.7은 특히 법률 분야에서 중요성을 보였다.
- PM와 도메인 전문가의 협업은 제품의 성공에 결정적이며, 사례 연구를 통해 어떻게 두 역할이 효과적으로 협력할 수 있는지를 보여줄 필요가 있다.
2. 🚀 하비의 제품 리더십과 AI 스타트업 경험
- 하비는 장기적 법률 추론과 장문 초안 작성에서 뛰어난 성능을 보이며, 이는 제품 리더십에 혁신적인 영향을 미침.
- 20 Product는 매달 최고의 제품 리더와의 인터뷰를 통해 제품 팀의 시작, 확장, 관리 방법을 논의하며, 이러한 대화는 AI 기술이 어떻게 제품 개발 주기를 단축하고 고객 참여를 개인화하는지에 대한 통찰을 제공.
- 아티쉬 나약은 하비의 제품 책임자로, AI를 활용한 제품 리더십과 확장 전략에 대한 구체적인 예와 성과 지표를 공유하여, AI가 제품 리더십에 미치는 영향력을 명확히 함.
3. 🌐 Turing과 Otter AI의 소개 및 혜택
- Turing은 Foundation Capital과 Westbridge Capital과 같은 주요 투자자들로부터 지원받는 AGI 인프라 회사입니다.
- Turing은 Salesforce, Anthropic, Meta와 같은 AI 연구소의 LLM을 고급 추론, 코딩, 다국어 처리, 다중 모달리티 등을 통해 강화합니다.
- Turing은 인공지능과 인간의 전문 지식을 결합하여 Rivian과 Reddit과 같은 기업을 위한 최첨단 AI 시스템을 배포합니다.
- Turing은 현재 사용자가 Gen AI 여정에서 자신을 정확히 파악할 수 있도록 돕는 무료 5분 셀프 평가를 제공합니다.
- 이 평가를 통해 사용자에게 맞춘 모델 전략 최적화를 위한 다음 단계를 제공하며, Turing이 모델을 개선하고 구현하는 방법을 안내합니다.
- Turing의 셀프 평가는 Turing.com/20VC에서 시작할 수 있습니다.
4. 📝 제품 관리자의 역할과 스킬셋 성장 전략
4.1. Otter AI의 혁신적 회의 관리
4.2. Pendo의 사용자 경험 관리 플랫폼
5. 🔄 엔지니어링에서 제품 관리로의 전환 이유
- 직함보다 스킬셋의 성장이 중요하다는 점을 강조하며, 개인의 능력과 발전 가능성에 초점을 맞춰야 함.
- 과거와 달리 현대 직업 환경에서는 다양한 역할에 대한 구분보다는 스킬셋의 성장이 더 중요해졌음.
- Sam Altman의 사례를 통해 잘하는 일을 지속적으로 발전시키면 시간이 흐르면서 큰 성장을 이룰 수 있음을 설명함.
- 자신의 강점과 지적 호기심이 있는 분야를 파악하여, 그에 맞는 직업적 경로를 찾는 것이 중요함을 강조함.
- 스킬셋의 지속적인 향상을 통해 초기 경력에서부터 발전할 수 있는 기회를 잡아야 함.
- 자신의 역량에 맞는 분야를 찾는 것은 장기적으로 성공적인 경력을 쌓는 데 필수적임.
6. 💼 Scale에서의 경험과 제품 개발 인사이트
- Scale은 최근 250억 달러의 자금을 조달하였으며, 올해 말에는 20억 달러의 가치를 기록할 것으로 예상됩니다. 이는 회사의 세대 정의적인 위치를 반영하는 성과입니다.
- 자신의 강점을 살려 일하는 것이 중요하며, 이는 시간이 지남에 따라 복리로 작용하여 더 큰 성과를 창출할 수 있습니다.
- 부모의 초기 격려가 자녀의 특정 분야에 대한 사랑과 능력을 키우는 데 중요한 역할을 한다는 개인적 통찰이 공유되었습니다.
- 전통적인 엔지니어링 외에도 상업적 감각, 리더십, 제품 감각, 사용자 발견 등의 역량을 개발하는 것이 중요하다는 점이 강조되었습니다.
- 기업가로서의 4년 반 동안 Scale에서의 근무 경험이 상당한 가치가 있었음이 언급되었습니다.
7. 🌟 뛰어난 시장을 찾는 것이 중요한 이유
- Scale은 최전선 고객과의 관계를 통해 시장을 정의할 수 있는 자신감을 얻었으며, 이는 새로운 시장 진입 시 가장 중요한 전략 중 하나였다.
- 자율주행 시장 초기에는 Neuro와의 협업을 통해 고객 맞춤형 솔루션을 개발했으며, 이는 다른 기업들이 요구하는 기준이 되었다.
- 고객의 요구가 특정 고객에 국한된 것인지, 아니면 일반적인 요구인지를 판단하여 커스텀 솔루션 개발을 전략적으로 결정해야 한다.
- OpenAI와의 초기 파트너십을 통해 Reddit 구문 레이블링을 위한 맞춤형 제품을 개발했으며, 이는 RLHF의 이점을 인식한 기업들이 요구하는 솔루션으로 발전했다.
- 고객의 요구와 코드 작성 간의 거리를 줄이는 것이 중요하며, 이는 고객의 필요에 직접적으로 대응할 수 있는 제품 개발을 가능하게 한다.
8. 🧭 제품 전략과 리더십의 역할
- 고객과 엔지니어 간의 거리를 줄이는 것이 중요하며, 엔지니어를 고객 앞에 배치함으로써 고객의 요구를 더 잘 이해하고 제품 개발에 반영.
- 엔지니어들이 전 세계 훈련 센터를 방문하여 고객이 제품을 사용하는 방식을 직접 관찰하고 즉석에서 프로토타입을 제작.
- 제품 관리자는 조직의 '글루'가 아닌 'WD-40' 역할을 해야 하며, 팀원들이 각자의 역할을 잘 수행할 수 있도록 지원해야 함.
- PM은 '쇼의 주인공'이 되려하기보다는 제품과 회사의 성공을 위해 다른 팀원들이 빛날 수 있도록 기회를 제공해야 함.
9. 💡 제품 메모와 결정을 위한 커뮤니케이션
9.1. 자율주행 시장의 도전과 성공 요인
9.2. 데이터 라벨링 시장과 시장 전환 전략
10. 🛠️ 기술 부채와 신제품 개발의 균형
- Uber의 사례처럼 뛰어난 시장은 실행 문제를 숨길 수 있습니다. 내부 혼란에도 불구하고 Uber는 높은 시장 수요에 의해 수익성을 유지했습니다.
- 분배(Distribution)는 초기 견인력을 가져다 줄 수 있지만 제품이 이를 뒷받침하지 않으면 지속되지 않습니다. 결국 사용자에게 귀 기울여야 합니다.
- AI와 같은 급속히 변화하는 세계에서 제품의 장기적인 지속 가능성은 제품의 정의와 초점에 따라 다릅니다.
11. 📈 AI 시대의 제품 장기성 유지
- 사티아는 제품 회사로의 전환을 강조했으며, 모바일 앱이 제품의 핵심임을 언급함.
- 장기적인 제품 유지의 핵심은 사용자 경험(UX) 구축에 있다고 설명함.
- ChatGPT는 소비자 기대치를 기본으로 설정했으나, 대화형 인터페이스는 초기 단계에 불과함을 지적함.
- 실제 업무에서는 여러 정보의 수집이 필요하며, 이는 대화형 인터페이스의 한계를 나타냄.
- 제품 개발 시, IKEA 효과를 활용하여 사용자 참여를 통해 브랜드 충성도를 높이는 전략을 소개함.
- AI가 사용자에게 추가 정보를 요청하고, 초안을 작성해 피드백을 받는 방식의 협업을 제안함.
- 대화형 UX의 발전은 실험과 연구가 필요하며, 올바른 인터페이스를 찾기 위한 노력이 강조됨.
12. 🔥 하이퍼 성장 시 팀의 우선순위 설정
12.1. 하이퍼 성장의 정의와 도전 과제
12.2. 우선순위 설정 전략 및 중요성
13. 🔍 제품 메모 작성과 사전 테스트의 중요성
- 리더십의 명확한 방향 제시가 중요하며, 경쟁사에 뒤쳐지지 않기 위해 필요한 조치를 명확히 설명하는 것이 중요함.
- 조직의 급성장 시, 팀원들에게 명확한 컨텍스트를 공유하지 않으면 혼란이 발생할 수 있음.
- Harvey에서는 초기 독재적으로 진행했으나, 팀원들과의 상호 존중과 신뢰 구축이 중요함을 인식함.
- 팀원들에게 '왜' 특정 작업을 하는지 설명함으로써 동의를 얻고, 토론을 통해 합리적인 이유를 제시하면 대체로 동의함.
- 제품 메모 작성의 중요성 강조, 메모를 통해 회사의 초점과 중요한 사항을 명확히 함.
- Harvey의 프레임워크: "랜드, 확장, 고정"을 통해 새로운 고객 유치, 사용량 확대, 고객과의 견고한 관계 구축을 목표로 함.
14. 💼 의사 결정 과정과 기술 부채 관리
- 의사 결정은 빠르게 이동하거나 빠르게 반복하거나 프로토타입을 빠르게 만드는 프로세스의 메타 측면과 UX에 투자해야 할 양 및 기술 부채 정리에 투자해야 할 양을 포함한다.
- 아이디어를 전달하는 것이 가장 중요한 기술이며, 이는 문서, 슬라이드, 빠른 프로토타입 등의 방법으로 이루어질 수 있다.
- 프로토타입을 빠르게 만들 수 있는 환경에서는 디자인 기능이 손실되지 않으며, 오히려 더 나은 디자인을 얻을 수 있다.
- AI를 활용하여 프로토타입을 PRD 이전에 만드는 것이 중요하며, 이는 아이디어를 구현하기 전에 프로토타입을 통해 제품의 UX를 이해하는 데 도움이 된다.
15. 🗂️ 회고와 사후 분석을 통한 개선
- PRD 작성 과정에서 사전 작업과 프로토타이핑을 통해 최종 결과물의 품질을 높이고, 전반적인 개발 속도를 개선할 수 있다.
- PRD는 성경처럼 고정된 문서가 아니라, 프로젝트의 방향성 및 목표를 명확히 하는 문서로 사용되어야 한다.
- 효과적인 PRD는 데이터나 고객의 피드백을 통해 프로젝트의 동기를 명확히 설명해야 한다.
- 사용자 여정을 단계별로 설명하고 다양한 페르소나를 포함시켜야 한다.
- PRD에는 논쟁의 여지가 있는 질문과 문제를 모두 기록하여 초기 단계에서부터 팀의 합의를 이끌어내야 한다.
- 피처 팩토리 방식의 선형적인 개발 프로세스는 비효율적이며, 다양한 팀원 간의 협업과 토론을 통해 제품의 질을 높여야 한다.
- 기술 부채와 새로운 기능 개발 간의 우선순위를 명확히 하여, 기술 부채가 수익과 고객 경험에 미치는 영향을 평가해야 한다.
- 기술 부채 해결을 위해 명확한 결과와 시간 제한을 설정하여 개발 효율성을 높여야 한다.
- 기술 부채가 수익에 영향을 미치는 사례를 수집하고 이를 통해 우선순위를 정해야 한다.
- 정기적인 사후 분석(Postmortem)을 통해 문제 발생 원인을 파악하고, 향후 개선 방안을 마련해야 한다.
16. ⏳ 하이퍼 성장 중 우선순위 설정과 팀 관리
- 레트로(회고)와 포스트모템(사후 분석)은 팀 관리에 필수적이며, 레트로는 매월 정기적으로 진행되어야 한다. 이는 팀의 지속적인 개선을 도모한다.
- 포스트모템은 사건이나 문제가 발생했을 때 수행되며, 구체적인 결정이나 사건을 평가하여 조직의 학습을 강화한다.
- 프리모템은 프로젝트 시작 전 잠재적인 문제를 식별하고 성공 요인을 정의하는 데 사용되며, 프로젝트의 성공 가능성을 높인다.
- 사용자 테스트는 동심원 방식으로 단계별로 진행하여 점진적으로 테스트 범위를 확장한다. 이는 사용자 피드백의 수렴도를 높인다.
- 사용자 테스트의 주요 오류는 사용자에게 편향된 의견을 유도하는 것으로, 이 오류를 피하기 위해 질문 설계에 주의를 기울여야 한다.
- Vault 제품 개발에서는 사용자 피드백을 충분히 반영하지 않아 AI가 자동으로 변환하는 기능이 실제 사용자 요구와 맞지 않았다. 이는 사용자 중심 설계의 중요성을 강조한다.
17. 🚧 사용자 테스트와 피드백의 중요성
- 두 가지 모드를 도입했지만 사용자 테스트 부족으로 혼란 초래: '어시스트 모드'와 '드래프트 모드'의 사용 시점을 사용자들이 명확히 알지 못함
- 사용자에게 선택을 맡기기보다 AI가 사용자의 의도를 파악하여 적합한 시스템을 제안해야 함
- 법률 작업의 평가를 위한 '빅 로우 벤치' 벤치마크 개발: 대형 로펌에서의 실제 법률 작업을 반영하고 구체적인 루브릭 제공
- 법률 전문가의 도메인 전문성 활용이 중요하며, 오픈엔디드 태스크 평가가 법률 작업 실제를 더 잘 반영함
18. 🤖 제품 개발에서의 AI 활용과 도메인 지식
18.1. OpenAI 및 Claude 활용
18.2. Claude의 법적 추론 능력
18.3. AI 모델의 미래와 제품화
18.4. Cursor와 Codium의 UX 및 데이터 활용
18.5. AI의 제품 관리 변화
19. 🧠 AGI와 인간의 상호작용
19.1. 법적 및 문화적 도전 과제
19.2. AGI의 감정적 지원 역할
19.3. 소비자 신뢰와 AGI
20. 🎯 제품 전략과 AI 시대의 리더십
- AI 에이전트가 모든 일을 자동으로 처리할 것이라는 가정이 있지만, 실제로는 복잡한 작업에는 인간의 맥락과 감정이 필요하다.
- 안정성보다 혼란과 불안정을 수용해야 진정한 행복과 성취를 얻을 수 있다.
- AI 시대에는 다양한 시도를 통해 무엇이 가치 있는지를 찾는 것이 중요하며, 20대에 모든 것을 해결할 필요는 없다.
- Harvey의 코드 중 20%가 AI에 의해 작성되며, 유닛 테스트 자동화에 AI를 더 활용할 수 있다.
- 런던은 AI 인재의 공급이 풍부하여 AI 회사를 설립하기 용이하다.
- Perplexity는 빠른 답변 제공과 핵심 경험에 집중하여 소비자에게 채택되고 있다.
21. 📣 향후 에피소드 예고 및 감사 인사
- Pendo는 코드 작성이 필요 없는 소프트웨어 경험 관리 플랫폼으로, 사용자의 막힘을 파악하고 앱 내 메시지를 통해 길잡이를 제공하며 UI를 지속적으로 개선합니다.
- 이 플랫폼은 14,000개 이상의 기업이 수익을 증가시키고 비용을 절감하며 위험을 줄이는 데 사용되고 있습니다.
- 기업들은 통제력을, 엔지니어들은 자유를 얻으며 모두가 이익을 봅니다.
- 무료 시작은 pendo.io/20product에서 가능합니다.