OpenAI - Dev Day Holiday Edition—12 Days of OpenAI: Day 9
OpenAI는 2백만 명 이상의 개발자가 200개 이상의 국가에서 사용 중인 API의 새로운 기능을 발표했습니다. 새로운 기능에는 함수 호출, 구조화된 출력, 개발자 메시지, 추론 노력, 비전 입력 등이 포함됩니다. 함수 호출은 모델이 백엔드 API와 상호작용할 수 있게 하며, 구조화된 출력은 JSON 스키마에 따라 모델의 출력을 형식화합니다. 또한, 실시간 API에 WebRTC 지원을 추가하여 저지연 음성 경험을 제공합니다. 새로운 미세 조정 방법인 '선호도 미세 조정'도 도입되어 사용자 선호도에 맞춘 모델을 생성할 수 있습니다. 이 모든 기능은 개발자들이 더 나은 사용자 경험을 제공할 수 있도록 돕습니다.
Key Points:
- OpenAI는 새로운 API 기능을 발표하여 개발자들이 더 나은 애플리케이션을 구축할 수 있도록 지원합니다.
- 함수 호출과 구조화된 출력 기능을 통해 모델이 백엔드 API와 상호작용하고 JSON 스키마에 따라 출력을 형식화할 수 있습니다.
- 실시간 API에 WebRTC 지원을 추가하여 저지연 음성 경험을 제공합니다.
- 새로운 '선호도 미세 조정' 방법을 통해 사용자 선호도에 맞춘 모델을 생성할 수 있습니다.
- 개발자들은 새로운 기능을 통해 더 나은 사용자 경험을 제공할 수 있습니다.
Details:
1. 🎉 개발자와 스타트업을 위한 특별한 날
- OpenAI API를 기반으로 200개 이상의 국가에서 200만 명의 개발자가 활동 중임
- 개발자와 스타트업을 위한 새로운 모델과 기능 발표
- 커뮤니티의 일원으로서 감사의 표시로 새로운 기능 제공
2. 🚀 새로운 기능과 모델 발표
2.1. 새로운 기능 발표
2.2. 새로운 기능의 응용
3. 🛠️ 실시간 데모와 기능 시연
- 새로운 매개변수 'reasoning effort' 도입으로 모델이 문제 해결에 소요하는 시간을 조절 가능, 쉬운 문제에선 시간과 비용 절약 가능
- Vision 입력 기능 출시로 제조업 및 과학 분야에서 활용 기대
- 개발자 플레이그라운드를 통해 Open AI 모델 실험 가능, UI 개선
- 텍스트 양식의 오류 감지 기능 시연, 전문적인 판단 대체 불가
4. 🔍 오류 감지와 함수 호출 기능
4.1. 오류 감지
4.2. 오류 수정 및 함수 호출
5. 📊 내부 평가와 성능 향상
- 새로운 o1 모델은 함수 호출에서 gbt 4.0보다 훨씬 뛰어난 성능을 보임
- 구조화된 출력과 함수 호출을 결합하여 사용할 때 o1 모델의 성능이 더욱 향상됨
- o1 모델은 코딩 평가에서도 o1 프리뷰 및 4.0보다 뛰어난 성능을 보임
- o1 모델은 구조화된 출력을 사용할 때도 추론 능력을 유지하여 응용 프로그램에서 안정적인 결과를 제공함
- o1 모델은 01 프리뷰보다 60% 적은 토큰을 사용하여 더 빠르고 저렴한 성능을 제공함
6. 🎤 실시간 API와 WebRTC 지원
- WebRTC 지원 발표로 실시간 API가 인터넷 환경에 최적화된 저지연 음성 스트리밍을 가능하게 함.
- WebRTC는 비트레이트 조정, 에코 캔슬링 등 인터넷의 변화에 대응하는 기능을 제공하여 개발자들이 더 쉽게 애플리케이션을 구축할 수 있도록 지원.
- 기존 웹소켓 통합에 비해 코드 라인이 200~250줄에서 12줄로 대폭 감소, 백프레셔 처리 등 추가 문제 해결 필요 없음.
- 데모에서 12줄의 코드로 실시간 음성 응답을 구현, API 토큰만 변경하여 코드 실행 가능.
7. 🤖 맞춤형 모델을 위한 세부 조정
- GPT 40 오디오 토큰의 비용이 60% 절감되었습니다.
- 4 미니 오디오 토큰은 현재 가격보다 10배 저렴합니다.
- Python SDK 지원이 추가되어 API 통합이 더욱 쉬워졌습니다.
- 사용자 선호도에 맞춘 모델을 생성하기 위한 '선호도 세부 조정' 방법이 도입되었습니다.
- 선호도 세부 조정은 사용자가 선호하는 응답 쌍을 제공하여 모델이 차이를 학습하도록 최적화합니다.
- 일반적인 사용 사례로는 고객 지원, 카피라이팅, 창의적 글쓰기가 있습니다.
- 모델의 응답이 너무 장황하거나 관련 없는 답변을 줄 때, 선호도 세부 조정을 통해 더 간결하고 관련성 있는 응답을 유도할 수 있습니다.
8. 📈 선호도 기반 세부 조정 소개
- 선호도 기반 세부 조정은 조직의 특정 스타일이나 톤을 유지하는 데 도움을 줄 수 있습니다.
- API를 통해 세부 조정을 시작하는 것은 매우 간단하며, 플랫폼 UI에서 '세부 조정 생성'을 클릭하여 시작할 수 있습니다.
- 기본 모델로 GPT 40을 선택하고, 훈련 데이터를 업로드하여 세부 조정을 진행할 수 있습니다.
- 훈련 데이터는 Json L 파일 형식으로 입력 메시지, 선호 출력, 비선호 출력을 포함해야 합니다.
- 데이터 세트 크기에 따라 세부 조정 프로세스는 몇 분에서 몇 시간까지 소요될 수 있습니다.
- 초기 액세스를 받은 파트너들은 선호도 기반 세부 조정을 통해 긍정적인 결과를 얻었습니다.
- 예를 들어, Rogo AI는 금융 분석가를 위한 AI 어시스턴트를 구축하면서 사용자 쿼리를 재작성하고 재구성하여 더 관련성 높은 답변을 제공하고 있습니다.
- 기존의 감독 세부 조정으로는 기본 모델보다 성능을 향상시킬 수 없었지만, 선호도 기반 세부 조정을 통해 내부 벤치마크에서 정확도가 75%에서 80% 이상으로 증가했습니다.
9. 🎁 추가 발표 및 마무리
- GPT 40과 GPT 40 mini가 오늘부터 동일한 훈련 토큰 가격으로 제공됩니다.
- API의 o1 o1 기능이 오늘부터 5단계로 출시됩니다.
- 실시간 API, 새로운 API, 간단한 웹 RTC 통합 및 가격 TP에 대해 논의되었습니다.
- 모델을 사용자 맞춤형으로 쉽게 만들기 위한 preference F 튜닝이 소개되었습니다.
- Go 및 Java SDK에 대한 공식 지원이 시작되었습니다.
- 새로운 로그인 및 API 키 발급 절차가 간소화되었습니다.
- 전 세계적으로 개최된 개발자 데이의 강연이 YouTube에 공개되었습니다.
- 오늘부터 개발자 포럼에서 AMA 세션이 진행됩니다.