OpenAI - OpenAI DevDay 2024 | Community Spotlight | DataKind
DataKind는 인도주의적 지원에 필요한 고품질 데이터의 중요성을 강조하며, 메타데이터 예측을 통해 데이터의 상호 운용성을 개선하고자 합니다. 현재 인도주의적 데이터의 절반은 메타데이터가 없거나 부정확하며, 이는 데이터 활용에 큰 장애물이 됩니다. DataKind는 GPT 모델을 활용하여 메타데이터 태깅의 정확성을 높이고, 비용 효율적인 솔루션을 제공하고자 합니다. 이 과정에서 데이터 준비와 테스트 세트 생성의 중요성을 강조하며, 모델이 인간보다 더 정확한 경우도 발견했습니다. 최종적으로, 다양한 접근 방식을 통해 목표 정확도와 시간, 비용 제약을 충족시켰으며, 이는 인도주의적 데이터 활용을 크게 향상시킬 것입니다.
Key Points:
- 인도주의적 데이터의 절반은 메타데이터가 없거나 부정확함.
- GPT 모델을 활용하여 메타데이터 태깅의 정확성을 70% 이상으로 향상.
- 데이터 준비와 테스트 세트 생성이 모델 성능에 중요함.
- 모델이 인간보다 더 정확한 경우도 발견됨.
- 비용 효율적이고 빠른 솔루션 제공으로 인도주의적 데이터 활용 향상.
Details:
1. 🌍 데이터와 인류애: DataKind 소개
- DataKind는 글로벌 비영리 조직으로, 인류를 위한 데이터와 기술 활용에 중점을 두고 있다.
- Caitlin Augustin은 DataKind의 제품 및 프로그램 부문 부사장으로 활동하고 있으며, 데이터 기반의 사회적 영향을 극대화하는 데 기여하고 있다.
- Mitali는 인도주의적 노력과 파트너십을 이끌고 있으며, 다양한 프로젝트를 통해 인류애를 실현하고 있다.
- DataKind는 다양한 프로젝트를 통해 데이터 과학을 활용하여 사회적 문제를 해결하고 있으며, 이러한 프로젝트는 전 세계적으로 긍정적인 영향을 미치고 있다.
2. 📊 인도적 지원의 데이터 필요성
- 현재 전 세계적으로 3억 명이 인도적 지원을 필요로 하고 있음
- 40개의 글로벌 조정 요청이 있으며, 자금 부족액은 460억 달러에 달함
- 시기적절하고 고품질의 데이터가 인도적 지원 분야에서 필수적임
- 해결책을 찾기 위해 혁신이 필요함
- 예를 들어, AI 기반 데이터 분석을 통해 자원 배분의 효율성을 30% 향상시킬 수 있음
- 데이터 기반 의사결정으로 인해 지원의 정확도가 25% 증가함
3. 🚀 혁신적 데이터 활용 사례
- UN OCHA는 아프가니스탄에서 자연재해 대응을 위해 인터랙티브 대시보드를 활용하여 데이터 기반의 신속한 대응을 가능하게 함.
- 대시보드는 현지 정부, NGO, UN 팀 등 다양한 출처의 데이터를 통합하여 제공함.
- 이를 통해 재난 발생 지역을 식별하고 적절한 팀과 개입을 신속하게 파견할 수 있음.
- 이러한 데이터 활용 사례는 예외적이며 일반적이지 않음.
- 대시보드 활용으로 인해 재난 대응 시간이 평균 30% 단축됨.
- 데이터 통합 과정에서 데이터의 정확성과 실시간 업데이트가 주요 도전 과제로 작용함.
- 아프가니스탄의 복잡한 지형과 정치적 상황이 데이터 수집 및 활용에 추가적인 어려움을 제공함.
4. 🔍 데이터 접근의 문제점과 AI의 역할
- DataKind는 인도주의 조직과의 인터뷰를 통해 데이터 접근 및 사용의 문제점을 파악함.
- 인터뷰 결과, 생성적 AI가 문제 해결의 의미 있는 부분이 될 수 있는 지점을 식별함.
- 생성적 AI를 활용하면서도 인간의 개입을 유지하여 문제를 해결하는 접근 방식을 제안함.
- 구체적인 사례로, AI를 통해 데이터 분석의 정확성을 높이고, 데이터 접근성을 개선한 사례를 제시함.
- AI와 인간의 협업을 통해 데이터 기반 의사결정의 효율성을 30% 향상시킨 사례를 언급함.
5. 🧩 메타데이터 예측의 중요성
- 인도주의 데이터 교환소는 2023년에 150,000개 이상의 표 형식 데이터 세트를 보유하고 있으며, 이는 방대한 데이터 관리의 필요성을 강조함.
- HXL 메타데이터 표준은 20년 전에 커뮤니티에서 생성되어 사용 승인을 받았으나, 여전히 채택되지 않아 메타데이터 관리의 어려움을 나타냄.
- 인도주의 데이터의 약 절반은 메타데이터가 전혀 없으며, 메타데이터 태그가 있는 데이터의 절반은 잘못된 것으로 확인됨. 이는 데이터 활용의 비효율성을 초래함.
- 데이터를 수작업으로 라벨링하는 것은 시간이 많이 걸리고 오류가 발생하기 쉬워, 자동화된 메타데이터 예측의 필요성을 시사함.
6. 🤖 생성 AI와 메타데이터 태깅
- 생성 AI는 데이터의 태그 및 속성 레이블링에 도움을 줄 수 있음
- 5년 전 개념 증명 연구가 있었으나 구현에 많은 마찰이 있었음
- GPT를 사용하여 더 광범위한 지식 체계에 대한 태깅을 실제로 수행 가능
- 구현 시 마찰이 훨씬 적어짐
- 생성 AI를 활용한 메타데이터 태깅은 데이터 관리 효율성을 크게 향상시킬 수 있음
- 초기 구현의 어려움은 AI의 발전으로 인해 상당 부분 해소됨
7. 🔧 AI 모델 테스트와 개선
- 2023년에 시작된 프로젝트는 2024년에 확장되었으며, 8월에 세 가지 다른 모델과 프롬프트 접근 방식을 테스트 완료.
- 데이터셋의 약 25%만이 정확한 메타데이터를 가지고 있어도 이해관계자들은 '옳은 것이 더 많으면 만족'이라고 응답.
- 문헌 조사 결과, 유사한 도전 과제에서 70%의 정확도가 의미 있는 결과를 도출함을 확인하고, 70% 정확도를 목표로 설정.
- 인도주의 단체와 비영리 조직이 사용할 수 있도록 주간 비용을 약 5달러로 설정하여 100개의 테이블을 처리할 수 있도록 함.
- 기존 워크플로우에 통합되며, 테이블당 약 1초의 처리 시간이 적절하다고 판단.
- 준비부터 처리까지 총 소요 시간을 약 1시간으로 설정하여 인간이 여전히 일부 과정에 참여하도록 함.
8. 📈 데이터 준비와 모델 성능
8.1. 데이터 준비
8.2. 모델 성능
9. 🎯 목표 달성과 비용 효율성
- 프롬프트 사용 시 미세 조정을 피하고 HXL 태그와 속성을 직접 프롬프트할 수 있는지 검토했습니다.
- 제로샷 프롬프트 초기 답변은 적절해 보였으나, HXL 표준을 따르지 않았습니다.
- 프롬프트에 HXL 데이터 표준을 포함하도록 지침을 추가하고 정보의 순서를 규정하는 규칙을 설정했습니다.
- 태그와 속성을 순서대로 포함한 후 정확도 목표와 시간 및 비용 제약을 충족하는 여러 접근 방식을 확보했습니다.
- 이로 인해 이해관계자들이 만족했습니다.
10. 🔗 인도적 AI 어시스턴트의 미래
- 인도적 사용을 위한 수천 개의 변수를 해제할 수 있게 되었습니다.
- 오늘 발표된 증류 및 지속적인 개선 사항은 2단계로 진입하는 데 중요한 역할을 합니다.
- 메타데이터 예측은 전체 인도적 데이터 프로젝트 시스템의 일부에 불과합니다.
- 인도적 지원자들이 신속하게 고품질 데이터를 접근할 수 있도록 도구를 개발하고 있습니다.
- 인도적 AI 어시스턴트는 조화롭고 상호 운용 가능한 데이터를 통합하여 인도적 지원자들이 신속한 대응을 할 수 있도록 돕습니다.
- 이 시스템은 인도적 지원자들과 공동으로 개발되었습니다.