OpenAI - OpenAI DevDay 2024 | Community Spotlight | DataKind
데이터카인드의 부사장 Caitlyn Augustine과 동료 Ted는 인도주의적 지원을 위한 데이터의 중요성을 강조합니다. 현재 3억 명이 인도주의적 지원이 필요하며, 464억 달러의 자금 격차가 존재합니다. 데이터카인드는 UN OCHA의 아프가니스탄 대응 사례를 통해 데이터가 어떻게 효과적으로 활용될 수 있는지를 보여줍니다. 그러나 대부분의 경우 데이터의 질이 낮아 문제를 일으킵니다. 데이터카인드는 인도주의 단체와의 인터뷰를 통해 데이터 접근의 어려움을 파악하고, 생성적 AI를 활용하여 메타데이터 예측 문제를 해결하려고 합니다. 메타데이터의 부정확성 문제를 해결하기 위해 AI를 활용하여 70%의 정확도를 목표로 설정하고, 비용과 시간 효율성을 고려하여 솔루션을 개발했습니다. 이 솔루션은 인도주의적 데이터의 상호 운용성을 높이고, 신속한 대응을 가능하게 합니다.
Key Points:
- 인도주의적 지원에 필요한 데이터의 중요성 강조
- UN OCHA의 아프가니스탄 대응 사례로 데이터 활용의 성공 사례 제시
- 생성적 AI를 활용하여 메타데이터 예측 문제 해결
- 70% 정확도를 목표로 설정하여 데이터의 부정확성 문제 해결
- 솔루션을 통해 인도주의적 데이터의 상호 운용성 및 신속한 대응 가능
Details:
1. 🌍 데이터카인드 소개
- 데이터카인드는 글로벌 비영리 조직으로, 데이터와 기술을 활용하여 사회적 문제를 해결하는 데 중점을 두고 있습니다.
- 데이터카인드는 다양한 프로젝트를 통해 비영리 단체와 협력하여 데이터 분석 및 기술 솔루션을 제공합니다.
- 예를 들어, 데이터카인드는 AI를 활용하여 빈곤 문제를 해결하거나, 데이터 분석을 통해 환경 보호 활동을 지원하는 등의 프로젝트를 진행합니다.
- 이러한 프로젝트를 통해 데이터카인드는 사회적 영향력을 극대화하고, 데이터 기반의 혁신적인 해결책을 제시합니다.
2. 📊 인도적 지원의 데이터 필요성
- 현재 전 세계적으로 3억 명의 사람들이 인도적 지원을 필요로 하고 있습니다.
- 40개의 글로벌 조정 호소가 있으며, 자금 부족은 460억 달러에 달합니다.
- 인도적 지원 분야에서는 시기적절하고 고품질의 데이터가 절실히 필요합니다.
- 데이터는 자원 배분의 효율성을 높이고, 지원이 필요한 지역을 정확히 파악하는 데 필수적입니다.
- 예를 들어, AI 기반 데이터 분석을 통해 특정 지역의 필요를 신속하게 평가하고, 자원을 최적화하여 배분할 수 있습니다.
3. 🚀 혁신적 데이터 솔루션 사례
- UN Ocha는 아프가니스탄의 자연재해 대응을 위해 인터랙티브 대시보드를 활용하여 다수의 자원에서 데이터를 수집하고 있다.
- 이 대시보드는 현지 정부, NOS, UN 팀 등 다양한 출처에서 데이터를 수집하여 재난 발생 지역을 식별하고 적절한 팀과 개입을 신속하게 파견할 수 있도록 돕는다.
- 이러한 데이터 활용 사례는 예외적이며, 고품질 데이터는 생명을 구하는 데 중요한 역할을 한다.
4. 🔍 인도적 데이터의 문제점과 AI 활용
4.1. 인도적 데이터의 문제점
4.2. AI를 통한 문제 해결
5. 🧩 메타데이터 예측의 중요성
5.1. 메타데이터 태깅의 문제
5.2. 메타데이터 태깅의 해결책
6. 🤖 AI 모델의 정확도 목표
6.1. AI 모델의 비용 목표
6.2. AI 모델의 처리 시간 목표
7. 🔧 데이터 준비 및 모델 테스트
7.1. 데이터 준비
7.2. 모델 테스트
8. 🎯 모델 성능 및 개선점
- 모델의 성능을 개선하기 위해, 모든 파인튜닝을 피하고 직접적으로 hexel 태그와 속성에 대한 프롬프트를 사용할 수 있는지 검토함.
- 제로샷 프롬프트를 사용하여 초기 답변이 적절해 보였으나, hexel 표준을 따르지 않음.
- 프롬프트에 hexel 데이터 표준을 포함하도록 지침을 추가하고, 정보의 순서를 규정하는 규칙을 설정함.
- 태그와 속성을 순서대로 포함한 후, 정확도 목표를 달성함.
- 이러한 접근 방식은 시간과 비용 목표를 충족시켜 이해관계자들이 만족함.
9. 🔗 인도적 데이터 프로젝트의 미래
- 인도적 사용을 위한 수천 개의 변수 해제 가능성
- 메타데이터 예측은 전체 인도적 데이터 프로젝트 시스템의 일부
- 인도적 지원자에게 신속하고 고품질의 데이터 접근 제공
- 인도적 AI 어시스턴트가 조화롭고 상호운용 가능한 데이터 통합
- 현장 검증된 정보 제공을 통한 신속 대응 지원
- 인도적 지원자와 공동 창작