금융도메인에서의 Large Language Model 평가 방법론

[상세 내용] 

1. 한국어 금융 LLM 벤치마크 데이터 확보 및 기준 수립을 통한 기술 평가 표준화

본 프로젝트에서는 한국어 금융 분야에 특화된 언어 모델 평가를 위한 벤치마크 데이터를 확보하고, 이를 바탕으로 객관적인 기술 평가 기준을 수립한다. 금융 도메인에서의 언어 모델 성능을 정량적으로 측정할 수 있는 표준화된 방법론을 제시하여, 향후 관련 기술 개발 및 연구에 활용될 수 있도록 한다.

2. 신규/기존 LLM 기술 분석 및 성능 평가 – 객관적 성능 분석을 위한 인사이트 도출

한국어 금융 분야에 적용 가능한 신규 및 기존 언어 모델 기술을 심층적으로 분석하고, 벤치마크 데이터를 활용하여 각 모델의 성능을 객관적으로 평가한다. 이를 통해 각 모델의 장단점 및 특징을 파악하고, 향후 한국어 금융 분야 언어 모델 개발에 활용될 수 있는 인사이트를 도출한다.

3. 한국어+금융분야를 목표로 하는 데이터셋 구축 및 성능 측정 방안 수립

한국어와 금융 도메인의 특성을 반영한 데이터셋을 구축한다. 이를 위해 금융 분야의 전문 용어, 문서 구조, 및 문제 유형 등을 고려하여 데이터를 수집, 정제, 및 라벨링하는 과정을 수행한다. 또한, 구축된 데이터셋을 활용하여 언어 모델의 성능을 측정할 수 있는 체계적인 방안을 수립하여, 향후 모델 개선 및 최적화에 활용할 수 있도록 한다.