이번 세미나는 “Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models“ 논문에 대하여 소개해주셨습니다. Prometheus 2에 앞서 Prometheus 1에서부터 발전 과정을 설명해주셔서 이해하기 좋았습니다. Prometheus 1은 GPT4와 같은 LLM은 평가를 위한 모델로 좋은 성능을 내지만 비용 문제나 도메인의 변화에 따라 사용자의 편의대로 구성하여 평가하기 어렵다는 단점을 해결하고자 open-source LLM을 평가 모델로 사용하기 위한 전략을 제안했습니다. GPT4를 사용하여 Feedback Collection 데이터를 구성하는 과정을 설명해주셔서 좋았지만 각 구성 요소별 자세한 분석 내용은 없어서 아쉽다는 생각이 들었던 연구였습니다. Prometheus 2는 Preference Collection이라는 pairwise ranking feedback 데이터셋 도입하여 direct assessment와 pairwise ranking에서 높은 성능을 보였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 언어 모델 평가를 전문으로 하는 오픈 소스 모델에 대한 혁신적인 접근법을 제안한 'PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models' 모델에 대해 발표해 주셨습니다. 이전의 폐쇄적이고 비용이 많이 드는 평가 방식의 한계를 극복하고자 한 이 연구는, 언어 모델들이 Direct Assessment와 Pairwise Ranking 모두에서 고성능을 발휘할 수 있도록 설계되었습니다. 특히, Preference Collection이라는 새로운 피드백 데이터셋을 도입하고, Weight Merging 방식을 사용한 Evaluator LM의 효과를 입증함으로써, 기존 평가 방식에서 볼 수 없었던 유연성과 깊이를 제공하였습니다. 논문에서 가장 인상 깊었던 부분은 모델이 어떻게 다양한 평가 맥락에서 일관된 성능을 유지할 수 있는지에 대한 설명입니다. 예를 들어, Direct Assessment와 Pairwise Ranking 모두에서 뛰어난 평가 결과를 보여준 것은 이 모델이 얼마나 잘 설계되었는지를 보여주었습니다. 또한, 각기 다른 평가 방식에 따라 학습된 모델들을 통합하여 최적의 성능을 발휘하는 Weight Merging 기법은 평가 모델의 다양성과 효율성을 동시에 증진시킨 좋은 예시라고 생각하였습니다. 또한 PROMETHEUS 2가 오픈 소스로 제공하는 투명성과 공정성의 측면도 인상깊었습니다. 좋은 발표 해주셔서 감사합니다.

금일 세미나는 PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models 논문을 바탕으로 진행되었습니다. 해당 논문에서는 발표자분이 지속적으로 다루는 LM 기반의 evaluation 방법론에 관한 논문이었습니다. 해당 논문에 대하여 소개해주시기 전, 이전 연구인 PROMETHEUS 1에 대하여 간단히 설명해주셨습니다. PROMETHEUS 1은 Open source LLM을 바탕으로 Evaluation을 수행할 수 있는 모델인 PROMETHEUS를 구축하는 것을 목적으로 Feedback collection 데이터를 도입하고 있습니다. 이는 특정 몇 가지 사항을 고려함으로써 현실적인 Evaluation setting에 맞춘 데이터셋을 구축함으로써 각 Instance를 4개의 Input components와 2개의 Output component로 구성합니다. 이후, 이렇게 구성된 Feedback collection을 바탕으로 Flama-2-Chat모델을 학습하여 Evalaution를 구성하는 형식으로 이루어지게 됩니다. PROMETHEUS 2는 기존 연구를 발전시키기 위하여, Pairwise ranking feedback이 가능한 데이터셋인 Preference Collection을 도입하며, Weight merging을 통하여 Evaluator LM의 효과성을 높이고자 하고 있습니다. 항상 Generation 관련 task는 평가가 너무 까다롭고, 효과성을 입증하기 힘들다고 생각했기에 현실적으로 꼭 필요한 연구라는 생각이 들었습니다. 좋은 논문 발표 정말 감사드립니다.

금일 세미나는 이전에 발표된 범용 평가 모델인 Prometheus를 이어 발표된 후속 연구 "PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models"를 중심으로 진행되었습니다. 전반적인 연구 흐름은 이전 연구와 비슷하나, pair wise 및 단순 입력 데이터 평가 시나리오를 고려하고, weight merging의 효과성을 보인 것이 인상적인 논문이었습니다. 최근 대형언어모델들이 급격히 발전하면서 빠르게 평가를 진행할 수 있는 모델 기반 평가 방법론들이 지속적으로 발표되고 있는데, 결국 평가를 과업으로 학습된 모델이 향후 연구 방향일 수 있겠다는 생각을 할 수 있었습니다. 특히나, weight merging이 다양한 태스크들에서 효과성을 입증하고 있는데, 본 연구에서도 비슷한 결과가 도출된 점이 주목해볼만하다고 생각합니다. 좋은 발표 감사드립니다.

오늘 세미나는 "PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models" 논문을 중심으로 진행되었습니다. 해당 논문은 기존 Prometheus 1 모델을 개선하여, 더욱 효과적인 언어 모델 평가 방법론을 제안했습니다. 특히, pairwise 평가와 단순 입력 데이터 평가 시나리오를 통해 언어 모델의 평가 방법을 다각도로 확장하며, weight merging 기법을 적용하여 여러 태스크에서의 성능 향상을 보였습니다. 이는 대형 언어 모델의 성능을 신속하고 효과적으로 평가할 수 있는 새로운 접근법을 제시하는 것으로, 관련된 연구의 확장을 위해 중요한 기반 연구로 작용할 것 같습니다.. Prometheus 2의 open-source 접근 방식은 모델 평가의 접근성을 높이고, 평가 과정의 투명성을 제공함으로써 관련된 연구를 하시는 분들이 매우 실용적으로 활용할 수 있을 것으로 생각했습니다. 좋은 발표 감사합니다.

금일 세미나에서는 이전 동일 연구실에서 제안되었던 PROMETHEUS-1에 이어 제안된 'PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models' 논문에 대해서 소개해 주셨습니다. 해당 논문에서는 우선 1) Direct Assessment를 제시하고 있습니다. 1) Direct Assessment에서는 Instruction과 Response를 일종의 Scalar Score로 매핑하는 것을 의미하며, 구체적으로는 output으로 verbal feedback, score를 산출하는 것을 목표로 하고 있습니다. 2) Pairwise Ranking에서는 Instruction과 Two-pair of responses m, n 중 하나로 매핑하는 것을 의미하며 특이점으로 Pairwise Ranking에 Evaluation criteria를 제공하는 Fine-grained Evaluation을 최초로 시도하고 있습니다. 별도로, 해당 연구에서는 특별하게 Evaluation Criteria와 Verbal Feedback을 제안하고 있기 때문에 기존의 Pairwise Ranking 데이터셋을 활용하지 못하고 직접 Preference Collection 데이터셋을 구축하고 있습니다. 실험 중 인상깊었던 부분은 Joint training과 Weight Merging을 비교하는 실험이었으며, 실험 결과로 Joint training된 Evaluator LM이 Single-format trained LM보다 성능이 낮을 때가 존재하여 Weight Merging이 더 우수함을 보여주고 있습니다. 구체적으로 Weight Merging과 앙상블을 구분하여 효과성을 보여준 실험 또한 인상적이었습니다. 끝으로, 항상 평가 모델을 소개해 주시는데 발표자의 개인 견해 덕분에 보다 더 넓은 시야로 논문을 바라볼 수 있게 된 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 “PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models” 연구를 중심으로 이전 방법론인 PROMETHEUS 1과 함께 “평가용” 언어 모델을 중심으로 소개해 주셨습니다. 먼저 PROMETHEUS 1에서는 API Call로 사용하는 LLM의 공정성, 투명성, 재현성 문제를 중요하게 지적하고 있습니다. 따라서 오픈 소스 형태의 평가용 언어 모델 (“Open Evaluator”)들이 제안되었으나, 대다수가 Human Evaluation과의 일치성이 낮고 평가 능력이 부족한 상황이었습니다. LLM을 이용한 평가와 관련해서 깊이 알지는 못하지만 해당 연구 또한 평가 시에 중요하게 고려하는 세부적인 Aspect(Rubric)을 상정하는 방식을 취하고 있었습니다. API 형태 LLM의 경우 이들을 Description과 함께 넣어서 바로 평가를 진행한다면, Open Evaluator를 개발할 때는 이들을 학습 데이터로 활용하는 추세입니다. PROMETHEUS 2는 Pairwise Ranking Feedback 데이터셋 도입 및 Weight Merging을 통해 오픈 소스 언어 모델의 평가 능력을 더욱 향상시켰습니다. 발표자 분께서도 평가 관련 연구를 진행하시고 계시고 세미나에서도 이와 관련한 연구들을 소개해주셨는데 늘 흥미롭게 들을 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models”에 대해 소개해주셨습니다. 해당 방법론은 PROMETHEUS 1을 기반으로 하고 있었는데, 더욱 효과적인 evaluation을 목적으로 하는 evaluator LM이라고 할 수 있습니다. 특히나 해당 모델은 다양한 scoring rubric을 기반으로 fine-grained evaluation에 강점을 가집니다. scoring rubric은 evaluation을 수행하고자 하는 criteria라고 할 수 있고, 각각의 criteria에 대한 설명과 각 점수를 매기기 위한 기준점에 대한 설명까지 포함하여 customized score rubric으로 해당 연구에서는 정의하여 사용하고 있습니다. 모델 학습을 위한 데이터 구축에서도 GPT-4 모델을 사용하여 자동 생성을 수행합니다. seed rubric을 제외한 이후 생성하는 score rubric, unique instruction, response, feedback, score 등을 모두 GPT-4 모델에 의존하여 생성하고 있으며, 논문에서는 각각을 활용하는 과정에 대해 상세하게 figure로 설명하고 있었습니다. 이에 더해 PROMETHEUS 2는 direct assessment와 pairwise ranking에 강점을 보이는 모델로, weight merging evaluator LM이라고 할 수 있습니다. 매 세미나마다 LLM과 관련한 다양한 연구들을 소개해주셔서 새로운 트렌드를 알 수 있어 좋았던 것 같습니다. 그동안 좋은 발표 진행해 주신 점 감사드립니다.

이번 세미나에서는 “PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models” 논문을 소개해주셨습니다. 이 논문은 PROMETHEUS-1의 후속 연구로, 다양한 평가 방법을 개발하여 언어 모델을 평가하는 방식을 제안합니다. 첫 번째 방법인 Direct Assessment는 명령문과 응답을 스코어로 환산하여 평가하는 방식을 포함합니다. 이는 구체적으로 말과 점수를 통한 피드백 생성을 목표로 합니다. 두 번째 방법인 Pairwise Ranking은 두 개의 응답 사이에서 선택을 요구하며, 이 과정에서 세밀한 평가 기준을 제시하는 것이 특징입니다. 연구팀은 기존 데이터셋을 사용하지 않고 새로운 선호도 수집 데이터셋을 구축했습니다. 주목할 만한 실험은 Joint training과 Weight Merging을 비교한 것으로, Weight Merging 방식이 더 효과적임을 보여주었습니다. 발표자가 제공한 개인적인 견해 덕분에 연구에 대한 깊이 있는 이해를 할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 "Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models" 논문에 대해 소개해주셨습니다. 발표자는 먼저 Prometheus 1의 발전 과정을 설명하며, 기존 모델의 한계와 이를 극복하기 위한 접근 방식을 이해하기 쉽게 설명해 주셨습니다. Prometheus 1은 GPT-4와 같은 LLM이 평가를 위한 모델로 좋은 성능을 내지만, 비용 문제나 도메인의 변화에 따라 사용자 편의대로 구성하여 평가하기 어려운 단점을 해결하고자 open-source LLM을 평가 모델로 사용하기 위한 전략을 제안했습니다. Prometheus 2는 이러한 한계를 극복하기 위해 Preference Collection이라는 pairwise ranking feedback 데이터셋을 도입하여, direct assessment와 pairwise ranking에서 높은 성능을 보였습니다. 이번 발표에서 특히 인상 깊었던 부분은 Prometheus 2가 평가를 위한 다양한 피드백 데이터를 어떻게 수집하고 활용하는지에 대한 설명이었습니다. Preference Collection을 통해 사용자가 평가 기준을 정의할 수 있고, 이를 통해 더욱 유연하고 정확한 평가가 가능하다는 점이 강조되었습니다. 또한, Weight Merging 기법을 통해 여러 평가 태스크에서 일관된 성능을 유지할 수 있는 방법을 제시한 점도 인상적이었습니다. Prometheus 2는 오픈 소스로 제공되어 투명성과 접근성을 높였으며, 이를 통해 다양한 연구자들이 쉽게 활용할 수 있도록 하였습니다. 이러한 접근 방식은 평가 과정의 공정성을 높이고, 다양한 도메인에서의 활용 가능성을 제고하는 데 기여할 것입니다. 좋은 발표 감사합니다.

이번 세미나에서는 "PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 연구는 언어 모델을 평가하는 오픈 소스 모델로, Direct Assessment와 Pairwise Ranking에서 높은 성능을 발휘하며, 새로운 피드백 데이터셋인 Preference Collection을 도입하여 평가 모델의 유연성과 정확성을 높였습니다. Pairwise Ranking을 위한 피드백을 수집하여 다양한 평가 기준을 포함한 Preference Collection를 통해 더욱 정교한 평가가 가능해졌습니다. 또한, 서로 다른 평가 방식으로 학습된 모델들을 통합하는 Weight Merging Evaluator 방식을 통해 단일 평가 방식으로 다양한 평가 포맷 간 일관성을 유지하면서도 높은 정확도를 달성하는 데 기여했습니다. 인상 깊었던 점은 PROMETHEUS 2를 오픈 소스로 제공하여, 평가의 공정성과 투명성을 보장하고, 다양한 연구자들이 쉽게 접근하고 활용할 수 있도록 했다는 점이 인상 깊었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 Open-source LLM이 LLM-as-a-Judge를 할 수 있게 훈련시킬 수 있는 방법론 및 모델을 포함한 프레임워크를 제시하는 논문 "Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models"를 기반으로 진행되었습니다. 이전 Prometheus 논문에서도 중심이 되었던 기조인 "Open-source LLM이 Black-box LLM의 모든 능력을 따라가는 것은 힘들지만, 그 중 평가하는 능력만큼은 훈련을 통해 거의 비슷하게 모사할 수 있다'는 철학이 인상깊었던 논문이었습니다. 특히, 이전 논문에서는 할 수 없었던 다양한 세팅의 평가 방식 (Ex. PairRM)까지도 적용할 수 있도록 훈련시켜 범용성을 더 넓혔다는 점에서 이전 논문과 별도로 구분될만한 성과가 있었다고 생각됩니다. 방법론 자체는 GPT4의 평가 능력을 모사하는 것에 초점이 맞추어져있기 때문에 GPT4로부터 추출된 Preference Collection을 엄선하여 훈련시키는 직관적인 방법을 사용하고 있습니다. 세부적인 실험 세팅에서 자세히 기술되어있지 않은 부분들이 있는 것이 조금 아쉽게 느껴지지만, Black-box LLM을 사용한 평가에 큰 비용을 사용하는 현실을 직접적으로 반영한 좋은 논문이라는 생각이 들었습니다. 재밌는 논문 소개해주셔서 감사합니다!

이번 세미나는 Direct Assessment와 Pairwise Ranking에서 모두 높은 성능을 보이는 PROMETHEUS2를 제안한 논문 "Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models"를 중심으로 진행되었습니다. PROMETHEUS2는 PROMETHEUS1의 후속 연구로, 기존 Proprietary LM Evaluator가 공정성 및 투명성의 문제와, 모델 버전이 변화함에 따라 평가 결과가 변화하는 재현성 문제, 평가 시마다 API 비용이 발생한다는 문제점을 가지고 있고 이를 극복하기 위한 Open Evaluator LM의 경우에도 인간 평가 결과와 일치성이 낮고 평가 능력이 부족하다는 문제점을 극복하기 위해 제안된 연구입니다. PROMETHEUS 2는 Preference Collection이라는 Pairwise Ranking Feedback 데이터셋을 제안하여 Direct Assessment와 Pairwise Ranking에서 높은 성능을 보여주었습니다. 개인적으로 언어 모델을 평가하기 위해 언어 모델을 사용하는 연구 흐름 자체가 매우 신기하고, 흥미롭다는 생각을 가지고 있는데 이에 더해 기존 Black-Box 형태의 GPT-4와 같은 LLM보다 이런 오픈 소스 모델을 통한 높은 수준의 평가가 가능하다면 가져올 수 있는 가치가 매우 크다고 생각하여 해당 연구 분야의 앞으로의 흐름이 더 궁금해지게 되었습니다. 좋은 논문 발표해주셔서 감사합니다!

이번 세미나는 PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models를 주제로 진행되었습니다. 본 연구는 폐쇄적이고 비용이 많이 드는 기존 평가 방식을 넘어, Direct Assessment와 Pairwise Ranking에서 모두 높은 성능을 발휘하는 모델을 제안합니다. 특히, 새로운 피드백 데이터셋인 Preference Collection을 도입하고, Weight Merging 기법을 통해 Evaluator LM의 효율성을 입증한 부분이 인상적이었습니다. 다양한 평가 맥락에서도 일관된 성능을 유지하는 모델 설계는 매우 흥미로웠으며, 특히 Direct Assessment와 Pairwise Ranking 모두에서 뛰어난 결과를 보인 점이 인상 깊었습니다. PROMETHEUS 2가 오픈 소스로 제공됨으로써 투명성과 공정성을 강조한 점도 주목할 만했습니다. 어려운 내용을 쉽게 설명해 주셔서 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models" 논문에 대해 발표해 주셨습니다. 이 연구는 언어 모델 평가의 한계를 극복하고자 Direct Assessment와 Pairwise Ranking을 모두 포함한 혁신적인 접근법을 제안했습니다. Preference Collection 데이터셋과 Weight Merging 기법을 도입하여 평가 모델의 성능을 극대화한 점이 특히 인상적이었습니다. 기존의 폐쇄적이고 비용이 많이 드는 평가 방식과 달리, PROMETHEUS 2는 오픈 소스로 제공되어 투명성과 공정성을 크게 높였습니다. PROMETHEUS 1의 한계를 설명하고, PROMETHEUS 2가 이를 어떻게 개선했는지에 대한 발표자님의 설명이 연구의 발전 과정을 이해하는 데 큰 도움이 되었습니다. 다양한 평가 시나리오에서 일관된 성능을 유지하며, 여러 태스크에서의 성능 향상을 보인 점은 이 모델의 뛰어난 설계를 보여줍니다. 언어 모델 평가가 어렵고 복잡한 과제임에도 불구하고, PROMETHEUS 2 연구는 그 가능성을 크게 확장시킨 훌륭한 사례라 생각됩니다. 좋은 발표 감사합니다!

이번 세미나는 "PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models" 논문을 중심으로 진행되었습니다. PROMETHEUS 2는 이전 연구인 PROMETHEUS 1을 발전시켜, 비용 문제와 사용자 편의성을 개선한 오픈 소스 평가 모델을 제안합니다. 특히, Preference Collection이라는 pairwise ranking feedback 데이터셋을 도입해 Direct Assessment와 Pairwise Ranking에서 뛰어난 성능을 보였습니다. Weight Merging 기법을 통해 다양한 평가 태스크에서 일관된 성능을 유지하고, 평가의 유연성과 공정성을 높인 점이 인상적이었습니다. 또한, GPT-4를 사용해 데이터 를 자동으로 생성하여 사용하여도 이러한 결과를 보인다는 점이 흥미로웠습니다. 전반적으로 유익한 발표였으며, 새로운 통찰을 얻을 수 있었습니다. 좋은 발표 감사합니다!

해당 세미나는 PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models이라는 논문을 바탕으로 진행되었습니다. 본 논문은 특히 Proprietary LM Evaluator의 한계점을 문제점으로 삼고 있습니다. 크게 3가지의 문제점이 있는데, 첫 번째로 LM의 자세한 정보가 공개되지 않아 공정성 및 투명성 문제, 두 번째로 모델 버전이 변화함에 따라 평가 결과 재현성 문제 발생, 마지막으로 평가할 때마다 API 비용이 발생한다는 점입니다. 또한 Open evaluator LM을 direct assessment나 pairwise ranking 중 하나의 format으로 학습되기 때문에 평가 방식에 따른 유연성이 부족하다는 한계도 존재합니다. 따라서 이런 문제점을 해결하고자 Evaluator LM 학습을 위해 설계된 Feedback collection 데이터를 도입하며, scoring rubrics 기반 fine-grained evaluation에 특화된 PROMETHEUS라는 open-source LLM을 학습하는 방법론을 제안합니다. 이를 발전시켜 PROMTETHEUS 에서는, Prefrence Collection이라는 pairwise ranking feedback 데이터셋을 도입하며, weight mergin evalutor LM의 효과성을 보이고 있습니다. 세미나를 들으면서 가장 주요하게 느꼈던 점은, LLM Eval을 위해 모델 자체를 평가에 적합하게 학습시키자 라는 것이었습니다. 평가를 위해서는 정교한 Prompt와 많은 API 비용이 발생되기 때문에, 학습을 한다면 정말 효과적이고 실용적인 연구라고 생각합니다. 좋은 발표 준비해주셔서 감사합니다.