이번 세미나는 모델의 내재적 지식(Intrinsic Knowledge)에 따라 모호함을 인식하는 인지된 모호성(Perceived Ambiguity)을 이용해 쿼리가 들어왔을 때 이에 대한 모호함을 판단한 후 답변을 생성해내는 학습 파이프라인 APA를 제안한 “Aligning Language Models to Explicitly Handle Ambiguity”라는 논문에 대한 발표를 중심으로 진행되었습니다. 해당 논문에서는 모호성(Ambiguity)를 하나의 표현이 여러 가지 의미로 전달되는 경우라고 정의하였고, 쿼리를 제공하는 사용자의 의도를 확실하게 파악하기 위해 이를 다루는 것이 중요하다고 주장합니다. APA는 먼저 모델이 틀린 쿼리 추출한 후, 인지된 모호성을 통해 모호함을 정량적으로 평가한 후, 이에 대한 답변을 축합니다. 마지막으로는 이렇게 생성된 쿼리-답변 쌍을 통해 모델의 SFT를 수행하는 것으로 구성됩니다. LLM을 통해 정확한 답변을 생성하기 위해 모델이 이해하기 어렵고, 답변을 생성하기 힘든 쿼리에 대한 대책이 중요하다는 생각이 들어 본 연구의 목적성에 공감할 수 있었습니다. 좋은 발표 해주셔서 감사합니다.

모호성은 굉장히 주관적인 요소라고 생각했는데 본 연구에서는 모호성에 대해 LLM이 판별하고 좋은 답변을 도출하기 위한 방법을 제시하고 있는 점에 대해 매우 흥미로웠습니다. LLM이 모호성을 어떻게 받아들이고 있는지, 모호성에 대해 어떻게 판정을 하는지를 정확히 짚고 나가는 것이 사람 친화적으로 발전시킬 수 있는 중요한 부분이라고 생각됩니다. APA 파이프 라인은 정답을 맞추지 못하는 쿼리를 추출하여 정량적인 방법으로 모호한 쿼리를 추출하여 최종 쿼리-답변 pair를 구축하여 SFT방식으로 모델을 학습하도록 설계되었습니다. 초기 연구로써 긴 답변이나 대화 형식의 질문에 대해 추가 연구가 진행된다면 앞서 말한 사람 친화적인 LLM으로 발전할 수 있는 성과를 이룰 수 있을 것으로 기대합니다. 좋은 발표 감사합니다.

모호성이라는 정성적인 개념을 정량화하고, 모호성에 대한 LLM의 판단 능력을 평가하려는 아이디어가 인상깊었습니다. 모호한 내용을 포함한 쿼리에 대한 답변의 퀄리티를 평가하기 이전에, 질문 자체에 내포된 모호성을 탐지하여 구체화를 요구하도록 강제하는 것이 모호성에 대한 합리적인 접근법이라 생각되었습니다. 이를 위해 INFOGAIN을 도입한 것 또한 납득이 되었으나, 쿼리의 모호성에 의해 답변의 정확성이 어떻게 달라지는지를 정량화할 수는 없을까 하는 생각이 들었습니다. 질문과 답변의 유형을 고려한 APA 파이프라인에서는 모델이 모호함을 포함한 쿼리를 선별하도록 한 후 정제된 쿼리를 구성하는 방식의 SFT를 수행한 것이, LLM이 내재한 능력을 잘 활용하면서 모호함을 극복하는 좋은 방법론이라 보였습니다. 좋은 연구 소개해주셔서 감사합니다.

이번 세미나에서 다룬 연구는 사용자 질의의 모호성을 정량화하고 맞춤형으로 처리하는 방법을 제시했다는 점에서 매우 흥미로웠습니다. 특히, 모호성이라는 다소 주관적인 개념을 카테고리화하고 이를 정량적으로 평가하여 LLM이 질의를 보다 효과적으로 분류하고 대응할 수 있도록 한다는 점이 인상적이었습니다.
단순히 "모호한 질의"를 감지하는 데서 그치는 것이 아닌 질의의 모호성을 유형별로 나누고, 각 유형에 맞게 모델이 대응하는 방식을 최적화한다는 점에서 실용적인 의미가 크다고 느꼈습니다. 또한, 모델의 지식 수준에 따라 동일한 질의에 대한 모호성 인식이 달라질 수 있다는 점을 고려한 것도 중요한 시사점을 주었습니다.
논문의 핵심을 예시와 함께 설명해 주신 덕분에 이해하기 쉬웠고, 유익한 토론이 가능했습니다. 좋은 발표 준비해 주셔서 감사합니다 🙂

이번 세미나는 "Aligning Language Models to Explicitly Handle Ambiguity" 논문을 중심으로 진행되었습니다. 본 연구는 모델의 내재적 지식에 따라 질의의 모호성을 정량적으로 평가하고, 이를 처리하는 학습 파이프라인(APA)을 제안한다는 점에서 흥미로웠습니다. 특히, 모호성(Perceived Ambiguity)을 단순한 개념이 아닌 정량적 지표로 활용하여, LLM이 쿼리의 모호성을 인식하고 적절한 답변을 생성하도록 학습하는 방식이 인상적이었습니다. APA는 잘못된 답변을 유도하는 모호한 쿼리를 선별하고, 이를 정제한 후 SFT(Supervised Fine-Tuning)로 학습하는 구조로 이루어져 있습니다. 이를 통해 LLM이 질문 자체의 모호성을 감지하여 보다 명확한 질의를 유도하거나, 적절한 추가 정보를 제공할 수 있도록 설계되었다는 점에서 실용적인 가치가 높아 보였습니다. 향후 대화형 질의나 긴 문맥을 고려한 확장 연구가 진행된다면 더욱 의미 있는 연구로 발전할 것 같습니다. 좋은 발표 감사합니다!

이번 세미나에서는 "Aligning Language Models to Explicitly Handle Ambiguity" 논문에 대해 소개해주셨습니다. 해당 연구에서는 모호함을 주제로하여 모델이 알지 못하는 모호한 질문에 대해 다시 수정된 쿼리를 반문하여 해결하기 위한 방법을 제안합니다. 모호함을 제거하기 위해 이를 처리할 수 있는 파이프라인을 제안하여 이를 하나씩 예시와 함께 서술해주셔서 이해하기 좋았습니다. 다만 모델의 모호함을 판단하기 위해 나누어 놓은 지표에서 직관적으로 이해하기 어려웠지만 세미나 시간 동안 많은 논의가 있었어서 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Aligning Language Models to Explicitly Handle Ambiguity” 논문을 소개해주셨습니다. 본 논문은 질의의 모호성(Ambiguity)을 모델의 내재적 지식(Intrinsic Knowledge)에 기반하여 정량적으로 평가하는 인지된 모호성(Perceived Ambiguity)을 제시하며, 이를 명시적으로 처리할 수 있는 APA라는 학습 파이프라인을 제안합니다. APA는 모호한 질문으로 인해 잘못된 답변이 생성되는 문제를 해결하기 위해, 먼저 모호한 쿼리를 식별하여 모호성을 정량화하고 이를 바탕으로 명확한 답변을 생성하도록 학습합니다. 또한 이렇게 정제된 쿼리-답변 쌍을 이용한 Supervised Fine-Tuning(SFT)을 수행함으로써 모델이 질의의 모호성을 감지하고 보다 적절한 답변이나 추가 정보를 제공할 수 있도록 구성된 점이 흥미로웠습니다. 특히, 사용자의 의도를 명확하게 파악하고 모호한 질의를 효과적으로 처리하는 접근법은 향후 실용적 활용 가능성이 높아 보이며, 향후 더 복잡한 문맥을 다루는 연구로 확장될 가능성도 기대됩니다. 좋은 발표 감사합니다.

이번 세미나에서는 질의의 모호성(Ambiguity)을 효과적으로 처리하는 방법을 다룬 논문 “Aligning Language Models to Explicitly Handle Ambiguity”를 소개해주셨습니다. 기존 언어 모델은 모호한 질문을 명확하게 인식하지 못해 부정확한 답변을 생성하는 문제가 있었는데, 본 연구에서는 이를 해결하기 위해 인지된 모호성이라는 개념을 도입하고, 이를 학습하는 APA 파이프라인을 제안했습니다.
APA의 핵심은 질의의 모호성을 정량적으로 평가하고 이를 바탕으로 명확한 답변을 생성하도록 학습하는 과정입니다. 특히, Supervised Fine-Tuning(SFT)을 활용해 정제된 질의-응답 데이터를 학습시키고, 이를 통해 모델이 모호성을 감지하고 적절한 추가 정보를 제공할 수 있도록 구성한 점이 흥미로웠습니다. 이러한 접근법은 질의 시에 사용자 의도를 보다 정확하게 반영하는 데 유용할 것 같습니다.
모호성이라는 개념에 대한 문제의식에서 출발해서 이를 개선할 수 있는 방법에 대해 연구한 점이 새로웠습니다. 좋은 발표 감사합니다!

이번 세미나에서 소개된 “Aligning Language Models to Explicitly Handle Ambiguity” 논문은, 모호성이라는 개념을 정량적으로 다루고자 한 점이 특히 인상적이었습니다. 기존의 LLM이 모호한 질의를 충분히 인식하지 못해 잘못된 답변을 생성하곤 했는데, 본 연구에서는 인지된 모호성(Perceived Ambiguity)이라는 지표를 통해 이를 사전에 탐지하고, 적절한 추가 정보를 제공하거나 수정된 질의를 유도한다는 점에서 실용적인 가치가 높다고 느꼈습니다. APA 파이프라인을 통해 모호함을 일으킬 수 있는 질의를 선별하고, 해당 질의를 보다 명확하게 정제한 뒤, SFT(Supervised Fine-Tuning)로 학습한다는 접근법 또한 흥미로웠습니다. 이러한 과정을 거치면서 모델이 질의 자체의 모호성을 인식하는 능력을 강화하게 되어, 추후 인공지능 활용 사례에서 사용자에게 더 친화적이고 정확한 답변을 제시할 수 있으리라 기대됩니다. 좋은 발표 준비해 주신 덕분에, 모호성을 능동적으로 다루는 모델 개발 방향에 대해 구체적으로 이해할 수 있었습니다. 감사합니다!

이번 세미나에서는 "Aligning Language Models to Explicitly Handle Ambiguity" 논문이 소개되었습니다. 이 연구는 언어 모델이 사용자 질의의 모호성을 스스로 인지하고 적절하게 대응할 수 있도록 조정하는 방법을 제안했습니다. 기존 언어 모델은 모호한 질의에 대해 일관되지 않은 답변을 제공하거나, 명확한 정보를 요구하는 대신 추측에 의존하는 경향이 있었습니다. 이를 해결하기 위해 연구진은 모델이 질의의 모호성을 평가하고 필요할 경우 추가적인 명확화를 요청할 수 있도록 하는 방식을 도입했습니다.

논문에서는 모델이 질의의 모호성을 스스로 판단할 수 있도록 학습하는 새로운 접근법을 제시했습니다. 이를 위해 프록시 태스크를 설계하여 모델이 내재된 지식을 활용해 질의를 명확히 하는 방식을 학습할 수 있도록 했으며, 이러한 과정에서 모호성을 인지하는 정도를 평가하는 지표도 개발했습니다. 또한, 모델이 모호성을 효과적으로 처리하는 능력을 평가하기 위해 새로운 데이터셋을 구축하여 다양한 질의 유형에서의 대응 방식을 분석했습니다.

이 연구는 언어 모델이 단순한 정답 제공을 넘어, 사용자 질의의 불확실성을 이해하고 적절한 방식으로 대응할 수 있도록 조정하는 방법을 제시했다는 점에서 의미가 큽니다. 모델이 모호성을 인식하고 추가 정보를 요청하는 방식은 신뢰성을 높이고 사용자 경험을 개선하는 데 기여할 것으로 기대됩니다. 좋은 발표 감사합니다!

금일 세미나는 모델 스스로 질문의 모호성을 판단하고 구체화 요청을 할 수 있도록 학습하는 프레임워크를 제안한 “Aligning Language Models to Explicitly Handle Ambiguity”을 중심으로 진행되었습니다. 모호성을 다루고 있는 논문은 AmbigQA 이후 다수 등장하였으나, 대부분의 연구들이 매우 많은 annotation cost를 필요로 합니다. 이와 대조적으로 해당 논문에서는 모호성의 존재 여부가 섞여있는 Instruction Tuning 데이터를 이용하여 모호성을 개선하는 요청 및 답변 데이터를 구축하는 방안을 제시하고 있습니다. 특히, 모호성을 모델이 답변하기 어려워하는 질문이라는 개념으로 정의하고, 이를 측정하기 위해 엔트로피 개념을 차용한 Perceived Ambiguity Detection을 제안하고 있습니다. 실험 측면에서 해당 방식으로 구축된 데이터의 유효성을 검증하기 위해 다양한 프롬프트 전략과 비교하고 있는데, 결과적으로 제안 방법론이 가장 우수한 성능을 보이면서 다양한 데이터에서 강건한 모습을 보이고 있습니다. 다만, 이 과정에서 명확한 질문들에 대한 성능 저하가 발생한다는 한계점 역시 확인할 수 있었습니다. LLM이 고도화 되면서 다양한 상황에 능동적으로 대처하는 능력이 요구되고 있는 시점에, 복잡한 문제를 명확히 해결하고자 한 논문인 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 대형 언어 모델이 모호한 질문을 인식하고 명확히 되묻도록 학습시키는 방법론을 제시한 논문인 APA(Aligning LMs to Perceived Ambiguity)를 중심으로 진행되었습니다. 기존 LLM은 높은 확률의 응답을 생성하도록 학습되어 있어, 모호한 질문에 대해서도 무작정 답변을 생성하는 문제가 있었는데, 본 연구는 모델의 내재적 지식 수준에 기반한 '인지된 모호성(perceived ambiguity)' 개념을 도입해 이를 해결하고자 했습니다. 학습 과정에서는 엔트로피 기반의 모호성 판단, 재질문 생성, SFT를 통한 정렬 학습 파이프라인을 구성하였으며, 실험에서는 AMBIGQA 및 다양한 OOD 데이터셋에서 baseline을 상회하는 모호성 탐지 및 재질문 능력을 입증했습니다. 특히 Entropy를 활용한 샘플 선택이 효과적임을 확인할 수 있었고, 학습 기반 접근이 inference-only 방식보다 우수한 성능을 보였습니다.

이번 세미나에서는 “Aligning Language Models to Explicitly Handle Ambiguity” 논문을 중심으로, 모델이 질의의 모호성을 인식하고 적절히 대응할 수 있도록 학습시키는 APA 파이프라인에 대해 소개해주셨습니다. 해당 연구는 Perceived Ambiguity라는 정량적 지표를 정의하여, LLM이 내재된 지식을 기반으로 모호한 질문을 감지하고, 명확한 응답이나 clarification을 유도할 수 있도록 설계된 것이 특징입니다. 특히 Instruction Tuning 데이터 내 모호한 예제를 자동 식별하고, 이로부터 새로운 학습 데이터를 구성해 Supervised Fine-Tuning(SFT)을 수행함으로써, 추가 수작업 없이도 모호성 대응 능력을 강화했다는 점이 인상적이었습니다. 실험 결과, 다양한 프롬프트 환경에서 해당 기법이 강건한 성능을 보였지만, 반대로 명확한 질문에 대해서는 오히려 성능이 소폭 하락하는 trade-off도 관찰되어 향후 연구의 여지를 보여주었습니다. LLM의 응답 신뢰성과 사용자 의도 파악 능력이 중요한 현실 활용 시나리오에서 의미 있는 방향성을 제시한 논문이라 생각됩니다. 좋은 발표 감사합니다!

이번 세미나에서 “Aligning Language Models to Explicitly Handle Ambiguity“ 논문을 소개해주셨습니다. 본 논문은 모델의 내재적 지식에 따라 모호함을 인지하는 정도를 정의하고 모호한 쿼리가 들어왔을 때, 모호한지 구분하고 답변을 생성하는 학습 파이프라인을 제안하고 있습니다. 특히 모호성이라는 주관적일 수 있는 개념을 특정 기준에 맞춰 평가하고 보다 정확한 답변을 제공하기 위한 시도였다는 점에서 정말 흥미롭게 들었던 것 같습니다. LLM이 모호성을 정확하게 다룰 수 있을지는 좀 더 지켜봐야할 것 같지만 본 연구는 LLM이 생성한 답변을 좀 더 신뢰할 수 있게 만드는 의미있는 연구였던 것 같습니다. 좋은 논문 소개해주셔서 감사합니다!

금일 세미나는 "Aligning Language Models to Explicitly Handle Ambiguity"논문을 바탕으로 진행되었습니다. 해당 연구에서 말하고자 하는 바는 모델의 내재적인 지식에 따라 모호함(Ambiguity)를 인식하는 정도를 정의하고, 모호한 쿼리가 들어왔을 때, 이를 모호한 쿼리인지, 구분하여 답변을 생성하자라는 것이었습니다. 이를 위하여, 가장 먼저 모호성(Ambiguity)를 짚고 넘어가야 합니다. 먼저 모호성이란, 하나의 표현이 여러 가지 의미를 전달하는 경우를 의미합니다. 이때 모델이 이러한 모호한 쿼리에 대해 임의로 응답한다면, 사용자의 본 의도를 잘못 해석하여 답변할 수 있으며, 신뢰성이 요구되는 도메인에서 심각한 결과를 초래할 가능성이 있기 때문에 모호한 쿼리의 의도를 정확하게 파악하여 추론하는 것이 매우 중요하다고 말할 수 있습니다. 제안 연구에서는 APA라는 4단계의 파이프라인을 제안하며, 먼저 모델이 정답을 맞추지 못하는 쿼리를 추출하는 Initial Prediction Assessment 과정을 거친 후, 모호함을 인지하는 정량적인 방법으로 모호한 쿼리를 추출 하여 답변을 구축하는 Perceived Ambiguity Detection을 진행합니다. 최종적으로, SFT 과정을 통하여 쿼리-답변 pair로 모델을 학습하게 됩니다. 자연어를 다루다 보니 자연어를 사용하는 과정 중에서 실제로 고려해야 하는 다양한 상황에서 문제를 잘 찾아서 해결하고자 시도한 것으로 느껴졌습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 "Aligning Language Models to Explicitly Handle Ambiguity" 라는 논문에 대한 소개를 중심으로 진행되었습니다. 이번 발표에서 인상 깊었던 점은 모호성(Ambiguity)을 LLM의 내재적 지식 기반에서 정의하고, 모델이 자체적으로 인지하는 모호성을 INFOGAIN이라는 정량적인 지표를 통해 측정하여 쿼리에 대한 대응을 수행한 부분이었습니다. 기존의 LLM 연구는 주로 정확한 답변 생성에 초점이 맞추어져 있었으나, 이 연구에서는 명확하지 않은 쿼리에 대한 모델의 대응을 강화하는 방법을 제안함으로써, 실제 사용자들이 겪는 혼란을 줄일 수 있다는 점에서 매우 실용적인 가치를 지닌다고 생각합니다. 특히, 금융이나 법률, 의료와 같이 고도의 정확성을 필요로 하는 전문 도메인에서 모호한 질문이 자주 발생하고 이것이 심각한 문제로 연결될 수 있다는 점을 잘 포착하여, LLM의 사용성을 한층 더 현실적인 방향으로 확장한 점이 돋보였습니다. 또한, 모델의 인지된 모호성을 정량적으로 측정하여, 애매한 쿼리에 대해서는 무조건 답을 생성하지 않고 추가적인 정보나 재질문을 요청하는 형태로 대응하는 접근은 매우 바람직하다고 느껴졌습니다. 다만, 데이터셋 구분 과정에서 헷갈리는 부분이 있어 혼동이 있던 점은 명확한 서술이나 근거 제시를 통해 해결되면 좋을 것이라 생각합니다. 또한, 해당 세미나를 통해 모호한 질문을 처리하는 것의 중요성과 유용성을 잘 이해할 수 있었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 Ambiguity Perceived Alignment라는 과업을 주제로 진행되었습니다. 이는 LLM으로 하여금 쿼리 및 질문의 모호성을 파악한 후, 질문의 의도를 확실하기 위해 사용자에게 되묻는 출력물을 생성하는 것을 목표로하는 과업입니다. 이를 위한 프레임워크를 제안한 연구가 소개되었습니다. AmbigQA 데이터셋은 QA 과업을 위한 데이터셋으로 각 샘플 내 질문의 모호성이 사전에 구분되어 있습니다. 모호하지 않은 질문인데 LLM이 확실히 답변을 하지만 틀리거나 불확실성의 단어를 포함한 출력을 하는 경우와 모호한 질문인데 LLM이 확실히 답변을 하지만 틀리는 경우의 샘플들을 우선 수집합니다. 이를 이용하여 각 경우에서 어떤 출력이 정확한 지를 few-shot learning을 통해 학습을 합니다. 질문의 모호성이란 것은 정의에 따라 많이 달라질 것 입니다. 한국어의 경우 중 예시를 들어봅니다. 실제 유튜브 콘텐츠 내에서 등장한 장면인데 유튜버가 일반 시민분들을 대상으로 “지난번 콘텐츠는 어떻게 보셨어요?” 라는 질문을 던졌을 때, 질문자의 의도는 콘텐츠의 감성평을 묻는 것이었지만, 몇몇의 시민들은 이를 그 콘텐츠를 어떤 방식으로 보았는지로 이해하는 모습을 보였습니다. 즉, 언어별 특성에 맞는 모호성 기준을 적용해 분석해보는 것도 의미 있어 보입니다. 흥미로운 주제 소개해주셔서 감사합니다.