이번 세미나에서는 "Active Prompting with Chain-of-Thought for Large Language Models"와 "Boosting Language Models Reasoning with Chain-of-Knowledge Prompting"이라는 두 편의 논문에 대해 진행되었습니다.. 첫 번째 논문은 Active Learning의 불확실성 개념을 CoT에 접목하여, 모델이 가장 불확실해하는 질문을 포함함으로써 복잡한 추론 과정을 유도하는 기법을 제안하였습니다. 특히, 엔트로피와 불일치 지표를 사용해 불확실성을 정량화하여 특정 Task에 적합한 예시를 선택하는 방식이 인상적이었습니다. 두 번째 논문에서는 기존 CoT 방식의 한계로 지적된 검증 문제를 해결하기 위해 Chain-of-Knowledge(CoK)를 도입하여, Reasoning Chain을 구조화된 정보로 구성하고 신뢰성 검토를 통해 모델의 추론 결과를 검증하는 방식을 제시하였습니다. 두 논문 모두 추론 과정에서의 Uncertainty와 Self-Verification 기법을 적용하여 언어 모델의 성능을 높이려는 접근이 인상 깊었고, 발표자 분께서 실험 결과와 함께 주요 개념을 명확히 설명해주셔서 이해에 큰 도움이 되었습니다. 감사합니다.

금일 세미나는 Active Learning에서의 Uncertainty 기반 아이디어를 차용하여 Entropy, Disagreement 두 가지 Uncertainty 계산법에 기반해 Prompting을 구성하여 CoT를 수행하는 “Active Prompting with Chain-of-Thought for Large Language Models”이라는 논문과, 모델이 가지고 있는 정보를 기반으로 Task를 수행하며 Reasoning Chain에 대한 검증이 없어 사실이 아닌 정보 생성 가능성 존재할 수 있다는 기존 CoT의 문제점을 해결하기 위해 추론 과정에서 활용할 수 있는 정보를 구조화해서 제공하고 추론 결과에 대해 검증하는 CoK를 제안한 “Boosting Language Models Reasoning with Chain-of-Knowledge Prompting”이라는 논문에 대한 발표를 중심으로 진행되었습니다. 먼저 Active Prompting의 경우 모델이 확실해하는 것이 아닌, 불확실해하는 질문을 Prompt에 추가하여 모델이 좀 더 복잡한 추론을 하는 데 도움을 주고 고정된 Exemplars를 사용하는 것이 아닌, 적용하는 Task마다 적절한 샘플을 선택하여 사용한다는 점에서 인상깊었습니다. 또한 CoK의 경우에도 신뢰성 점수를 기반으로 Reasoning Chain을 재검토해나가는 과정을 통해 모델의 성능을 향상시킬 수 있다는 점이 매우 흥미로웠습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나에서는 “Active Prompting with Chain-of-Thought for Large Language Models(ACL 2024)” 논문에 대해서 발표해주셨습니다. 해당 논문은 대형 언어 모델의 추론 능력을 향상시키기 위해 Chain-of-Thought(CoT) 프롬프팅 방식에 대한 새로운 접근법을 소개합니다. 기존 CoT 방식이 일반적인 예시를 사용하는 데 그쳤다면, 이 연구에서는 각 태스크에 가장 적합하고 중요한 샘플을 선택하여 제공하는 ‘Active Prompting’ 방식을 제안합니다. 특히, 불확실성을 기준으로 샘플을 선택하는 방법이 인상적이었습니다. 이는 모델이 높은 불확실성을 가진 데이터에서 학습함으로써 성능을 개선할 수 있다는 점을 강조합니다. 또한, 논문은 불확실성을 정량화하기 위해 불일치(disagreement)와 엔트로피(entropy) 두 가지 메트릭을 사용하였고, 이를 통해 모델이 보다 정확한 추론을 할 수 있도록 도와 복잡한 추론 과정에서의 성능이 향상되었다는 점이 매우 흥미로웠습니다. 재미있는 주제로 좋은 발표해 주셔서 감사합니다.

금일 세미나는 2024 ACL에서 발표된 CoT 관련 2편의 논문인 "Active Prompting with Chain-of-Thought for Large Language Models"와 "Boosting Language Models Reasoning with Chain-of-Knowledge Prompting"을 중심으로 진행되었습니다. 첫번째 논문의 unlabeled data pool이 있는 상황에서 CoT Prompt내 삽입할 Reasoning 예시를 선택하는 방법론을 제시하고 있습니다. 특히, ICL에 도움이 되는 데이터 샘플은 모델이 맞추기 어려워하는 uncertainty가 높은 샘플일 것으로 가정하고, CoT-SC를 통하여 계산하는 방법론을 제안합니다. 두번째 논문은 모델이 스스로 관련 prompt를 선택하고, 이를 verification하는 방법론을 제안하고 있습니다. 최근 CoT 연구들의 흐름을 살펴보면 self verification 능력을 최대한 활용하고자 다양한 학습/추론 기법을 활용하고 있는데, 이러한 연구들이 Inference Cost를 극대화하여 성능을 올리는 최근의 reasoning 연구들의 발판이 되고 있는 것 같습니다. 방대한 분량의 논문들을 일목요연하게 정리해주셔서 감사합니다.

이번 세미나는 2024 ACL에서 발표된 두 편의 논문, “Active Prompting with Chain-of-Thought for Large Language Models”와 “Boosting Language Models Reasoning with Chain-of-Knowledge Prompting”을 소개해주셨습니다. 첫 번째 논문에서는 Active Learning의 Uncertainty 기반 아이디어를 도입하여, 모델이 불확실해하는 질문을 Prompt에 추가하고, 고정된 샘플 대신 Task에 적합한 예시를 선택하는 방법론을 제시하였습니다. 이를 통해 CoT의 추론 능력을 한층 더 강화하는 접근이 인상적이었습니다. 두 번째 논문에서는 기존 CoT의 문제점인 검증 부족을 해결하기 위해 Chain-of-Knowledge를 통해 구조화된 정보를 제공하고, Reasoning Chain에 대한 신뢰성 검토를 통해 모델의 추론 결과를 검증하는 방식을 제안했습니다. 두 논문 모두 추론 과정에서의 Uncertainty와 Self-Verification을 중심으로 모델의 성능을 향상시키는 점이 매우 흥미로웠습니다. 좋은 발표 감사합니다.

이번 세미나는 "Active Prompting with Chain-of-Thought for Large Language Models"와 "Boosting Language Models Reasoning with Chain-of-Knowledge Prompting" 두 논문을 중심으로 진행되었습니다. 첫 번째 논문에서는 대형 언어 모델의 추론 능력을 향상시키기 위한 Active Prompting 기법을 제안합니다. 이 연구는 모델의 불확실성을 기반으로 가장 적합한 샘플을 선택하여 Chain-of-Thought(CoT) 프롬프팅을 구성함으로써, 복잡한 추론을 유도하는 접근법을 소개했습니다. 특히, 엔트로피와 불일치(disagreement)라는 두 가지 메트릭을 통해 불확실성을 계산하는 방식이 인상적이었습니다. 두 번째 논문은 기존 CoT 방식의 한계를 보완하기 위해, 모델이 생성한 Reasoning Chain을 구조적으로 검증하고 보완할 수 있는 Chain-of-Knowledge(CoK) 프롬프팅을 다루고 있습니다. 이 방법은 신뢰성 점수를 활용하여 모델의 추론 결과를 재검토하는 과정을 포함하여, 보다 정확한 정보를 생성할 수 있도록 돕습니다. 이 두 연구는 언어 모델의 추론 과정을 개선하기 위한 새로운 방법론을 제시하며, 불확실성을 활용하거나 구조적 정보를 제공하는 등의 접근법이 매우 흥미로웠습니다. 발표자는 각 논문의 핵심 아이디어와 실험 결과를 명확하게 정리해주어 이해를 돕는 데 큰 역할을 했습니다. 이러한 연구들이 언어 모델의 성능 향상에 기여할 수 있다는 점에서, 앞으로의 발전이 기대됩니다. 좋은 발표에 감사드립니다.

금일 세미나에서는 두 가지 논문인 "Active Prompting with Chain-of-Thought for Large Language Models"와 "Boosting Language Models Reasoning with Chain-of-Knowledge Prompting"에 대해 발표해 주셨습니다. 첫 번째 논문에서는 Active Learning의 Uncertainty 개념을 CoT 프롬프팅에 적용해, 모델이 어려워하는 질문을 선택적으로 포함함으로써 보다 복잡한 추론을 유도하는 방법을 제안한 점이 인상적이었습니다. 특히, 엔트로피(Entropy)와 불일치(Disagreement) 두 가지 메트릭을 사용해 불확실성을 정량화하고, 이를 바탕으로 프롬프트에 샘플을 선택하는 방법이 기억에 남았던 것 같습니다. 두 번째 논문에서는 기존 CoT의 한계를 보완하기 위해 Chain-of-Knowledge(CoK)를 통해 추론 과정에서 신뢰성 점수를 기반으로 검증하고 개선하는 방식을 제안했는데, 이는 모델이 생성하는 추론 결과에 대한 신뢰성을 높이는 좋은 방법론이었던 것 같습니다. LLM에 Active Learning을 접목한 연구들을 이번 세미나에 볼 수 있어서 유익했으며 발표자분의 좋은 발표 덕분에 더욱 이해가 잘 되었던 것 같습니다. 좋은 발표 감사합니다.

세미나에서 다뤄진 "Active Prompting with Chain-of-Thought for Large Language Models"와 "Boosting Language Models Reasoning with Chain-of-Knowledge Prompting" 두 논문은 대형 언어 모델의 추론 능력을 더욱 정교하게 개선하기 위한 흥미로운 접근법을 제시했습니다. 첫 번째 논문에서는 불확실성 메트릭을 기반으로 모델이 어려워하는 질문을 선택하여 복잡한 추론을 유도하는 Active Prompting 방식이 매우 인상 깊었습니다. 특히, 고정된 예시를 사용하는 대신 상황에 맞는 예시를 동적으로 선택하는 접근법은 추론 정확도를 크게 높일 수 있는 잠재력을 가지고 있다고 생각됩니다. 두 번째 논문에서는 모델의 Reasoning Chain에 대한 신뢰성 검토를 통해 검증하는 Chain-of-Knowledge(CoK) 기법이 CoT의 기존 한계를 효과적으로 보완하는 방법론으로 소개되었습니다. 신뢰성 점수를 활용해 추론 과정을 재검토하는 방식은 언어 모델의 결과에 대한 신뢰성을 높이는 데 큰 기여를 할 수 있을 것으로 기대됩니다. 좋은 발표 감사합니다.

금일 세미나에서는 ＂Chain-of-Thought Prompting in ACL 2024＂ 를 주제로 두 가지 논문을 소개해주었습니다. 두 편의 논문으로 Active-Prompt, Chain-of-Knowledge 라는 내용을 소개해주었습니다. 해당 내용들은 기본적으로 모델에게 프롬프트를 제공함에 있어서 중간 단계의 추론 과정을 예시로 제공하여 성능을 상승시키는 Chain-of-Thought(CoT) 를 다루고 있었습니다. 먼저, Active-Prompt에서는 기존 CoT에서 모든 Reasoning task에 동일한 exemplars를 활용하여 프롬프팅하는 것이 모든 task에 효과적이지 않을 수 있다는 문제를 해결하고자 task-specific한 exemplars를 이용하고 있습니다. 이를 위하여 Active-learning에서의 Uncertainty-based 아이디어를 활용하여, 질문의 불확실성이 높을수록 더 필요한 질문이라고 말하고 있습니다. 다음으로 Chain-of-Knowledge는 기존 CoT는 모델이 가지고 있는 정보를 기반으로 하기 때문에, Reasoning chain에 대한 검증이 이루어지지 않으며, 사실이 아닌 정보를 가질 수 있다는 문제점이 존재한다고 말하고 있습니다. 이에 추론 과정에서 활용할 수 있는 정보를 구조화해서 제공하고 추론 결과에 대해 검증하고자 하는 아이디어를 바탕으로, 모델의 결과를 보완하고자 하는 방향으로 구성되어 있습니다. 현재 프롬프팅에 관하여 다양한 연구가 이루어지고 있는데, 흥미롭고 간단한 방법으로 성능을 높일 수 있다는게 참신하게 다가왔습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 "Active Prompting with Chain-of-Thought for Large Language Models"이라는 논문과 "Boosting Language Models Reasoning with Chain-of-Knowledge Prompting"에 대한 소개를 중심으로 진행되었습니다. 먼저 Active Prompting 연구에서는 큰 언어 모델(Large Language Models)에 대한 chain-of-thought(CoT) 예시를 활성화하는 새로운 방법, Active Prompting을 제안했습니다. 이 방법은 불확실성을 기반으로 한 Active Learning에서 영감을 얻어서, 가장 중요하고 도움이 되는 질문을 선택하여 언어 모델의 추론 능력을 향상시키는 것을 목표로 합니다. 기존에 익숙하던 Active Learning 기법을 CoT에 적용했다는 점이 신선하였고, 이를 통해 성능향상을 이뤘다는 점이 흥미로웠습니다. 다음은 언어 모델의 추론 과정을 향상시키기 위해 'Chain-of-Knowledge Prompting' 방식을 제안하였습니다. 이 접근 방식은 모델에게 필요한 정보를 체계적으로 제공하고, 모델이 생성한 추론 체인을 검증하는 데 중점을 두었습니다. Chain-of-Thought는 LLM이 발전함에 따라 등장한 간단하면서도 강력한 Prompting Design 기법이라 생각하는데, 해당 기법을 시작으로 등장하는 다양한 연구들 중 일부 방법에 대해 소개해주셔서 유익한 시간이었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 거대 언어 모델의 추론 성능을 향상시키기 위한 프롬프트 설계와 활용에 관련한 논문들인 "Active Prompting with Chain-of-Thought for Large Language Models"와 "Boosting Language Models Reasoning with Chain-of-Knowledge Prompting"를 중심으로 진행되었습니다. 오늘날 거대 언어 모델의 성능은 Chain-of-Thought 및 Chain-of-Knowledge 기반의 프롬프트 전략을 활용하는 접근법을 통해 그 성능을 높일 수 있는 것으로 알고 있습니다. 관련하여, 본 세미나에서 다룬 논문들은 각자의 관점들에서 그러한 점들을 고도화시킬 수 있는지에 대해 주장하고 있습니다. 본 연구는 그 중에서도, 각각 Active Prompting은 거대 언어 모델에게 특정 작업에 가장 적합한 Chain-of-Thought 예시를 제공하여, 모델의 추론 성능을 개선하는 방법론을 제안합니다. 이때 예시 선택은 Active Learning의 불확실성 점수 컨셉을 비슷하게 가져와 이를 기준으로 이루어지고, Boosting Language Models Reasoning은 Chain-of-Knowledge를 통해 추론에 필요한 정보를 구조적으로 제공하고, 모델이 생성한 추론 과정을 검증하는 방법을 제안합니다. 이를 위해, 첫 번째 논문은 작업에 적합한 Chain-of-Thought 예시를 잘 선택하여 프롬프트를 개선하고, 두 번째 논문은 Chain-of-Knowledge를 통해 정보의 흐름을 모델이 이해하기 쉽게 전달함으로써 추론의 정확성을 높입니다로 얘기할 수 있습니다. 두 기존의 Chain-of-Thought 기법을 고도화하여, 언어 모델의 성능 향상을 위한 새로운 가능성을 보여주었다는 점에서 유익했습니다. 좋은 발표 감사드립니다!

이번 세미나는 2024년 ACL에서 발표된 Chain-of-Thought Prompting 관련 두 연구를 소개해 주셨습니다. 첫 번째 연구는 Task에 맞는 CoT를 제공하기에 알맞는 샘플을 선택하도록 모델의 불확실성을 활용하는 방법이었습니다. 모델의 불확실성을 판단하는 기준으로는 disagreement와 entropy 두 가지를 사용하였고 이를 기준으로 task에 맞는 CoT를 선택하는 방법입니다. 두 번째 연구는 CoT의 문제점을 개선하고자 Chain-of-Knowledge를 통해 구조화된 정보를 사용하여 신뢰성을 검토하는 방법으로 모델의 추론 결과를 검증하는데 사용하였습니다. CoT와 관련된 두 연구를 잘 설명해주셔서 최근 CoT 연구에 대해 알 수 있는 시간이었습니다. Chain-of-Knowledge에 대해서는 처음 알게 되어서 새로운 내용을 배울 수 있는 좋은 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나는 2024 ACL에서 발표된 두 편의 논문, “Active Prompting with Chain-of-Thought for Large Language Models”와 “Boosting Language Models Reasoning with Chain-of-Knowledge Prompting”을 중심으로 진행되었습니다. 첫 번째 논문은 Active Learning의 Uncertainty 기반 접근법을 도입하여, 모델이 불확실해하는 질문을 Prompt에 포함시키고 Task에 맞는 샘플을 선택해 CoT의 추론 성능을 강화하는 방법을 제안합니다. 두 번째 논문은 기존 CoT의 검증 부족 문제를 해결하기 위해 Chain-of-Knowledge를 통해 구조화된 정보를 제공하고 Reasoning Chain의 신뢰성을 검토하여 결과를 개선하는 방식을 소개합니다. 두 연구 모두 Uncertainty 활용과 Self-Verification을 통해 LLM의 Reasoning 능력을 효과적으로 향상시킨 점이 매우 인상적이었으며, 발표를 통해 관련 개념을 명확히 이해할 수 있었습니다. 감사합니다!