[Paper Review] Cumulative Reasoning with Large Language Models

Paper Review
작성자
SangMin Lee
작성일
2024-10-08 10:46
조회
650
  1. 논문
    • 제목 : "Cumulative Reasoning with Large Language Models"
    • 링크 : 바로가기
    • overview
      • LLM에 Cumulative Reasoning을 활용하여 복잡한 추론 문제의 정답 정확도를 향상시킨 연구
      • 솔루션을 향한 단계별 진행에 초점을 맞춰 각 단계마다 하나의 새로운 상태를 도입하도록 설계
        (기존 ToT는 여러 후보 상태를 생성하고 필터링 메커니즘을 사용하여 상태를 좁히는 것이 큰 차이점)
  2. 발표자료 및 발표영상
    • 발표자료: 하단 첨부
    • 발표영상: ">
전체 14

  • 2024-10-27 00:44

    이번 세미나에서 다룬 "Cumulative Reasoning with Large Language Models" 논문은 기존의 추론 방식과는 다른, 새로운 접근 방식을 제안한 연구로 매우 흥미로웠습니다. 발표자분께서 CoT, ToT 등과의 차이점을 잘 설명해 주셔서 Cumulative Reasoning의 구조적 접근이 얼마나 효과적인지 이해하기 쉬웠습니다. 특히 Proposer, Verifier, Reporter 단계를 통해 문제를 세분화하고, 각 단계에서 누적된 정보를 활용하여 더 높은 정확도의 답을 도출하는 방법이 인상적이었습니다. 발표자분의 체계적이고 명확한 설명 덕분에 논문의 주요 개념을 깊이 이해할 수 있었던 유익한 시간이었습니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2024-10-27 10:30

    이번 세미나는 "Cumulative Reasoning with Large Language Models" 논문에 대해여 소개해주셨습니다. 이번 시간을 통해 cumulative reasoning에 대한 개념을 알게되었는데 기존 chain of thought 또는 tree of thought와 달리 생성한 정보를 검증하며 나아갈 수 있도록 동적 메커니즘을 적용하였습니다. 약간은 복잡한 개념이라 생각이 들었지만 세미나 시간 동안 충분한 질문과 답변 시간이 있어서 처음 듣는 개념임에도 잘 이해할 수 있었습니다 .좋은 발표 감사합니다.


  • 2024-10-27 16:23

    금일 세미나는 이전 추론 과정 시 실패한 내용들을 함께 고려하여 Reasoning Path를 구축하는 "Cumulative Reasoning with Large Language Models"을 중심으로 진행되었습니다. 기존의 CoT와 ToT로 대표되는 논문들은 대부분 기존에 실패한 path에 대한 정보는 반영하지 않고 매 스텝마다 성공한 이전 스텝에서 이어서 생성하도록 유도하고 있습니다. 하지만, 실제 추론 시에는 실패한 정보들 중에도 향후 추론을 위해 중요한 정보들이 있습니다. 이에 해당 논문에서는 DAG라는 방식을 활용하여 매 스텝을 그래프 형태로 표현하고 관리하고 있습니다. 추론과 관련하여 정말 많은 논문들이 나오고 있고, 최근에는 이를 극단적으로 복잡하고 단계를 정밀화하는 연구들이 많이 등장하는 것 같습니다. 좋은 발표 감사드립니다.


  • 2024-10-08 12:33

    이번 세미나는 "Cumulative Reasoning with Large Language Models" 논문을 다루며 LLM의 추론 성능을 강화하는 새로운 방식을 소개해 주셨습니다. 기존 CoT와 ToT 방법론이 추론의 연속성을 확보하면서도 동적 메커니즘이 부족했던 한계를 보완하기 위해, 이 논문에서는 Proposer, Verifier, Reporter의 세 단계를 통해 누적된 정보를 활용하여 더 높은 정확도의 답을 도출하는 구조적 접근 방식을 제안하고 있습니다. 특히, Directed Acyclic Graph(DAG)를 사용하여 중간 추론 결과를 저장하고 이를 다음 단계에서 활용하는 점이 인상적이었습니다. 발표자분의 체계적인 설명 덕분에 새로운 Cumulative Reasoning 기법을 이해하는 데 많은 도움이 되었으며, LLM의 복잡한 문제 해결 능력을 향상시키는 방법론의 가능성을 볼 수 있었습니다. 유익한 발표 감사합니다!


  • 2024-11-10 21:27

    이번 세미나에서는 "Cumulative Reasoning with Large Language Models"에 대해 소개해주셨습니다. 해당 논문은 LLM이 복잡한 문제를 단계적으로 해결하기 위한 누적 추론이라는 cumulative reasoning 아이디어에 대해 제안합니다. LLM이 복잡한 추론 task를 잘 수행하도록 하는 기존 cot 등의 방식에서 더 나아가 문제 해결의 단계를 나누어 해결하는 것으로, 인간의 사고 과정을 모방하여 문제를 구성 요소로 분해하고 해결하도록 유도한다는 특징을 갖습니다. 특히 LLM이 연속적이고 점진적인 사고 과정을 통해 단순한 정보 제공을 넘은 실질적 문제 해결 능력 향상을 목표로 합니다. 이를 위해 연구에서는 평가 벤치마크를 제안합니다. 해당 벤치마크를 통하여 모델이 단순히 질문에 대한 답을 생성하는 것인지, 혹은 앞선 단계에서 얻은 정보를 기반으로 다음 단계에서 더 깊이 있는 결론을 도출하는 것인지를 판단할 수 있다는 장점을 갖습니다. 좋은 발표 감사드립니다.


  • 2024-10-12 15:42

    이번 세미나는 LLM에 Cumulative Reasoning을 활용하여 복잡한 추론 문제의 정답 정확도를 향상시킨 “Cumulative Reasoning with Large Language Models”이라는 논문에 대한 발표를 중심으로 진행되었습니다. 기존 LLM Reasoning에서 주요하게 사용된 CoT, ToT 등의 방법들은 동적 메커니즘이 부족하고, 이전 추론들을 효과적으로 활용할 수 없기 때문에 여러 단계에 걸친 복잡하고 다면적인 문제에 대해서는 성능이 제한적이라는 문제점을 가지고 있습니다. 따라서 이를 해결하고자 Cumulative Reasoning은 이전에 증명된 모든 정보(=명제=추론)를 누적하여 추론하는 방법을 선택합니다. 이를 위해 CR은 LLM을 활용해 주어진 Question(=Hypothesis)을 기반으로 추론을 생성하는 Proposer, 추론이 Question에 적합한지 검증하는 Verifier, 추론 과정이 Question을 풀기 위한 충분한 정보가 필요한지 판단하여 최종 결론을 도출하는 Report 3가지 단계를 반복합니다. 전제를 활용한 추론 과정이 사람이 수행하기에도 난이도가 높은 문제라고 생각이 드는데, 이를 LLM의 효과적인 추론 과정을 통해 해결한다는 점이 매우 흥미로웠습니다. 좋은 발표 해주셔서 감사합니다.


  • 2024-10-13 14:46

    이번 세미나에서는 복잡한 추론 문제에 대한 정답률을 향상시키기 위해, 추론 과정을 단계적으로 축적하여 진행하는 ‘Cumulative Reasoning with Large Language Models’ 논문에 대해서 발표해주셨습니다. 해당 방법론은 기존의 Chain of Thought(CoT)나 Tree of Thoughts(ToT)와는 달리, 각 단계마다 새로운 상태를 도입하고 이를 누적해가는 접근 방식을 사용해 이전의 모든 상태를 통합하여 더욱 정확한 응답을 추출할 수 있도록 강제합니다. 또한 Proposer, Verifier, Reporter라는 세 단계를 반복적으로 거치며, 각 단계마다 추론 과정을 검증하고 누적하는 구조적 접근을 사용합니다. 이러한 접근을 통해 복잡한 문제를 해결하는 데 있어서 기존 방법들보다 뛰어난 정확도를 보여준 점이 매우 흥미로웠습니다. 이 연구를 통해, 단순히 추론을 연속적으로 이어 나가는 것이 아니라, 각 단계의 출력이 다음 입력에 어떻게 영향을 미치는지를 고려하여 전체 추론 과정을 구조화하는 것의 중요성을 알게되었습니다. Cumulative Reasoning 방식이 제공하는 체계적이고 동적인 추론 과정은 향후 복잡한 문제를 해결하는 다양한 AI 시스템에 매우 유용하게 적용될 수 있을 것으로 생각됩니다. 흥미로운 주제로 좋은 발표해주셔서 감사합니다.


  • 2024-10-17 13:00

    이번 세미나에서는 “Cumulative Reasoning with Large Language Models” 논문을 소개해주셨습니다. 이 논문은 복잡한 추론 문제의 정확도를 높이기 위해 기존의 Chain of Thought(CoT)와 Tree of Thoughts(ToT) 방법론의 한계를 보완하여, 각 단계의 추론을 누적하는 방식으로 진행되는 Cumulative Reasoning 방식을 제안하고 있습니다. 이 방식은 Proposer, Verifier, Reporter라는 세 가지 단계를 반복하여 각 단계에서 생성된 추론을 검증하고, 이를 누적해 최종 결론을 도출하는 구조로 이루어져 있습니다. 특히, LLM이 복잡한 문제에 대해 이전의 모든 추론을 축적하여 보다 정교한 결론을 도출하는 점이 매우 흥미로웠습니다. 이 방식은 단순한 연속적 추론을 넘어, 각 단계가 이후 단계에 어떻게 영향을 미치는지를 체계적으로 관리하는 것이 큰 장점이라고 생각합니다. 좋은 발표 감사합니다.


  • 2024-10-17 16:19

    금일 세미나는 "Cumulative Reasoning with Large Language Models" 논문을 바탕으로 진행되었습니다. 해당 연구의 중점적인 관점은 LLM에 cumulative Reasoning을 활용하여 복잡한 추론 문제의 정답 정확도를 향상시키자라는 것이었습니다. 이렇게 LLM에서 "Reasoning" 이란 Task가 발생한 이유는 LLM이 단순한 질문에 해당하는 답변을 맞추는 능력은 뛰어나지만, 다양한 과정을 통해 해결하는 문제를 맞추는 능력은 부족하다라는 것이었습니다. 이를 위하여 CoT, ToT 등의 방법이 제안되었으나, 이들은 추론 중에 생성된 중간 결과를 저장하고 활용하기 위한 동적 메커니즘이 부족하여, 이전 추론들을 효과적으로 활용할 수 없기에 여전히 복잡한 문제에 대해서는 성능이 제한적이었습니다. 제안 방법론은 점진적으로 개선해 나가는 Proposer, Verifier, Reporter의 3단계 반복을 통해, 복잡한 작업을 세분화합니다. 먼저 Proposer에서는 잠재적인 추론 단계를 제안하며, Verifier에서는 Context에 대해 추론 단계를 검증, 마지막으로 Reporter에서는 검증된 누적 포인트들을 최종 솔루션으로 종합합니다. 또한, 검증된 중간 단계의 동적인 저장과 구성을 가능하게 하기 위해 Directed acyclic graph를 형성하고 있습니다. 기존 CoT, ToT 등의 방법론과 비교했을 때, 정말 사람이 하는 것처럼 Reasoning 능력을 키운다는 것이 참신하게 다가온 연구였습니다. 좋은 발표 정말 감사드립니다.


  • 2024-10-21 15:00

    이번 세미나에서는 "Cumulative Reasoning with Large Language Models"라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 논문은 복잡한 추론 문제를 해결하기 위해 LLM을 활용하는 새로운 접근 방식인 Cumulative Reasoning을 제시합니다. 해당 방법론은 문제를 더 작고 관리 가능한 구성 요소로 분해하기 위해 Proposer, Verifier, Reporter를 사용하였고, 이전 제안들을 효과적으로 활용하여 문제 해결 능력을 크게 향상시켰습니다. 연구 방법론은 논리적 추론 과제에서 성능 향상을 보였으며, 다양한 Task에서 향상된 성능을 보였습니다. 본 연구 방법론에 대한 세미나를 진행하면서 CoT와 ToT 같은 Reasoning 관련 배경 지식에 대해 상세히 설명해주셔서 이해하기 쉬웠고, 더욱 유익한 세미나가 되었던 것 같습니다. 좋은 발표 준비해주셔서 감사합니다..


  • 2024-10-22 13:28

    이번 세미나에서는 "Cumulative Reasoning with Large Language Models" 논문을 통해 LLM이 복잡한 추론 문제를 해결하는 새로운 방법론을 제시했습니다. 기존 CoT나 ToT 방식이 동적 메커니즘이 부족하여 복잡한 문제에 한계가 있었던 반면, Cumulative Reasoning은 이전에 증명된 모든 정보를 누적하여 추론하는 방식으로 이 문제를 해결했습니다. Proposer, Verifier, Reporter라는 세 가지 단계로 이루어진 반복 구조를 통해 각 단계에서 추론을 검증하고 축적하여 최종 결론을 도출하는 점이 매우 인상적이었습니다. 특히, Directed Acyclic Graph(DAG)를 활용해 중간 결과를 저장하고 이를 다음 단계에 반영하는 점이 기존 방식보다 효율적이라는 점에서 눈에 띄었습니다. 논리적 추론 문제에서의 성능 향상뿐 아니라, 향후 다양한 시스템에 유용하게 적용될 가능성이 커 보였습니다. 좋은 발표 감사드립니다.


  • 2024-10-22 18:44

    이번 세미나에서는 거대 언어 모델의 Output y를 잘 생성하기 위한 prompt 구성방법에 대한 방법론을 소개한 논문 "Cumulative Reasoning with Large Language Models"를 중심으로 진행되었습니다. CoT, ToT 등으로 대표되는 해당 연구 분야는, 추가적인 학습이나 모듈 없이 입력값으로 자연어를 어떻게 조건화하는지에 따라 언어 모델의 성능이 크게 향상될 수 있음에서 착안, 고품질의 출력을 효율적인 방식으로 확보하고자 하는 분야입니다. Cumulative Reasoning은 특히 ToT와 직접 비교하였을 때, 논리 연산자의 특징을 사용해 더 적은 탐색 범위를 활용하여 우수한 성능을 입증할 수 있음을 증명하고자 하였습니다. 흥미로운 실험 설계였으나, Logical decomposition 이 불가능한 Task에는 적용하기 힘들어 보인다는 단점이 있었던 것 같습니다. 좋은 발표 감사합니다.


  • 2024-10-22 23:26

    이번 세미나에서는 "Cumulative Reasoning with Large Language Models" 논문을 중심으로 복잡한 추론 문제에 대한 해결 방안을 제시한 논문을 소개해 주셨습니다. 기존 CoT와 ToT 방법론이 복잡한 문제를 다루는 데 한계가 있었던 이유는 동적인 메커니즘이 부족했기 때문인데, 해당 논문에서는 Proposer, Verifier, Reporter 세 가지 단계를 반복하여 각 단계에서 생성된 정보를 누적하여 보다 정확한 결론을 도출하는 Cumulative Reasoning 방식을 제안하고 있습니다. 해당 방식은 LLM이 추론 과정에서 중간 단계의 정보들을 효과적으로 활용할 수 있게 하여, 복잡한 논리 문제에서도 뛰어난 성능을 발휘할 수 있음을 보여주며, 특히 Directed Acyclic Graph(DAG)를 통해 중간 추론 과정을 저장하고 관리하는 방식이 흥미로웠던 것 같습니다. 끝으로, CoT와 ToT에 대해 항상 궁금했었는데 발표자의 뛰어난 발표력에 더욱 이해하기 쉬웠던 것 같습니다. 좋은 발표 감사합니다.


  • 2024-10-08 10:17

    이번 세미나에서는 “Cumulative Reasoning with Large Language Models” 논문이 소개되었습니다. 이 연구는 복잡한 추론 문제의 정확도를 높이기 위해 기존 CoT나 ToT 방식에서 한 단계 더 나아가, 단계별로 추론 결과를 축적하고 검증하며 구조화된 방식으로 응답을 도출하는 Cumulative Reasoning 접근법을 제안합니다. 이 방법은 Proposer, Verifier, Reporter라는 세 단계를 반복적으로 수행하며, Proposer는 잠재적인 추론 단계를 제안하고, Verifier는 이를 검증하며, Reporter는 검증된 결과를 누적하여 최종 답변을 생성합니다. 특히, 이 과정에서 Directed Acyclic Graph(DAG)를 활용해 검증된 중간 결과를 체계적으로 저장하고 활용함으로써 논리적 연속성을 강화했습니다. 실험 결과, 이 방식은 CoT와 ToT보다 복잡한 문제에서 더 높은 성능을 보였으며, 각 단계의 출력이 다음 입력에 미치는 영향을 명확히 반영하여 추론 과정을 최적화했습니다. 사람이 논리적으로 문제를 해결하는 과정과 유사한 점진적 접근이 참신하게 느껴졌으며, 복잡한 문제 해결을 위한 LLM의 가능성을 한층 확장시킨 흥미로운 연구였습니다. 좋은 발표 준비에 감사드립니다!


전체 503
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 10490
관리자 2020.03.12 0 10490
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 9097
관리자 2020.03.12 0 9097
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 10219
관리자 2020.03.12 0 10219
500
[Paper Review] AA-CLIP: Enhancing Zero-Shot Anomaly Detection via Anomaly-Aware CLIP (3)
Junyeong Son | 2025.05.08 | 추천 0 | 조회 63
Junyeong Son 2025.05.08 0 63
499
[Paper Review]SLMREC: Distilling Large Language Models Into Small For Sequential Recommendation (9)
Doyoon Kim | 2025.05.01 | 추천 0 | 조회 121
Doyoon Kim 2025.05.01 0 121
498
[Paper Review] TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables (18)
Sunghun Lim | 2025.04.24 | 추천 0 | 조회 232
Sunghun Lim 2025.04.24 0 232
497
[Paper Review] Imputation-based Time-Series Anomaly Detection with Conditional Weight-Incremental Diffusion Models (17)
Suyeon Shin | 2025.04.21 | 추천 0 | 조회 182
Suyeon Shin 2025.04.21 0 182
496
[Paper Review] Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective (15)
Woongchan Nam | 2025.04.16 | 추천 0 | 조회 203
Woongchan Nam 2025.04.16 0 203
495
[Paper Review] Your Large Vision-Language Model Only Needs A Few Attention Heads For Visual Grounding (17)
Kiyoon Jeong | 2025.04.16 | 추천 0 | 조회 391
Kiyoon Jeong 2025.04.16 0 391
494
[Paper Review] Reasoning over Time Series with LLMs (16)
Hyeongwon Kang | 2025.04.09 | 추천 0 | 조회 406
Hyeongwon Kang 2025.04.09 0 406
493
[Paper Review] Accurate predictions on small data with a tabular foundation model (17)
Jaehyuk Heo | 2025.04.02 | 추천 0 | 조회 403
Jaehyuk Heo 2025.04.02 0 403
492
[Paper Review] Reasoning and Reinforcement Learning for LLM (16)
Jaehee Kim | 2025.04.02 | 추천 0 | 조회 395
Jaehee Kim 2025.04.02 0 395
491
[Paper Review] LLM based Recommender Systems : EAGER-LLM (20)
Jungho Lee | 2025.04.02 | 추천 0 | 조회 320
Jungho Lee 2025.04.02 0 320

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 허재혁 : jaehyuk.heo@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호