이번 세미나에서는 RL 기반 post-training 없이도, inference-time sampling만으로 base model의 잠재된 추론 능력을 효과적으로 끌어낼 수 있음을 보여준 연구가 소개되었습니다. 특히 power distribution을 통해 RL이 수행하던 distribution sharpening을 명시적으로 해석하고, 이를 MCMC 기반 sampling으로 구현한 접근이 인상적이었습니다.
실험적으로도 MATH500이나 HumanEval에서 GRPO와 대등한 single-shot 성능을 보이면서, Pass@k 관점에서는 오히려 더 높은 diversity를 유지한다는 점이 흥미로웠습니다. 이는 RL이 추론 능력을 “추가”한다기보다, 이미 존재하는 고확률 추론 경로를 선택하도록 만드는 과정일 수 있음을 시사하는 결과로 느껴졌습니다.
다만 block 단위 resampling과 상당한 inference-time scaling 비용은 실제 적용 시 부담이 될 수 있어 보이며, 이러한 비용 대비 이득이 어떤 환경에서 가장 의미가 있을지는 추가적인 논의가 필요해 보입니다.
전체적으로 reasoning을 바라보는 관점을 확장해주는 흥미로운 발표였습니다. 좋은 발표 준비해 주셔서 감사합니다!

이번 세미나에서는 “Reasoning with Sampling: Your Base Model is Smarter Than You Think” 논문을 통해, 별도의 복잡한 학습이나 구조 변경 없이도 LLM의 추론 능력을 효과적으로 끌어낼 수 있는 방법을 소개해주셨습니다. 본 연구는 모델의 한계가 추론 능력 자체보다는, 단일 출력에 의존하는 추론 방식에 있다는 문제의식에서 출발한 점이 인상적이었습니다. 발표에서는 하나의 정답을 생성하는 대신, 여러 번의 샘플링을 통해 다양한 추론 경로를 생성하고, 그중 일관성 있거나 합리적인 답을 선택하는 방식이 설명되었습니다. 이를 통해 모델 내부에 이미 잠재되어 있는 추론 능력을 더 잘 드러낼 수 있다는 점이 흥미로웠습니다. 특히, 단순한 프롬프트 조정이나 추가 학습 없이도 추론의 안정성과 신뢰성을 높일 수 있다는 점에서 실용적인 접근으로 느껴졌습니다.이번 발표는 LLM의 성능을 높이기 위해 반드시 더 큰 모델이나 복잡한 기법이 필요한 것은 아니라는 점을 다시 한번 생각하게 해주었고, 모델 활용 방식의 중요성을 잘 보여준 유익한 시간이었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 “Reasoning with Sampling: Your Base Model is Smarter Than You Think” 연구를 소개해주셨습니다. 테스트 타임의 power distribution과 MCMC 기반 샘플링을 통해 RL 없이도 베이스 모델의 고확률 추론 경로를 선명하게 선택해 성능을 끌어올리는 점이 인상적이었습니다. MATH500, HumanEval에서 단일 샷 성능이 GRPO에 대등하고 Pass@k 기준으로 다양성을 유지한다는 결과는, 학습 없이도 추론 안정성과 신뢰성을 높일 수 있음을 잘 보여줍니다. 다만 블록 단위 재샘플링에 따른 추론 시간 비용은 실제 적용에서 고려가 필요해 보이며, 문제 난이도나 배치 제약에 따른 비용 대비 효과 분석이 뒤따르면 더 좋겠습니다. 좋은 발표 감사합니다.

이번 세미나는 기존 RL Post-Training을 거친 모델이 사실 Base Model의 Sharper 버전이 아닐까라는 질문으로 시작된 연구로, 해당 가설이 맞다면 이미 충분한 Reasoning 능력을 가진 Base Model을 RL 없이 Sharp하게 만들어 비슷한 결과를 내기 위한 방법론을 제안한 “Reasoning with Sampling:Your Base Model is Smarter Than You Think”이라는 논문에 대한 발표를 중심으로 진행되었습니다. 해당 연구에서는 RL 없이 Base Model의 Sharper 버전을 만들기 위해 Power Distribution을 수학적으로 근사한 Markov Chain Monte Carlo 이용하게 됩니다. 결과적으로 이러한 방식을 통해 RL 없이도 In-Domain Reasoning Task에서 RL-Post Training과 거의 비슷한 성능을 기록했으며, Out-Domain Reasoning Task에서는 오히려 더 좋은 성능을 나타냈습니다. 해당 연구의 경우 기존에 당연시하게 좋다고 여겨졌던 RL이라는 Post-Training 방식에 대한 좋은 가설을 설정하고, 이를 확인하기 위해 수학적으로 납득될 수 있는 방법론을 제안함으로써 기존 방식보다 좋은 성능을 냈다는 점에서 아주 좋은 연구라는 생각이 들었습니다. 좋은 발표 해주셔서 감사합니다.

금일 논문 세미나에서는 “Reasoning with Sampling: Your Base Model is Smarter Than You Think” 논문을 다루었습니다. 이 논문은 RLHF 없이도 베이스 모델 자체에 이미 상당한 수준의 reasoning 능력이 내재되어 있다는 점을 실험적으로 보여줍니다. 기존에는 RLHF가 모델의 reasoning 능력을 향상시키는 핵심 요인이라고 여겨졌으나, 저자들은 RLHF가 실제로는 분포를 ‘sharpening’하는 역할을 하며, 이로 인해 reasoning 성능이 좋아지는 것처럼 보일 뿐이라는 가설을 제시합니다. 그리고 이 가설을 바탕으로, sampling 단계에서 power distribution을 적용해 분포를 sharpening하는 방법을 사용했고, 그 결과 RLHF를 거친 모델과 유사한 수준의 reasoning 성능을 달성했음을 실험으로 증명했습니다. 이 논문은 “더 좋은 reasoning 성능을 위해서는 반드시 추가 학습이 필요하다”는 기존 패러다임에 의문을 던진다는 점에서 의미가 크다고 생각합니다. 특히 비전 분야에서도 사전학습 모델을 추가로 수정하기보다, 기존 모델이 가진 잠재력을 어떻게 끌어낼 수 있을지에 대한 새로운 접근을 제시해 준다는 점에서 시사점이 크다고 느꼈습니다. 좋은 논문을 소개해주셔서 감사합니다.

이번 세미나는 강화학습 없이도 LLM의 reasoning 능력을 향상시킬 수 있음을 보인 “Reasoning with Sampling: Your Base Model is Smarter Than You Think” 논문을 다루었습니다. Base model의 분포를 직접 sharpen하기 위해 Power Distribution과 MCMC 기반의 Power Sampling을 적용한 아이디어가 인상적이었습니다. 단순한 inference-time 조정만으로도 RL-post trained 모델과 유사한 성능을 낸다는 점이 특히 흥미로웠습니다. 다만 inference-time scaling 비용이 상당히 크고, 블록 단위 생성 구조로 인해 비효율이 생길 수 있다는 점은 아쉬웠습니다. 그럼에도 불구하고 추가 학습 없이 모델의 잠재적 reasoning 능력을 끌어올린 시도라는 점에서 높은 의의가 있었다고 생각합니다. 발표를 통해 RL 없이도 reasoning 강화를 달성할 수 있는 새로운 접근 방식을 배울 수 있었던 유익한 시간이었습니다.

이번 세미나에서는 "Reasoning with Sampling: Your Base Model is Smarter Than You Think" 논문에 대해 소개해주셨습니다. 이 논문은 RL-based post-training이 사실상 base model의 분포를 sharpen하는 과정일 뿐이라면, 굳이 추가 학습 없이도 test-time에서 분포를 sharpen하면 되지 않겠느냐는 매우 직관적인 질문에서 출발했다는 점이 인상적이었습니다. 특히 높은 reasoning 성능이 높은 likelihood 경로와 상관이 있다는 실험 결과는, RL이 새로운 능력을 학습시키는지, 아니면 이미 존재하는 능력을 더 안정적으로 끌어내는지에 대한 의문에 실질적인 근거를 제공한다고 느껴졌습니다. 다만 inference-time token 수가 8–9배 이상 증가하고, block-단위 resampling이 가져올 수 있는 generation rigidity, MCMC mixing 효율성에 대한 의문 등은 실제 시스템 적용 시 부담이 될 수 있는 부분이라는 점에서 동의합니다. 그럼에도 불구하고 추가 학습 없이도 reasoning 품질을 의미 있게 끌어올릴 수 있다는 방향성을 제시했다는 점에서, test-time search가 앞으로 RL과 보완 관계로 더 발전할 수 있겠다는 기대를 가지게 되는 연구인 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Reasoning with Sampling: Your Base Model is Smarter Than You Think" 논문에 대한 소개가 진행되었고, LLM의 reasoning 성능을 바라보는 기존 관점을 다시 생각해보게 되었습니다. 특히 RL 기반 post-training이 추론 능력을 학습 한다기보다는, 이미 존재하는 고확률 추론 경로를 더 날카롭게 선택하도록 만드는 과정일 수 있다는 문제의식이 매우 설득력 있게 다가왔습니다. Power distribution을 test-time sampling 관점에서 명시적으로 해석하고, 이를 MCMC 기반으로 구현했다는 점은 이론적 직관과 구현 간의 연결이 잘 이루어진 접근으로 느껴졌습니다.
물론 inference-time 비용 증가와 block-wise resampling으로 인한 효율성 문제는 실제 활용 시 고민이 필요해 보이지만, 추가 학습 없이도 모델의 잠재력을 끌어낼 수 있다는 점에서 충분히 의미 있는 방향성을 제시한 연구라고 생각합니다. reasoning 향상을 위한 test-time 전략의 중요성을 잘 보여준 인상적인 발표 감사합니다.

다음에 생성할 단어를 확률적으로 결정하는 생성 모델의 특성상 성능과 consistency가 샘플링 자체에 영향받는 것이 필연적임을 직관적으로 당연하게만 받아들이고 있었는데, 이번 세미나에서 소개해주신 논문을 통해 별도의 추가 학습 없이 샘플링 전략을 수정하는 것만으로 생각보다 더 큰 성능 개선을 이끌어낼 수 있다는 것을 알게 되어 매우 유익했습니다. 샘플링 전략으로 RLHF와 같은 강화학습의 효과를 낼 수 있다는 것도 놀라웠습니다. Power distribution을 분포로 두고, 이를 직접 샘플링할 수 없으니 Metropolis-Hastings 기반의 autoreggressive MCMC로 토큰 subsequence를 반복 resampling하는 방식으로 근사한다는 아이디어가 합리적이라 생각했습니다. 직관과 다르게 단순히 low-temperature sampling이 power distribution sampling과 다르다는 사실이 흥미로웠으며, future path의 상대적 likelihood까지 고려해 중요 토큰을 피하도록 유도한다는 아이디어가 좋았습니다. 다만 성능을 위해 추론 비용을 높이는 방법이기 때문에 실제 적용을 위해 경량화가 어느 정도 필요할 것 같다고 생각했습니다. 좋은 연구 소개 감사합니다!

이번 세미나에서는 “Reasoning with Sampling: Your Base Model is Smarter Than You Think” 논문을 통해, 강화학습 기반 post-training 없이도 LLM의 추론 성능을 의미 있게 향상시킬 수 있다는 점을 다뤘습니다. 특히 RL이 새로운 추론 능력을 학습시킨다기보다, 베이스 모델 내부에 이미 존재하는 고확률 추론 경로를 선택적으로 강화(sharpen)하는 역할을 수행한다는 문제의식이 인상 깊었습니다. 이를 test-time에서 power distribution으로 해석하고, 직접 샘플링이 어려운 분포를 MCMC 기반 autoregressive resampling으로 근사한 접근은 이론적 가설과 구현 사이의 연결이 잘 드러난 방법이라 느껴졌습니다. 실험적으로도 MATH500, HumanEval 등에서 RL-post trained 모델과 유사한 single shot 성능을 보이면서, Pass@k 기준에서는 오히려 더 높은 다양성을 유지한다는 점이 흥미로웠습니다. 이는 RL이 능력을 “추가”한다기보다, 이미 존재하는 추론을 더 안정적으로 끌어내는 과정일 수 있음을 시사하는 결과로 보입니다. 다만 block-wise resampling으로 인한 추론 시간 증가와 inference-time scaling 비용은 실제 시스템 적용 시 부담이 될 수 있어, 비용 대비 효과에 대한 추가적인 분석이 필요해 보입니다. 그럼에도 불구하고, 추가 학습 없이도 모델의 잠재적 reasoning 능력을 끌어올릴 수 있다는 방향성을 제시했다는 점에서 매우 의미 있는 발표였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Reasoning with Sampling: Your Base Model is Smarter Than You Think" 라는 주제로 진행되었습니다. 이 논문에서 흥미로웠던 점은 강화학습으로 post-training을 하지 않고, 베이스 모델 분포 자체를 샤프하게 만드는것만으로도 상당 수준의 reasoning 성능을 끌어올릴 수 있음을 깔끔한 이론과 실험으로 설득력 있게 보여줬다는 점이었습니다. RLHF·GRPO 같은 기존 접근이 결국은 base model의 high-likelihood reasoning path 쪽으로 분포를 옮기는 과정이라면, 이 논문은 아예 그 과정을 Power Distribution + Autoregressive MCMC로 테스트 타임에 직접 구현해 보이고, 그 결과가 MATH500, HumanEval 등에서 RL-post-trained 모델과 거의 비슷하거나, out-of-domain에서는 오히려 더 나은 single-shot 성능을 보인다는 점을 정량적으로 확인했다는 점이 인상적이었습니다. 전체적으로, 이번 세미나는 “base 모델 자체가 이미 생각보다 똑똑하고, 문제는 얼마나 잘 샘플링하느냐에 달려 있다”는 메시지를 수학적 토대와 실험으로 설득력 있게 보여준 연구를 다뤘다는 점에서 매우 인상적이었습니다. RL 기반 reasoning 향상 기법들에만 시선이 쏠려 있던 상황에서, test-time distribution shaping과 MCMC 기반 search만으로도 상당 부분을 대체할 수 있음을 깔끔하게 보여준 좋은 사례였다고 느꼈습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 "Reasoning with Sampling: Your Base Model is Smarter Than You Think" 논문을 바탕으로 진행되었습니다. 해당 연구에서는 LLM의 post-training 과정 중 RL을 통한 학습이 단순히 기존 base model을 sharpen한 버전이라는 주장을 전제로, base model에 이미 충분한 reasoning 능력이 있다면 RL 없이 해당 능력을 발현해보고자 하는 시도를 수행하고 있습니다. 이를 위하여 base model distribution을 sharpen하기 위한 power distribution을 사용하며, power distribution을 적용해 샘플링하는 것은 불가능하기에 MCMC(Markov Chain Monte Carlo)를 이용한 sampling algorithm을 기반으로 수학적으로 power distribution을 근사한 샘플링 방식을 차용하고 있습니다. 이때 power distribution이란 원래 분포 p에 거듭제곱을 적용하여 전체 확률 분포 모양을 뾰족하게 만든 분포로, 시퀀스의 상대적 likelihood가 높은 것은 더 높게, 낮은 것은 더 낮게 하는 방식을 의미합니다. 이후 Metropolis-Hastings Algorithm을 통하여 정규화되지 않은 확률 분포에서 근사적인 샘플링을 수행함으로써, RL 없이 RL을 통한 post-training을 진행했을 때의 능력을 근사하고 있습니다. 실험 결과, base model의 diversity를 유지하면서 reasoning 성능을 높여 명확한 평가가 어려운 영역에서 single-shot LLM reasoning 성능 향상이 가능함을 보이기도 했습니다. 물론 RL의 수식 자체가 새로운 능력을 부여하는 것은 아니기에 어느 정도 합리적인 결과로 보이기는 하지만, 단순한 방식으로 RL 성능을 근사할 수 있다는 점이 놀라웠습니다. 좋은 발표 정말 감사드립니다.

이번 세미나는 “Reasoning with Sampling: Your Base Model is Smarter Than You Think” 논문을 중심으로 진행되었습니다. 본 논문은 기존 강화학습 기반 post-training이 모델의 추론 능력을 새로 학습시키는 과정이라는 통념에 의문을 제기하며, 베이스 모델 자체에 이미 내재된 reasoning 능력을 어떻게 효과적으로 발현시킬 수 있는지를 실험적으로 보여줍니다. 이를 검증하기 위해 power distribution을 통해 베이스 모델의 출력 분포를 명시적으로 sharpening하고, 직접 샘플링이 어려운 해당 분포를 autoregressive MCMC로 근사하여 테스트 타임에서 고확률 추론 경로를 안정적으로 선택하는 방법을 제안합니다. 이러한 접근은 RL 없이도 추론 성능 향상이 가능하다는 점을 이론과 구현 양 측면에서 일관되게 설명한다는 점에서 인상적이었습니다. 특히, 다양한 벤치마크에서 기존 RL-post trained 모델에 필적하는 성능을 기록하면서도 추론 다양성을 유지했다는 결과는, reasoning 성능 향상의 본질이 반드시 추가 학습에 있지 않을 수 있음을 설득력 있게 시사한다고 느꼈습니다. 전반적으로 이번 세미나는 모델을 더 복잡하게 만드는 방향이 아니라, 이미 가진 분포를 어떻게 활용할 것인가에 대한 관점을 확장시켜 준 의미 있는 발표였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 “Reasoning with Sampling: Your Base Model is Smarter Than You Think” 논문으로, 강화학습 기반 post-training 없이도 베이스 모델의 추론 성능을 유의미하게 끌어올릴 수 있음을 다뤘습니다. 특히 RL이 새로운 능력을 학습시키기보다는, 이미 존재하는 고확률 추론 경로를 sharpen하는 역할에 가깝다는 문제의식을 power distribution과 MCMC 기반 test-time sampling으로 잘 풀어낸 점이 인상적이었습니다. 제안된 방법은 MATH500, HumanEval 등에서 RL-post trained 모델과 유사한 성능을 보이면서도 추론 다양성을 유지했다는 점에서 의미가 컸습니다. 추론 시간 증가라는 실용적 한계는 남아 있지만, 추가 학습 없이 reasoning 능력을 끌어올릴 수 있다는 관점을 제시한 점에서 매우 흥미로운 발표였습니다. 좋은 발표 감사합니다.

이번이번 세미나는 LLM의 학습을 주제로 진행되었습니다. 소개해주신 연구는 LLM의 학습 과정 중 강화학습의 post-training에서의 효과가 미미하다는 점을 지적하며 기존 모델의 분포(base model distribution)를 조금 더 sharpen 할 수 있는 power distribution 을 적용하는 방법론을 제안하였습니다. Power distribution의 개념 자체는 알고 있었지만 이를 언제 필요로 하는 지에 대해서는 이번 연구를 통해 확인할 수 있었습니다. 다만, 강화학습의 효과가 base model distribution을 sharpen 하는 것이라는 주장에 대한 배경이 논문에서 충분히 입증되었는지 궁금합니다. 흥미로운 세미나였습니다. 감사합니다.

이번 세미나에서는 LLM 기반 멀티 에이전트 시스템의 실패 원인을 자동으로 분석하는 새로운 문제 정의와 이를 위한 벤치마크를 제시한 “Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems” 논문을 중심으로 진행되었습니다. 기존 멀티 에이전트 시스템 연구는 주로 최종 정답 여부에만 평가가 집중되어 있어, 복잡한 태스크 수행 중 어느 단계에서 어떤 에이전트가 실패를 유발했는지 분석하기 어려운 한계가 있었습니다. 본 연구는 이 같은 한계를 극복하고자 ‘Automated Failure Attribution’이라는 문제를 정의하고, 사람이 수행 시 30시간 이상이 걸리는 고난이도 태스크에 대해 LLM이 실패 지점을 추적할 수 있는지 평가할 수 있는 Who & When 벤치마크를 새롭게 구축하였습니다. 특히 All-at-once, Step-by-step, Binary search 방식 등 다양한 failure 분석 전략을 제안해 각기 다른 접근의 효과를 비교하고, LLM의 낮은 정답률에도 불구하고 실패 진단에는 유용하게 활용될 수 있음을 실험적으로 보여준 점이 인상 깊었습니다. 앞으로 멀티 에이전트 시스템이 복잡한 과업을 수행하게 될수록, 정밀한 실패 분석의 중요성은 더욱 커질 것이며, 본 논문은 그러한 방향성을 잘 제시한 의미 있는 연구라고 생각됩니다. 좋은 발표 감사합니다.