캐나다 밴쿠버에서 열린 NeurIPS 2024 학회에 참석하여 개인 연구 결과물을 공유하고 다양한 연구자들을 만날 수 있는 소중한 기회를 가졌습니다. 많은 발표와 포스터 세션이 있었지만, 특히 인상적이었던 연구들은 아래와 같습니다.

Chain of Thought Reasoning without Prompting

CoT는 최근까지 LLM의 능력을 최대화하여 활용하기 위해 적용되는 방법론입니다. CoT의 높은 성능에도 불구하고 치명적 단점은 CoT 동작을 발현하기 위해 많은 수의 Demonstration을 삽입해야 한다는 점입니다. 이는 LLM들이 명시적으로 reasoning 동작을 수행하도록 학습되지 않았기 때문입니다. 이에 대해 본 연구에서는 LLM들이 학습한 수많은 데이터 중 분명하게 reasoning 데이터가 있으므로, sampling 과정을 일부만 수정하여도 모델이 스스로 CoT를 수행한다는 점을 발견하였습니다. 단순히 첫 토큰 생성 시에만 Top-K sampling을 적용하자 모델이 reasoing 작업이 수행되고 성능 개선되는 모습이 관찰됩니다. NeurIPS 학회 특성 상 당장 모델 성능을 급격히 상승시키는 연구들 외에도 근본적인 동작 원리를 규명하거나 개선하는 연구들이 다수 보입니다. 이 연구 역시 실제 적용에 있어 많은 한계점들에 대해 학회장에서도 이야기가 오갔지만, 결국 향후 CoT를 효율적으로 발현시키는 연구로 발전할 수 있는 초석이었습니다.

Aligner: Efficient Alignment by Learning to Correct 

일반적인 alignment learning은 모델의 파라미터를 직접적으로 변경하는 방식으로 수행됩니다. 하지만 이 연구는 기존의 모델이 생성한 토큰을 수정하는 가벼운 aliner 프레임워크를 제안하고 있습니다. 아이디어 및 실제 성능은 일반적인 여타 논문과 크게 다르지 않지만, 해당 연구는 전체 학회에서 가장 인상깊은 연구였습니다. 이는 해당 프레임워크 도입을 통해 향후 인간이 annotator로서 동작하지 못할 정도로 모델의 성능이 높아진 경우 학습 데이터를 스스로 생성할 수 있다는 점에 있습니다. 프레임워크가 단순하더라도 해당 프레임워크의 장점은 사람의 개입을 최소화하고, 모델 수정이 없어 실제 모델을 이용한 학습 데이터 생성이 매우 용이하다는데 있고, 이 장점은 매우 극명하게 드러납니다. 논문 저자들은 이를 이용하여 당장 1, 2년 내의 모델 학습 패러다임을 개선하는 것이 아닌 5년 이상의 장기간의 걸친 미래에 AI 모델 학습에 있어 필요한 요소들을 직접 정의하고 이에 대한 프레임워크를 제안합니다. 연구자로서 논문은 하나의 결과물일 수도 있지만, 미래에 대한 청사진이라는 점을 너무나 명확히 보여준 발표였습니다.

Instruction Tuning With Loss Over Instructions

Instruction tuning 시 instruction에 대한 loss도 학습에 사용되어야 하는지는 초기에 많은 관심을 받았지만, 최근에는 단순하게 모두 학습하자는 흐름으로 가고 있습니다. 이에 대해 해당 논문은 instruction loss가 전체 학습에 미치는 영향에 대해 다양한 환경에서 실험하고, 결론적으로 데이터가 적은 상황에서는 instruction loss가 긍정적인 영향을 미친다는 다소 당연한 결론이 맺어집니다. 하지만 저자와 이야기해보면, 이러한 결론에 도달하기 위한 실험 세팅을 설정하는 것이 결코 쉬운일이 아니었음을 알 수 있었습니다. 특히, 해당 문제를 데이터가 적은 상황이라는 특수 상황으로 끌고 오기 위해서는 이외의 다양한 상황에 대해서도 실험하면서 최종적인 연구의 흐름이 정해지는 것 같습니다. 인상적이었던 부분은 주장을 뒷받침하기 위해 공개된 데이터들로 학습된 모델들의 성능과 해당 데이터의 크기를 함께 비교한 장표로서, 본인들의 주장이 실제로 증명될 수 있다는 점을 매우 간단하지만 강력하게 보여주었다는 점이었습니다.

국제 학회에서 연구를 소개하는 소중한 기회를 맞이하면서 타 학회와는 다른 감회를 느낄 수 있었습니다. 연구가 논문화되는 것이 끝이 아니라, 그 이후에도 해당 연구를 소중히 다루면서 지속적으로 알려지고 발전될 수 있는 기회를 가지고자 합니다. 특히 다양한 연구자들이 본인의 연구를 알리기 위해 온/오프라인으로 노력하는 모습을 학회장에서 관찰할 수 있었습니다. 앞으로 꾸준히 노력하여 더 좋은 연구를 수행하기도 해야겠지만, 지금의 저의 연구 역시 널리 쓰일 수 있도록 하겠습니다.