NeurIPS는 저의 첫 해외 학회 참가로, 설렘과 기대가 가득했습니다. 특히, AI 분야에서 가장 큰 학회라는 점에서 더욱 기대가 컸습니다. 다양한 연구를 접할 기회와 더불어 제가 관심 있는 분야의 최첨단 연구를 직접 볼 수 있다는 기대 때문이었습니다. 학회에 도착한 후, 제 기대를 훨씬 뛰어넘는 경험을 했습니다. 상상 이상으로 다양한 분야의 연구가 펼쳐져 있었고, 수준 높은 연구들이 정말 많았습니다.

학회 참가를 한 일주일 동안 많은 것을 배웠고, 배운 것을 다음과 같이 정리해보았습니다.

1. 다양한 분야
   
   • NeurIPS는 다양한 분야를 다루는 학회인 만큼, 정말 폭넓은 연구를 접할 수 있었습니다. Anomaly Detection이 AI 분야 전체에서 비교적 마이너한 분야라는 점은 알고 있었지만, 이번 학회를 통해 그 사실을 다시 한 번 실감하게 되었고, 더 다양한 연구를 접할 필요성을 느꼈습니다. 특히, 이번 NeurIPS에서는 다양한 주제가 다뤄졌지만, 그 중에서도 눈에 띄게 많은 연구가 진행된 분야는 에이전트, 강화 학습, 그리고 개인정보 보호(Privacy)였습니다. 또한, LLM(대규모 언어 모델)의 발전과 함께 이를 어떻게 활용할지에 대한 다양한 방향의 연구도 활발히 이루어지고 있다는 인상을 받았습니다.
2. 좋은 Motivation, Problem defintion
   
   • Neurips에서 본 연구들 전반적으로 제가 느꼈던 것은 방법론 보다도 Problem Defintion이 매우 잘되어있다 라고 생각했습니다. 그리고 그것이 좋은 연구구나 싶었습니다. 단순히 기존의 어떤 연구가 무엇이 잘못되었다 하고 넘어가는 것이 아닌, 기존에는 이런 것이 무엇 때문에 잘 안되었고 이게 문제였다. 그러니 이렇게 해보면 해결할 수 있다 라는 식이었습니다.
   • Rethinking Reconstruction-based graph-level anomaly detection : limitations and a simple remedy - 해당 연구는 기존 Graph-level anomaly detection의 reconstruction model들에게 나타날 수 있는 문제인 reconstruction flip을 정의하고 이를 해결하기 위한 연구입니다. 이상이지만 잘 복원되는 그래프를 발견하였고, 이것이 구조는 같지만 그래프 강도가 높은 경우 나타나는 현상을 확인하였으며 이를 reconstruction flip라 정의하였습니다. 이러한 문제는 복원 오차 계산 시 평균값만 사용하는 것이 문제로 정의하였으며, 이를 해결하기 위해 다양한 통계적 요약치를 벡터로 표현한 뒤 분류기를 통해 이상치 여부를 분류하는 방법을 제안하고 있습니다.
3. 좋은 시나리오
   
   • Neurips에서는 Continual learning와 관련된 연구들 위주로 보았습니다. Continual learning 은 다른 Task 대비 더 긴 시간 동안 이뤄지는 Task이다 보니 시나리오의 중요성이 많이 강조되었다고 느꼈습니다. 더불어 기존에 이뤄지던 Continual learning 시나리오 뿐만 아니라 독자적인 시나리오를 구축하고, 그 시나리오의 필요성을 설명하며, 해당 시나리오에서 나오는 문제를 정의하고 그것을 위한 방법론을 제안하는 연구 또한 볼 수 있었습니다.
   • Label Delay in Online Continual Learning 해당 연구는 실시간으로 데이터가 수집 되는 가운데, 라벨링은 늦게 되는 Label delay 시나리오를 제안하며, 이를 위한 Continual learning 방법론을 제안하고 있습니다. 이러한 시나리오에 맞춰 Pseudo-labeling, Re-weighting, Adaptive Buffer 3가지 방법을 제안하고 있습니다. 방법론 자체 보다도 Continual learning 관점에서 실제에서 나타날 수 있는 시나리오와 구체적인 문제를 정의하고 있는 점이 인상 깊었습니다.
   • "Incremental Learning of Retrievable Skills For Efficient Continual Task Adaptation" 해당 연구는 Robotics와 Continual learning을 결합한 연구로, 로봇이 다양한 환경에서 수행해야 할 때 로봇은 계속해서 새로운 환경을 마주하기 때문에 기존에는 없던 새로운 임무를 순차적으로 학습할 필요성을 주장하고 있습니다. 이를 위한 append only adapter 방식을 제안하고 있으며, 새로운 skill에 대해 adapter를 학습시킨 후 library에 저장, 해당 task를 수행할 때 adapter를 선택하여 사용하는 방법을 제안하고 있습니다.
4. 새로운 아키텍처
   
   • Neurips에서는 기존과는 다른 새로운 아키텍처를 제안한 연구도 여럿 있었습니다. 그 중 가장 기억에 남는 것은 "Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction" 입니다. 해당 논문은 기존에 이미지를 생성하는 주요 방법론인 Diffusion과 다르게 Autorgressive를 활용하여 이미지를 생성하는 구조를 제안합니다. 기존의 방법론들은 계산 비용이 높거나 안정적인 학습이 어려운 경우가 많다는 문제점을 지적하며, Autoregressive하게 이미지를 생성하는 구조를 제안합니다.

이외에도 네트워킹을 통해 다른 연구자의 삶을 들어보거나 tutorial을 통해 기본적인 개념을 다시 학습하고 workshop을 통해 특정 분야에 대해 집중적으로 학습해볼 수 있는 경험을 얻을 수 있었습니다.