좋은 기회로 인하여, 25.4.24 - 25.4.28에 진행되었던 International Conference on Learning Representations(ICLR) 2025에 참여할 수 있었습니다. 개인적으로 ICLR는 제가 연구하고 있는 시계열 관련 연구를 포함하여, 인공지능 분야에서 큰 영향력과 명성을 가지고 있는 학회 중 하나라고 생각했기 때문에 큰 기대를 가지고 학회에 참석했습니다. 특히, ICLR는 특정한 모달리티를 다루는 학회가 아닌 정말 “Learning representation”을 대주제로하여 관련이 있는 모든 연구들을 포괄적으로 다루는 학회이기에 시계열 관련 연구 뿐만 아니라, 다양한 인공지능 분야의 연구들을 모두 접하고 오겠다는 마음가짐으로 학회에 참석하게 되었습니다.

학회에 참석함으로써 느꼈던 가장 큰 부분은, 인공지능 분야가 트렌드와 변화에 매우 민감하기 때문에 연구하고 있는 분야에 한정되지 않고 끊임없이 새로운 내용을 배우려는 태도가 중요하다는 것이었습니다. 새로 접하는 무언가를 당연히 모를 수는 있지만, 연구자로서 분야를 막론하고 몰랐던 사실들을 알려고 하지 않는 것은 스스로를 한계 지을 수 있게 한다는 점을 깨닫게 해주었습니다. 이에 학회에서 접한 새로운 내용들을 모두 정리해둔 후, 돌아가게 된다면 적어도 어떤 내용인지 등을 모두 파악하고자 계획하고 있습니다. 특히, 학회의 내용 중 가장 큰 파이를 차지하고 있던 diffusion 관련 연구나 LLM agent 관련 분석, 강화학습 등은 시계열 데이터 분석이나 세부적인 과업에 충분히 사용가능한 방법론들이기 때문에 제대로 공부를 해보는 것이 필요하겠다라고 생각했습니다.

학회의 주제가 “Learning representation”을 전제로 운영되었기 때문에, 사실 시계열에 특화된 연구가 많지는 않았지만, 그 중 특히 인상깊었던 연구를 아래와 같이 정리할 수 있었습니다. 어떠한 방법론을 중점적으로 보기보다는, 어떠한 분석을 하여 문제를 제기하였고, 이를 어떻게 풀었는지를 중점적으로 논문을 확인했습니다. 또한, 제가 개인적으로 관심을 가지고 있던 Test-time adaptation에 대해서도 많은 연구가 이루어지고 있었기 때문에 이에 대해서도 많은 연구를 확인할 수 있었습니다. 추가적으로, 이번 학회의 목표는 개인 연구에 한정하지 않고 모든 연구들을 포괄적으로 확인하는 것이었기 때문에, 다양한 분야의 논문들도 확인할 수 있었습니다. 그 과정에서 기존 VQVAE의 문제점을 다루며, 이를 개선시키고자 한 VQVAE-rotation trick 연구가 특히 기억에 남았습니다.

기억이 남는 연구들은 다음과 같이 정리할 수 있을 것 같습니다.

1. Time Series

1-1. SimpleTM: A Simple Baseline for Multivariate Time Series Forecasting

제안 연구에서는 복잡한 구조 없이도 시계열 예측에서 강력한 성능을 낼 수 있다는 점을 강조하며, 기본적인 baseline 모델을 제안하고 있습니다. 이를 위해 각 변수별로 별도의 shallow한 lightweight MLP를 적용하여 독립적으로 feature를 추출한 후, 이들을 단순히 평균이나 합산을 통해 통합하는 구조를 사용하여 변수간 불필요한 상호작용을 제거합니다. 또한 시계열 입력을 별도의 feature engineering 없이 그대로 투입해도 안정적으로 학습할 수 있도록 설계하여, 복잡한 preprocessing 단계 없이도 end-to-end 학습이 가능하도록 하였습니다. 오히려 단순한 구조가 과적합을 방지하고 데이터에 충실한 학습을 가능하게 했다는 점이 인상적이었고, 단순화가 오히려 예측 문제에 힘을 줄 수 있다는 사실을 다시금 깨닫게 해준 연구였습니다.

1-2. Fast and Slow Streams for Online Time Series Forecasting Without Information Leakage

제안 연구는 online 환경에서 미래 데이터의 정보 유출 없이 시계열 예측 정확도를 높이는 문제를 다루고 있습니다. 이들은 시계열 데이터를 두 개의 stream으로 분리하는데, fast stream를 캡처하는 네트워크와, slow stream를 포착하는 네트워크를 별도로 구축합니다. fast stream은 작은 window size를 기반으로 학습하고, slow stream은 긴 window size로 장기 추세를 학습하며, 마지막에 두 stream을 통합해 최종 예측을 생성합니다. 이렇게 2-stage로 진행하는 이유는 slow stream 업데이트 시 과거 데이터만을 이용하여 학습 과정에서 미래 정보 유출을 차단하기 위해서라고 이해했습니다. Online 업데이트 상황에서도 시계열의 다중 시간 스케일을 모두 효과적으로 다룰 수 있다는 점에서 매우 정교하고 현실적인 설계라고 느껴졌습니다. 또한, 딥러닝에 시계열을 적용하기 보다는 시계열 데이터를 잘 고려하기 위한 딥러닝 구조 설계가 필요하다는 생각이 들었습니다.

2. Test-Time Adaptation(TTA)

2-1. Coreset Selection via Reducible Loss for Continual Learning

해당 연구는 Continual Learning 설정에서 효과적인 coreset 구성을 위해 단순한 feature similarity 대신, “새로운 coreset을 추가 시 기대되는 loss 감소량”을 기반으로 샘플을 선택하는 방식을 제안합니다. 구체적으로, 현재 모델 파라미터에 대해 샘플 하나를 추가했을 때, training loss가 얼마나 줄어들지를 추정하고, 이를 최대화하는 방향으로 coreset을 구성합니다. 이를 위해 small-scale gradient update를 통해 각 샘플의 기여도를 평가하는 기술을 사용하였고, selection 과정에서도 computational burden을 줄이기 위해 approximate method를 적용했습니다. representation 유사성만으로는 설명할 수 없는 샘플의 학습 기여도를 정량적으로 고려한 점이 매우 인상적이었고, 단순한 feature space 기반 selection보다 훨씬 좋은 접근이라고 생각하였으며, 추후 개인 연구에서 고려해볼만한 아이디어라는 생각이 들었습니다.

2-2. Test-Time Ensemble via Linear Mode Connectivity: A Path to Better Adaptation

제안 연구는 Test-Time Adaptation(TTA) 상황에서 단일 모델 fine-tuning의 한계를 극복하고자 새로운 앙상블 기법을 제안합니다. 구체적으로, 사전 학습된 여러 mode를 Linear Mode Connectivity(LMC)를 통해 연결하고, 테스트 시 이 연결 경로상의 여러 중간 모델들을 샘플링하여 예측 ensemble을 수행합니다. 이를 위해 두 pre-trained 모델 간 loss landscape가 부드럽게 연결될 수 있도록 사전 학습 단계에서도 LMC를 고려한 훈련을 진행합니다. test-time에는 별도 fine-tuning 없이 여러 중간 파라미터 상태를 활용함으로써, 적응성과 예측 안정성을 동시에 확보합니다. 모델 하나를 수정하는 것보다 훨씬 자연스럽게 distribution shift를 견디는 구조를 만들어낸 점이 인상적으로 다가왔습니다.

3. Others

3-1. Restructuring Vector Quantization with the Rotation Trick

해당 연구는 VQ-VAE 구조에서 codebook의 비효율적인 분포 문제를 해결하기 위해 rotation 기반 기법을 추가함으로써 robust한 VQVAE 학습 방법을 제안하고 있습니다. 구체적으로, encoding 공간에서 codeword 간의 분포를 분석하여, 특정 방향으로의 편향을 줄이는 방향으로 rotation matrix를 적용합니다. 학습 과정에서 주기적으로 이 rotation을 적용해, 코드북 전체의 표현 범위를 넓히고 encoding precision을 개선합니다. 추가적인 복잡한 파라미터 튜닝 없이 단순한 선형 변환만으로 quantization bottleneck 문제를 효과적으로 완화한 점이 매우 인상적이었고, VQ-VAE 구조 자체를 보다 안정적이고 강건하게 만들 수 있다는 가능성을 보여주었습니다.

다양한 연구를 접하며 식견을 넓힐 수 있는 소중한 경험이었습니다. 좋은 기회를 주신 교수님께 다시 한 번 감사드립니다.