2025년 한국컴퓨터종합학술대회에 참가하여 다양한 연구 발표를 접하고 연구자들과 직접 소통할 수 있는 귀중한 기회를 가질 수 있었습니다.

다양한 세션들을 바탕으로 최신 연구 동향을 파악할 수 있었으며, 각 연구자들이 자신의 연구를 명확하고 체계적으로 정리하여 발표하는 모습에서 많은 것을 배울 수 있었습니다. 전반적으로 딥러닝의 이론적 발전과 실용적 응용이 균형 있게 다뤄졌다는 점에서 매우 유익한 시간이었습니다.

Neural ODE Transformers: Analyzing Internal Dynamics and Adaptive Fine-tuning

이 연구는 트랜스포머 아키텍처를 연속적인 신경 상미분방정식(Neural ODE)으로 모델링하는 새로운 접근법을 제시했습니다. 기존 트랜스포머의 discrete한 레이어 구조를 연속적인 레이어 인덱스 함수로 표현함으로써, attention과 feed-forward 블록의 모든 가중치를 신경망을 통해 매개변수화한다는 아이디어가 매우 novelty가 있었던 것 같습니다.

특히 인상 깊었던 부분은 스펙트럼 분석을 통해 모델 동역학을 분석하고, Lyapunov 지수를 활용하여 토큰 레벨의 민감도를 측정한다는 점이었습니다. 이러한 접근법은 기존 이론 연구에서 가정하던 weight-sharing 가정에 도전하며, 모델의 내부 동작을 더 깊이 이해할 수 있는 통찰을 제공합니다. 이러한 방법이 기존 vanilla 트랜스포머와 비교하여 성능을 유지하면서도 유연한 fine-tuning 능력을 제공한다는 점이 실용적 측면에서도 의미가 크다고 느꼈습니다.

Real-time Calibration Model for Low-cost Sensor in Fine-grained Time series

TESLA(Transformer for effective sensor calibration utilizing logarithmic-binned attention) 연구는 저비용 센서의 정확도 문제를 해결하기 위한 실용적 접근법을 제시했습니다. 실제 산업 현장에서 직면하는 문제를 트랜스포머 기반 딥러닝으로 해결하려는 시도가 매우 현실적이고 의미있다고 생각했습니다.

핵심 아이디어인 logarithmic binning을 통한 attention 복잡도 최소화는 하드웨어 제약이 있는 시스템에서도 실시간 캘리브레이션을 가능하게 한다는 점에서 창의적이었습니다. 기존 선형 모델들과 비교했을 때 정확도, 캘리브레이션 속도, 에너지 효율성 모든 면에서 우수한 성능을 달성했다는 실험 결과도 인상적이었습니다. 특히 fine-grained time series 처리에서의 일관된 성능은 IoT 센서 네트워크 같은 실제 응용 분야에서의 활용 가능성을 보여주는 부분이라 생각됩니다.

ADAM Optimization with Adaptive Batch Selection

AdamCB(Adam with Combinatorial Bandit Sampling) 연구는 Adam 최적화 알고리즘의 근본적인 한계를 지적하고 이를 해결하는 새로운 방법론을 제시했습니다. 서로 다른 데이터 샘플이 모델 업데이트에 미치는 영향이 다름에도 불구하고 이를 동등하게 취급하는 기존 방식의 비효율성을 combinatorial bandit 기법으로 해결한다는 아이디어가 매우 논리적이었습니다.

발표에서 특히 흥미로웠던 부분은 기존 bandit 기반 Adam 변형의 이론적 보장 부족 문제를 AdamCB가 어떻게 해결하는지에 대한 설명이었습니다. 여러 샘플로부터의 피드백을 동시에 활용할 수 있는 능력이 이론적 보장과 실용적 성능 모두를 향상시킨다는 점에서 매우 novelty있는 해결책이라고 느꼈습니다. regret analysis를 통해 기존 Adam 기반 방법들보다 빠른 수렴을 달성한다는 이론적 결과와 이를 뒷받침하는 수치 실험 결과가 매우 설득력 있었습니다.

Transformer for Point Anomaly Detection

TransPAD 연구는 트랜스포머를 tabular 데이터의 point anomaly detection에 적용한 새로운 시도로서 관심을 끌었습니다. 일반적으로 sequence dependency가 명확하지 않은 tabular 데이터에서 트랜스포머의 활용은 제한적이었는데, 이 연구는 데이터셋 전체의 상호의존성을 포착할 수 있는 AutoEncoder 프레임워크를 제안했습니다.

특히 인상적이었던 부분은 random sampling과 criteria sampling 전략을 통해 효과적인 학습과 이상 탐지를 동시에 달성한다는 점이었습니다. 기존 방법들이 흔히 겪는 trivial generalization 문제를 회피한다는 점도 실용적 측면에서 의미가 컸습니다. attention weight 기반 이상 점수 시스템을 통해 더 정확한 이상 탐지를 수행한다는 아이디어는 트랜스포머의 attention mechanism을 해석 가능성 관점에서 활용한 좋은 사례라고 생각했습니다. 다양한 벤치마크 tabular 데이터셋에서의 일관된 성능 향상도 방법론의 우수성을 보여주는 부분이었다고 생각합니다.

소감 및 배운 점

Neural ODE를 통한 이론적 확장, 실시간 센서 캘리브레이션, 최적화 알고리즘 개선, tabular 데이터 이상 탐지 등 각기 다른 문제들을 transformer 모델을 기반으로 해결하려는 시도들이 매우 인상적이었습니다.

또한, 각 연구들이 단순히 성능 향상에만 집중하는 것이 아니라, 이론적 근거와 실용적 제약사항을 모두 고려한 균형잡힌 접근법을 보여준다는 점에서 많은 것을 배울 수 있었습니다. 특히 실제 산업 현장의 문제를 해결하려는 연구들에서 학술적인 부분들과 함께 실용성을 함께 고려하는 방법에 대한 좋은 사례들을 접할 수 있었습니다.

앞으로 연구를 진행할 때에도 이러한 다각도적 접근법과 이론적 실무 균형을 항상 염두에 두고 진행할 수 있도록 하겠습니다. 다양한 연구를 접할 수 있는 좋은 기회를 제공해 주신 교수님께 깊은 감사를 드립니다. 교수님께서 신경 써주시는 만큼 더 좋은 연구자가 될 수 있도록 항상 노력하겠습니다.