제주도에서 열린 **2025년 한국컴퓨터종합학술대회(KCC 2025)**에 참가하여 최신 연구 동향을 파악하고 다양한 분야의 연구자들과 교류하는 소중한 시간을 가졌습니다. 해외 최상위 학회에 발표한 연구들을 직접 소개하는 'Top Conference' 세션은 깊은 인상을 남겼습니다.

인상 깊었던 연구 소개 
DASH: 가소성 손실 없이 고정된 환경에서 신경망 훈련을 웜스타팅하기
딥러닝 모델을 재학습할 때 기존 가중치를 활용하는 **웜스타팅(warm-starting)**은 흔히 사용되지만, 모델이 새로운 정보를 학습하는 능력, 즉 가소성(plasticity)을 잃는 문제가 있었습니다. KAIST 신백록 연구팀이 발표한 이 연구는 데이터 분포가 변하지 않는 환경에서도 이러한 문제가 발생하는 원인이 **'노이즈 기억(noise memorization)'**에 있음을 밝혔습니다.

이를 해결하기 위해 제안된 DASH (Direction-Aware Shrinking) 기법은 매우 독창적이었습니다. 단순히 가중치를 줄이는 것이 아니라, 그래디언트 방향성을 분석해 불필요한 노이즈와 관련된 가중치만 선택적으로 '잊게' 하고, 핵심 특징은 보존하는 방식입니다. 이는 마치 인간이 불필요한 기억은 잊고 중요한 정보는 남기는 정교한 망각 과정과 유사하게 느껴졌습니다. 이 연구는 모델을 '어떻게 잊고 배우게 할 것인가'에 대한 통제 가능성을 제시하며, 실무에서 웜스타팅 전략을 한 단계 발전시킬 중요한 실마리를 제공했습니다.

 
SNVR: 심층 신경망의 계층별 균형 학습을 위한 스펙트럴 놈 분산 정규화
성균관대 임지성 연구원의 발표는 깊은 신경망의 학습 안정성과 성능을 동시에 잡으려는 시도였습니다. 심층 신경망에서는 특정 계층(layer)에 정보 처리가 편중되어 전체적인 표현력을 저해하는 문제가 발생할 수 있습니다. 기존에는 각 계층의 스펙트럴 놈(spectral norm)을 강하게 제약하여 이를 해결하려 했지만, 이는 오히려 모델의 유연성을 해치는 단점이 있었습니다.

이 연구는 **스펙트럴 놈의 '분산'을 정규화(variance regularization)**하는 부드러운 규제 방식인 SNVR을 제안했습니다. 이를 통해 모든 계층이 고르게 학습에 참여하도록 유도하여 정보 흐름의 균형을 맞춥니다. 그 결과, 추가적인 연산 비용 없이도 더 깊은 모델에서 안정적인 학습과 높은 정확도를 달성했음을 실험으로 증명했습니다. 복잡한 모델의 학습 안정성을 고민하는 제 연구에도 직접 적용해볼 만한 실용적인 아이디어였습니다.

 
TransPAD: 포인트 이상 탐지를 위한 트랜스포머
트랜스포머는 주로 시계열이나 자연어 같은 순차 데이터 처리에 사용되지만, 한동대 김하림 연구팀은 이를 **표 형식 데이터(tabular data)의 이상점 탐지(anomaly detection)**에 적용하는 새로운 가능성을 보여주었습니다.

TransPAD는 트랜스포머 기반의 오토인코더 구조를 사용해 데이터셋 전체의 특성 간 상호의존성을 학습합니다. 특히, 랜덤 샘플링과 조건부 샘플링을 결합하여 모델이 너무 쉽게 데이터를 복원해 이상을 놓치는 '자명한 일반화(trivial generalization)' 문제를 효과적으로 회피한 점이 인상적이었습니다. 또한, 어텐션 가중치를 이상 점수 산출에 활용하여 기존보다 정밀한 탐지를 가능하게 했습니다. 이는 트랜스포머의 내부 메커니즘을 해석 가능성의 관점에서 영리하게 활용한 사례로, 고정관념을 깨는 창의적인 접근법이라 생각됩니다.

뛰어난 연구자들의 발표를 직접 보고 들으며 학문적 열정과 실질적인 동기부여를 얻을 수 있었습니다. 이러한 귀중한 기회를 마련해주신 연구실과 교수님께 진심으로 감사드리며, 이번 경험을 자양분 삼아 더 나은 연구자로 성장하기 위해 끊임없이 노력하겠습니다.