제주도에서 개최된 2025 한국컴퓨터종합학술대회에 참석하여, 타 연구자들의 좋은 연구들을 접하고, 연구자들과 직접 대화하며 생각을 공유하는 기회를 가졌습니다. 컴퓨터과학의 여러 연구 분야를 대상으로 하는 포괄적인 학회인 만큼, 인공지능 외에도 정보통신, 컴퓨팅 가속화, 메타버스/VR 등 다른 분야의 연구들도 많았다는 특징이 있었으나, 오히려 시야를 넓힐 수 있는 자리였던 것 같기도 합니다. 그래도 개인적인 배경지식과 관심 분야에 따라, 자연히 "인공지능 이론" 부문의 여러 이론 및 실험 연구들과, "언어공학" 부문의 LLM 관련 연구들을 위주로 보게 되었던 듯합니다.

그 중 연구자와 직접 대화하며 보다 깊게 이해하고, 그 과정에서 영감을 받을 수 있었던 연구들은 다음과 같습니다.

지름길 학습과 그로킹의 연관 관계에 대하여

그로킹(Grokking)은, 학습 중반 단계까지 training dataset에 대해서는 모델 성능이 높음에도 불구하고 test dataset에 대해서는 성능이 여전히 낮은 현상을 의미합니다. 그리고 shortcut learning은 label이 실제로는 core feature에 의해 결정됨에도 불구하고, shortcut feature와 어떠한 상관관계가 존재하는 경우 neural network가 shortcut feature에 더 의존하게 되는 현상을 말합니다. 해당 연구는 Neural Tangent Kernel의 관점에서, grokking 현상이 발생했을 때 모델이 lazy-training regime에서 벗어나지 못했음을 지적하며, shorcut learning과 grokking의 연관성에 대해 밝히고 있습니다.

다만, 사실 해당 연구 자체의 내용보다도, 관련하여 연구자와 직접 나눈 대화가 개인적으로 더 도움이 된 것 같습니다. Shortcut learning과 spectral bias의 연관성에 대해 이야기했는데, 최근 PINN과 관련해 읽은 논문의 내용과도 관련이 있는 내용이라 반가웠으며 개인적인 영감이 되었습니다.

생성자의 유사 역변환을 이용한 생성적 적대 임베딩 신경망

생성 모델의 encoder와 generator가 각각 학습하는 함수들은 서로 역함수 관계에 있는데도 불구하고, generator의 구조를 충분히 활용하지 못해 일관성 유지에 한계가 있다는 것이 해당 연구의 motivation이었습니다. Moore-Penrose Pseudo Inverse를 적용하여, 가능한 조건 하에서는 generator의 역변환을 encoder로 활용함으로써 일관성을 유지하는 것이 연구의 목표로, 수학적 모델링을 통해 아이디어를 구현한 것이 인상적이었습니다. GAN에서 역변환 활용 가능 조건은 (1) 채널 수가 증가하는 형태의 선형 변환만 사용하고, (2) 역함수가 존재하는 activation function만 사용하는 것이었습니다. 이때, 이론적으로는 채널 수가 증가할 필요 없이 유지만 되어도 괜찮지 않은지 질문해보았을 때, 그럼 이와 같은 역변환 연산을 할 이유가 없기에 증가를 가정한다고 답변 받았습니다. 결론적으로, GAN generator의 layer들의 역함수들을 역순으로 통과시키면 이를 그대로 encoder로 활용이 가능하며, data -> latent representation -> data 순으로 복원하는 과정에서 완전히 같은 값이 나오는 것이 수학적으로 보장됨을 보인 것이 연구의 주요 아이덴티티입니다.

심층 신경망의 레이어 간 균형 학습을 위한 스펙트럴 놈 분산 정규화

대학원 1학기 산업공학세미나 수업에 명사로도 초청되셨던 성균관대학교 산업공학과의 강석호 교수님 연구실의 박사과정 분께서 수행하신 연구라, 흥미가 생겨 자세히 읽어보고 연구자 분께도 여러 질문을 드렸던 연구입니다. "Deep" neural network가 온전히 능력을 발휘하려면 각 layer가 고르게 정보를 학습해야 하는데, 적절한 regularization을 추가하지 않으면 특정 layer가 dominant해지면서 표현력이 감소하게 됩니다. 이를 방지하기 위해 각 layer의 weight matrix가 갖는 spectral norm(가장 큰 singular value)을 1로 고정하여 특정 layer가 과도한 정보 흐름을 갖는 것을 규제하는 spectral normalization (SN)을 적용할 수도 있으나, 너무 strict한 제한은 오히려 각 layer가 갖는 information flux 자체가 성능에 어떠한 기여도를 가질 수도 있기 때문에, soft한 regularization을 제안하는 것이 해당 연구의 목적이었습니다. 해당 연구에서는 spectral norm variance regularization (SNVR)을 제안하여, backpropagation 과정에서 각 layer에 spectral norm을 활용한 penalty term을 추가함으로써 추가적인 연산 비용 없이도 기대 효과를 달성했습니다. 또한, SNVR은 weight decay와 유사하게 동작하기 때문에 모델 구조나 다른 loss term에 영향을 크게 주지 않으며, 타 normalization 방법론들과 함께 쓰일 수 있다는 것이 또 다른 장점이었습니다. Motivation, ideation, 논리 전개 모두 직관적이고 간결하며, 연구 과정의 전개 또한 합리적이라는 것이 포스터만으로도 잘 느껴져 정말 좋은 연구였다고 생각됩니다.

 

이번 학회를 통해 세상의 넓음과 개인의 미숙함을 다시금 체감했고, 그만큼 보다 열심히 해야 할 필요성을 느낀 듯합니다. 좋은 기회를 주신 교수님께 감사드리며, 이후 진행하게 될 개인 연구에 최선을 다하겠습니다.