이번 2024 대한산업공학회 추계학술대회에서는 다양한 인공지능 관련 연구들, 특히 Time-series 관련 연구들과 관련한 좋은 연구들이 많이 발표되었습니다. 최근, 시계열 데이터와 관련한 프로젝트를 참여하게 되면서 시계열 관련 연구들의 흐름을 알고 싶었고, 제가 보았던 연구들에서 소개된 다양한 문제 제기들과 제안 방법론들을 실제 산업 현장의 데이터에 응용해볼 수 있을 것 같아 뜻깊은 시간이었습니다.

[1] M-TTA: Masked Autoencoder기반 Test-Time Adaptation을 활용한 다변량 시계열 이상탐지 (하윤지, 백준걸, 고려대학교)

해당 연구에서는 실제 산업 현장의 Data나 연구용 벤치마크 데이터셋에서 자주 보이는 문제점인 Distribution Shift를 해결하고자 M-TTA라는 방법을 제안하고 있었습니다. 해당 연구에서는 Distribution Shift를 해결하고자 최근 연구들이 많이 접목하고 있는  TTA (Test Time Adaption)를 활용하고 있습니다. 다만, TTA 초기에 잘못된 Pseudo-label이 모델 업데이트에 반영되어 모델 성능 저하를 문제점으로 정의하여 이를 해결하고자 Masked Autoencoder와 TTA를 결합한 시계열 이상탐지 방법론을 제안하고 있습니다. 제안 방법론으로는 Offline Training에서는 입력 데이터를 Masking한 후 이를 복원하도록 학습을 진행하고, Online Test-Time Adaptation 단계에서는 TTA에 Masking을 추가하여 재구성 오류 및 최종 이상 점수를 계산하는 방식을 제안하고 있습니다. 해당 연구를 보면서 TTA에 Masking을 적용하는 연구는 신선하다고 생각하였었고, Masking의 비율이 모델 성능에 중요한 영향을 미치는 것으로 보아 아직 Masking 비율에 따라 민감하게 작용하기 때문에 실제 산업 현장의 데이터에 적용할 때에는 Tuning에 많은 시간을 소요해야할 것이라는 한계점은 보였지만, 다른 대조학습이나 Noise Injection 기법 대비 Masking이 효과적이라는 점에서 해당 연구의 의의가 돋보였던 것 같습니다.

[2] 시계열 이상 특성을 고려한 대조 학습 기반 다변량 시계열 이상 탐지 (유건혁, 백준걸, 고려대학교)

해당 연구에서는 시계열 이상 탐지 과업에서 대조 학습을 활용할 때 Positive Pair는 신중하게 결정하는 반면, Negative Pair를 구성하는 것은 단순히 시간 축 상으로 거리가 먼 샘플로 지정하거나 일부는 증강하지 않는 등 Naive하게 구성함으로써 정상과 이상 간의 차이가 명확하지 못하다는 문제점을 지적하며 시작되고 있습니다. 해당 연구에서는 시계열 이상 특징을 고려한 Negative Pair를 생성하기 위해 Soft Replacement, Uniform Replacement, Peak noise 등 이상 데이터에 나타나는 특성을 고려한 다양한 Data Degradation을 적용하고 있으며, Positive Pair의 경우 과거 데이터를 바탕으로 Representation을 생성한 뒤 이를 통해 미래 시점의 예측값을 예측하고 이를 Positive Pair로 활용하여 유사하게 학습함으로써 대조 학습을 진행하는 방법론을 제안하고 있습니다. 해당 연구를 보면서, 이미지 또한 단순히 ColorJitter, Rotation, Blur와 같은 단순한 Augmentation으로 Negative Pair를 만드는 것이 최선일까에 대한 의문을 가지고 있었는데 해당 연구의 주장에 공감이 많이 되어 향후 Synthetic Data를 만드거나, Augmentation을 적용할 때에는 단순한 방법보다 실제 이상 데이터의 특징을 반영하여 Synthesize하는 것 또한 고려해봐야함을 상기할 수 있었던 것 같습니다.

[3] 시계열 이상탐지를 위한 파운데이션 모델의 한계와 개선 방안 제안 (김종원, 고영명, 포항공과대학교)

해당 연구는 저희 연구실에서도 많이 소개해 주셨던 Time-series Foundation Model (TFM)과 관련한 연구였습니다. 해당 연구에서는 공개된 TFM이 단순한 시계열 데이터에서는 작동하지 않는 사례들을 발견하였고, 이러한 데이터에서는 Reconstruction Error가 충분히 크지 않으며 이를 해결하기 위한 Loss를 제안하고 있습니다. 해당 연구에서 말하는 단순한 데이터는 제가 이해하였을 때는 정상 데이터와 유사하며 정상 데이터 패턴에서 약간 벗어난 데이터는 복원하기 쉽기 때문에 단순한 데이터로 정의하고 있는 것으로 이해하였고, 단순한 데이터의 경우 고차원 데이터를 Latent Space으로 Embedding하여 해당 공간에서 이상을 탐지하는 Embedded Feature Based Anomaly Score가 효과적이기 때문에 Loss 구성에서 Embedded Feature Based Anomaly Score에 더 가중하는 가중합 방식의 Loss를 제안하고 있었습니다. 즉, 해당 연구에서는 단순한 데이터인지를 판단하고, Loss를 그에 맞게 적응형 Loss로 변환하여 학습하는 연구를 제안하였지만 해당 연구에서 정의하고 있는 단순한 데이터에 대한 정의가 모호하여 더욱 궁금하였던 연구입니다. 하지만, TFM를 분석하고 활용하기 위해 TFM이 못하고 있는 데이터의 특징을 분석했다라는 점에서 TFM을 더욱 발전시키고, 현업에서 활용하기 위해서 의미있는 분석 연구라고 생각되어 흥미로웠습니다.

끝으로, 교수님의 지원 덕분에 좋은 시계열 관련 연구들을 볼 수 있었고 부족했던 제 개인 연구를 처음으로 발표할 수 있었던 좋은 기회였습니다. 앞으로, 더 많은 연구들에서 보았던 아이디어들이나 문제점들을 응용해보도록 노력하겠습니다.