이번 세미나는 시계열 이상치 탐지를 주제로 진행되었습니다. 그 중에서도 학습용 데이터셋과 시험용 데이터셋의 분포의 차이가 발생하는 문제인 distribution shift에 대한 연구가 소개되었습니다. 이는 벤치마크 데이터셋에서도 빈번하게 나타나곤 합니다. 이와 관련해서는 컴퓨터비젼 분야에서도 동일하게 나타나는 문제로 여겨졌습니다. 따라서 Test Time Adaptation 이라는 이름으로 제안된 기술을 선보였는데, 이는 trainset에 대한 정보 없이 모델의 가중치를 업데이트 하는 기술로 볼 수 있습니다. 대표적으로는 Teacher-Student 구조를 활용함으로써 Teacher 모델에만 업데이트 될 수 있도록 한 것이 있습니다. 이를 시계열 데이터에 적용하기 위해 기존 연구와 달리, pseudo-labeling을 이용하여 testset내 샘플 중 정상이라고 간주할 수 있는 샘플들에 한해서 학습이 진행되는 것이 본 연구의 제안 방법론의 핵심입니다. 특히 pseudo-labeling을 하기 위해 EMA로 획득한 통계량으로 testset의 샘플을 Detrend 해준 후 출력값에 해당 통계량을 다시 더하게 됩니다. Testset으로 학습이 진행된다는 표현이 어색하지만 문제 상황을 잘 지적하고 이를 해결하기 위한 납득할만한 방법을 제시한 것 같습니다. 다만, 발표자분께서도 언급하셨듯이 pseudo-labeling의 정확도에 대해서 검증을 하는 단계가 필요할 듯 합니다. 좋은 발표 잘 들었습니다.
Jaehee Kim
2024-03-17 15:58
금일 세미나는 Time Series Anomaly Detection 태스크에서 학습 시점과 다른 분포를 가지는 데이터에 대해 강건한 성능을 보일 수 있는 방법론을 제안한 "When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection" 논문을 중심으로 진행되었습니다. 시계열 도메인에서 학습과 추론 시점에 다른 분포를 가지는 특성은 다양한 태스크에서 매우 중요한 문제입니다. 특히 이동 평균이나 분산과 같이 시점에 따라 변동성이 클 수 밖에 없는 도메인 특징으로 인해 최근 Time Series Forecasting 분야에서는 RevIN과 같은 정규화 방법론이 널리 사용되고 있는 것으로 알고 있습니다. 본 논문은 이상치 탐지 분야에서 다른 분포 특성이 매우 중요함을 언급하고 이를 해결하기 위한 방법론을 제안하고 있습니다. 구체적으로 학습 시에는 기존 이상치 탐지 방법론을 활용하되, 학습 데이터의 통계치를 저장합니다. 이후 추론 시에는 EMA를 통해 평균 통계량을 산출하고, 이를 이용하여 Trend를 제거한 이후 모델이 처리합니다. 이후 최종 결과값을 이전에 계산한 통계량을 이용하여 Trend를 복원하게 됩니다. 실제 이상치 임계값은 학습 시점에 저장한 통계치를 이용하여 계산하는 방식으로 학습과 추론 시점의 분포 변화에 대응하고 있습니다. 실제 실험에서도 분포 변화가 심한 데이터에 대해 높은 성능을 보여주고 있습니다. 이동 평균만 이용하는 다소 단순한 방식으로 효과가 있는 것이 의아하지만, 분포 변화라는 모호한 개념이 단순한 방법으로도 해결이 가능함을 보여주었다고 생각합니다. 향후 RevIN처럼 다양한 도메인과 데이터에 대해 강건할 수 있는 연구로 이어질 수 있는 좋은 연구인 것 같습니다. 좋은 발표 감사드립니다.
Jaehyuk Heo
2024-04-25 14:28
이번 세미나는 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection" 논문에 대하여 소개해주셨습니다. 해당 연구는 비지도 학습 기반 시계열 이상치 탐지에서 발생하는 distribution shift 문제를 해결하기 위해 detrend 모듈과 test-time adaptation 을 적용한 연구입니다. 시계열 이상치 탐지에서 발생할 수 있는 distribution shift는 정상의 특징이 평가시 변화되어 정상을 이상치로 오탐하게 되는 false alarm을 의미합니다. 해당 연구에서 제안하는 detrend 모듈은 시계열의 trend를 제거하여 distribution shift를 대응하기 위한 방법입니다. 그러나 trend 제거 만으로는 distribution shift를 해결할 수 없는 경우가 존재할 수 있기 때문에 test-time adaptation을 적용하였습니다. 좋은 발표 감사합니다.
Minjeong Ma
2024-03-23 12:45
이번 세미나에서는 시계열 데이터의 이상 탐지에 관한 혁신적인 접근법을 제안한 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection" 논문에 대해서 발표해 주셨습니다. 해당 논문에서는 실제 시계열 데이터가 지닌 동적이고 변화가 많은 특성을 모델에 효과적으로 Adaptation 시키는 시도를 하였습니다. 이는 많은 기존 모델들이 고정된 분포를 기반으로 작동한다는 점에서 큰 차이점이 있습니다. 특히 Detrend Module과 Test-Time Adaptation이라는 두 가지 전략을 사용하였습니다. Detrend Module은 시계열 데이터 내에 내재된 동향을 제거함으로써 모델이 데이터의 기본 구조에 보다 집중할 수 있게 돕습니다. 이는 시계열 데이터 분석에서 흔히 발생하는 문제인 경향성 변화를 해결하는 신선한 접근법이라고 생각합니다. 또한 Test-Time Adaptation 접근법을 사용하여 모델이 테스트 시간 동안 새로운 '정상' 데이터의 분포를 학습하도록 함으로써, 시간에 따라 변화하는 데이터 패턴에 자동으로 적응할 수 있게 해주었습니다. 이는 실제 운영 환경에서 발생할 수 있는 다양한 변화에 모델을 효과적으로 적응시킬 수 있는 강력한 메커니즘을 제공할 것으로 생각됩니다. 이 두 모듈의 결합은 모델이 변화하는 환경에서도 일관된 성능을 유지할 수 있도록 도우며, 이는 시계열 이상 탐지 분야에서 중요한 진전일 것이라 생각됩니다. 실제 적용 사례를 고려할 때, 이러한 접근법은 산업 시설의 모니터링, 금융 시장의 변동 감지, 건강 모니터링 시스템 등 다양한 분야에서 유용할 것이라 생각합니다. 논문을 통해 느끼게 된 점은, 기존 모델의 실제 세계 적용을 위해서는 단순히 과거 데이터에서 높은 성능을 보이는 것을 넘어, 시간에 따라 변화하는 데이터 특성에 적응할 수 있는 능력이 매우 중요하다는 것이었습니다. 좋은 발표 해주셔서 감사합니다.
SangMin Lee
2024-03-26 13:46
본 세미나는 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection"이라는 논문을 바탕으로 진행되었습니다. 해당 논문은 Time-series anomaly detection이라는 task에서, Train과 Test set 간 Distribution shift가 발생했을 때 모델이 강건(robust)하게 대처할 수 있는 방법론을 제안하였습니다. 특히 Detrend Module과 Test Time Adaptation Module이라는 2가지 모듈을 제안한 것이 큰 특징입니다. 첫 번째 Detrend Module은 입력되는 test set window를 Exponential Moving Average로 구한 통계량으로 제하여 Distribution shift에 대응하였으며, 두 번째 Test Time Adaptation Module은 단순히 detrend만으로 distribution shift에 적절히 대응하기 어려울 경우를 대비하여, 입력되는 test set window에 대한 unsupervised 학습을 수행하였습니다. 제안 방법론과 두 모듈을 보면서 든 생각은 distribution shfit를 대처하기 위해 강건하게 대처할 수 있는 방법론으로, trend를 유추하여 input sequence에서 제거하는 detrend module과 stream data 중 정상으로 간주할 수 있는 sample을 비지도 방식으로 추가 학습하여 new normal에 대한 정보를 얻는 게 유효하다고 생각하였습니다. 또한 pseudo-label을 사용하는 방식보다 일부 subset을 뽑아서 labeling을 하는 active learning 접근법도 적용해볼만한 가치가 있다고 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.
Siyul Sung
2024-03-26 23:28
이번 세미나에서는 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-series Anomaly Detection"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 본 연구에서는 시계열 이상치 탐지에서 특히 학습과 테스트 데이터 간 분포 변화(Distribution Shift)가 이상 탐지 모델의 성능 저하를 일으키는 주요 요인이라 주장하였습니다. 이를 극복하기 위한 2가지 모듈인 Detrend Module과 Test-Time Adaptation (TTA) Module을 제안하였습니다. Detrend Module은 Exponential Moving Average (EMA)를 기반으로 Detrend를 진행함으로써 Distribution Shift의 영향을 최소화하였습니다. TTA Module은 Label이나 train data에 대한 정보 없이 모델의 가중치를 업데이트하여, 입력된 sequence 중 정상으로 분류할 수 있는 sample만 학습하여 모델 가중치 업데이트 하였습니다. 이처럼 Detrend와 함께 TTA Module을 사용하면서 Distrubution Shift에 대해 충분한 대응을 하고자 하였습니다. 단순할 수 있지만, 이렇게 두가지 Module을 동시에 사용하여 모델의 강건성을 개선하고 성능을 향상시킨 점이 인상깊었습니다. 또한 Time Series의 대표적인 Task인 Forecasting과 Anomaly Detection에서 Distribution Shift에 대한 민감도가 다르다는 것도 알게 되었습니다. Forecasting의 경우 Distribution Shift가 발생한다고 해도, 미래 값을 예측하는 것에만 집중한다면, Anomaly Detection의 경우 Distribution Shift이 발생할 때, 그마저도 학습이 함께 진행되기 때문에 정상 데이터에 대한 Distribution Shift와 단순 비정상 데이터를 혼동할 수 있겠다 생각하였습니다. 본 세미나를 통해 시계열 이상치 탐지 분야에서 Distribution Shift를 해결하는 것이 중요한 문제임을 알게 되었습니다. 좋은 발표 해주셔서 감사합니다.
Jaewon Cheon
2024-03-27 13:49
이번 세미나에서는 시계열 데이터의 이상 탐지 과정에서 Train과 Test의 Distribution Shift를 해결하고자 하는 방법론을 제시하는 논문을 다루었습니다. Reconstruction-Based한 시계열 데이터의 이상 탐지는, 정상의 Train 시계열을 복원하도록 학습된 모델을, Test 시계열에 대한 복원 task를 진행하였을 때, 복원이 잘 되지 않는 부분을 Anomaly로 분류하는 접근법이라고 생각할 수 있습니다. 그렇기에, 강한 전제로 Train 시계열은 모두 정상이어야 하며, Test 시계열은 Anomaly를 포함하더라도, 정상적인 부분에 대해서는 동일한 Distribution을 가지고 있다는 점을 포함하여야 합니다. 만약 Train과 Test의 정상 데이터 분포가 다르다면, Test에서의 정상 데이터가 Anomaly로 분류가 될 수 있고, 그럼에도 불구하고 시계열 데이터의 특성 상 Test 데이터의 분포가 Train 데이터의 분포와 다를 수 있는 가능성이 매우 크므로, 이와 관련한 조치가 필요하게 됩니다. 오늘 소개된 논문에서는, Train의 정상 데이터를 잘 복원하는 모델에 대해, Test의 정상 데이터도 잘 복원할 수 있도록, 즉 둘 간의 Shift를 줄일 수 있는 방법론을 소개하고 있고, 크게 EMA를 통한 Test 데이터의 Detrend와 Test 데이터로부터 추출한 pseudo normal samples로 모델을 한 번 더 업데이트하여 explicit하게 adaptation을 진행하는 두가지 단계로 이루어져 있습니다. 개인적으로는, 첫 번째 단계의 경우, Detrend가 어떻게 Train과 Test의 Distribution Shift를 완화할 수 있는가에 대한 설득이 논문에서 좀 더 이루어졌으면 좋았겠다는 생각이 들었습니다. 결국, Train은 Detrend하지 않은 데이터로, Test는 Detrend한 데이터로 Forward를 시키게 되기 때문에 이로 인한 Shifting이 더 커질 수도 있지 않나 생각하였습니다. 하지만, 이 방법론을 적용하기 위한 다른 모델이 필요한 것이 아닌, 기존의 어떤 모델에도 쉽게 적용할 수 있는 프레임워크라는 점은 매력적으로 느껴진 것 같습니다. 좋은 논문 소개해주셔서 감사합니다.
Jinwoo Park
2024-03-27 17:44
금일 세미나는 When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection 논문을 바탕으로 진행되었습니다. 해당 연구에서는 시계열 이상치 탐지 Task 에서 시계열 연구의 고질적인 문제라고 할 수 있는 Distribution shift를 해결하고자 하는 방법론이라고 말할 수 있습니다. 시계열 데이터는 보통 특성상 하나의 데이터에서 앞 뒷부분을 잘라 Train 및 Test로 사용합니다. 이 과정에서 필연적으로 Distribution shift가 발생하면서 모델의 성능을 감소 시키게 됩니다. 이는 단순히 연구 목적을 떠나, 현실적으로도 시계열 모델이 현업에서 올바르게 사용되기 위해서는 꼭 해결되어야 하는 문제라고 볼 수 있겠습니다. 이에 해당 논문에서는 Trend estimation, Test Time Adaptation을 통하여 이러한 문제를 해결하고자 하고 있습니다. Test Time Adaptation 부분에서는 모델에 입력된 Sequence 중 pseudo labeling을 통하여 정상으로 분류할 수 있는 Sample만을 다시 학습하여 모델의 가중치를 업데이트 하고 있습니다. 제시한 방법들이 충분히 큰 의미가 있다고 보여지지만, 한 가지 우려가 되는 부분은 모델이 정상으로 분류할 수 있는 Sample만을 다시 재학습하는 과정에서 비정상을 정상으로 분류했다면 성능이 더욱 악화될 것이기에 이에 대한 제약 역시 필요하다는 생각이 들었습니다. 좋은 발표 정말 감사드립니다.
Junyeong Son
2024-03-28 23:11
이번 세미나에서는 Train과 Test 간의 Distribution Shift가 발생했을 때 모델이 robust하게 대처할 수 있는 방법론에 대해 제안한 "When Model Meets Net Normals: Test-time Adaptation for Unsupervised Time-Series Anomaly Detection"이라는 논문을 바탕으로 진행되었습니다. 시계열 데이터에서 발생하는 Distribution Shift는, Train 데이터와 Test 데이터 내 정상 데이터에 대해 특성을 다르게 만들 수 있습니다. 이러한 Distribution Shift는 시게열 데이터를 활용한 연구들의 고질적인 문제라고도 볼 수 있는데, 본 논문에서는 이를 해결하고자 먼저 정상 데이터로 구성된 Training Data에 대해 Reconstruction-based의 방식으로 Anomaly Detection을 수행하여 Anomaly Socre를 계산한 이후, 입력 sequence를 EMA를 통해 평균 통계량을 계산해 Detrend를 진행합니다. 이러한 Detrend 과정은 앞서 언급한 Distribution Shift를 최소화하기 위함입니다. 이후 Anomaly Score를 기준으로 Pseudo-Label을 진행하고, 이를 기준으로 정상인 샘플에 대해 Backpropagation을 진행하여 모델 파라미터를 업데이트하게 됩니다. 시계열 데이터에 대한 Anomaly Detection과 관련된 연구에 대해 접하면서, 항상 데이터의 특성을 파악하고 이를 모델에 학습시켜 효과적인 Detection 과정까지 이어지는 것이 굉장히 복잡하고 어려워 보인다는 생각을 했습니다. 그 이유 중 하나가 바로 Distribution Shift 였는데, 시간의 흐름에 따라 앞단을 Train/Valid Dataset으로 활용하고 뒷단을 Test Dataset으로 구성했을 때 Train Data에 대해 아무리 올바른 학습을 이끌어낸다 하더라도 Distribution Shift가 발생할 시 아무런 효용이 없다는 점에서 생각해야할 부분이 많은 연구 분야라는 생각이 들었습니다. 이번 논문 세미나를 통해 최근 연구들의 흐름이 이 Distribution Shift를 어떤 방식으로 극복해나가려고 노력하는지에 대해 알 수 있어서 좋았습니다. 좋은 논문 소개해주셔서 정말 감사합니다.
Hyeongwon Kang
2024-03-28 23:26
이번 세미나는 When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection를 주제로 진행되었습니다. 본 논문에서는 train과 test의 분포가 다른 distribution shift가 있음에도 이를 고려하지 않았다는 문제점을 들고 있습니다. 그래서 제안하는 방법론은 test 데이터에 대해 detrend를 수행하여 distribution shift를 줄이고 detrend 된 시계열의 anomaly score를 도출한 뒤 정상으로 분류할 수 있는 sample에 대해서 다시 학습하여 모델을 업데이트 함으로써 distribution shift의 영향을 줄이고자 하였습니다. 어떤 문제점을 해결하고자 하였는지 명확한 task로 접근하였지만 train에 존재하는 trend는 고려하지 않았는데 test에만 detrend한 input에 대해 anomaly score를 산출하여 pseudo label을 부여하는 것이 타당한 방법인지는 의구심이 들었습니다. 또한 실험 결과 자체가 AUROC에서 좋은 성능을 도출했다는 것을 강조하고 있는데 AUROC는 이상을 탐지하는 것과 별개로 정상을 정상으로 잘 예측했을때 즉, True negative의 영향을 많이 받는 성능지표입니다. 특히나 비정상 보다 정상 시점이 많은 시계열 이상 탐지에서는 적절하지 않은 지표입니다. anomaly score가 높아지는 것을 방지하고 정상으로 예측하는 결과를 많이 만들어 AUROC가 높아진 결과가 과연 distribution shift를 완화했다고 언급하는 것은 잘못된 해석이지 않나 생각이 들었습니다. 좋은 발표 감사합니다.
JoongHoon Kim
2024-03-29 11:01
이번 세미나에서는 When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection라는 논문을 다루었습니다. 해당 논문에서는 distribution shift에 강건한 시계열 이상치 탐지 모델을 위해 2가지 모듈을 제안했습니다. 첫 번째 모듈은 Detrend Module로 입력되는 테스트 셋 window를 EMA로 구한 평균 통계량으로 제거하여 distribution shift에 대응하는 모듈입니다. 두 번째 모듈은 Test Time Adaption Module로 단순히 Detrend만으로 distribution shift에 대응하기 어려운 경우 테스트 셋 window에 대해 비지도학습을 수행합니다. 매우 다양한 실험 및 지표를 통해 제안 방법론의 우수성을 주장한 것이 인상적이었습니다. 좋은 발표 감사합니다.
SeongHee Hong
2024-03-29 14:06
이번 세미나에서는 “When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection”이라는 연구에 대해 소개해 주셨습니다. 모델의 학습에 사용된 Train Set과 Test Set 간에 다른 분포를 띄는 Distribution Shift가 존재하는 경우를 대처할 수 있는 방법론을 제안했습니다. 자연어와 같이 대규모 텍스트를 이용한 PLM이 있어 도메인마다 분포가 다르더라도 어느 정도는 Representation을 잘 추출하는 것과 달리, 시계열 데이터에서는 모델 학습에 사용되는 변수 자체가 상당히 적습니다. 특히나 단변량 예측의 경우에는 모델의 예측에 사용할 수 있는 변수로부터 얻을 수 있는 정보량이 비교적 적기 때문에 Distribution Shift가 시계열 데이터에서는 중요한 문제라고 생각됩니다. 해당 논문에서는 (1) 입력되는 Test Set Window에 Exponential Moving Average를 통해 구한 평균 통계량을 적용하고, (2) Detrend만으로 완화가 안 되는 경우를 대비하여 입력되는 Test Set Window에 대한 비지도 학습을 수행하는 방법을 제안했습니다. 흥미로운 내용의 연구 발표 감사합니다.
Hun Im
2024-03-28 15:59
오늘 세미나에서는 When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection 논문에 대해 다뤄 주셨습니다. 해당 논문은 시계열 이상 탐지에 관한 논문으로, Train과 Test 데이터셋 간의 Distribution shift가 시계열 이상 탐지 모델의 성능을 크게 저하 시키는 요인임을 지적하고 있습니다. 우선 논문에서 Distribution shift를 데이터의 특성 변화가 발생한 상태를 정의하고 있으며, 대부분의 주요 Benchmark dataset에서 Distribution shift가 발생되고 있음을 보여주고 있습니다. 이를 극복하기 위한 방법론으로써 Detrend Module과 Vision에서 Distribution shift를 완화하기 위해 많이 사용되는 Test Time Adaptation Module을 제안하고 있습니다. 주요 문제로 언급되는 Distribution shift를 직접 확인하고 문제 제기하는 부분이 인상 깊었으며, 다른 분야에서 쓰이던 방법을 적절히 Time Series에 맞춰서 적용한 것 역시 인상적으로 본 것 같습니다. 좋은 발표 감사합니다!
Woongchan Nam
2024-03-29 18:24
금일 세미나는 'When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection'라는 논문을 소개해 주셨습니다. 본 논문에서 제안된 방법론은 학습 데이터 세트와 테스트 데이터 세트의 분포 사이의 Shifting을 해결하고자 하는 방식을 제시하고 있으며, Detrend 모듈로 지수 이동 평균(EMA)을 활용하여 시계열 데이터의 추세를 효과적으로 제거하는 방법과 TTA(Test-Time Adaptation) Module로 모델에 입력된 Sequence 중 pseudo labeling을 진행한 후 정상으로 분류할 수 있는 Sample만을 다시 학습하여 업데이트하는 방법을 제시하고 있습니다. 해당 방법론을 보면서 들었던 생각은 해당 논문에서 정의하고 있는 Detrend가 조금 모호하다고 생각이 들었던 것 같습니다. 기존 Detrend와 다르게 정의하고 있어 Test data에만 Detrend를 적용하고 있는 것 같은데 이러한 과정으로 Test Time Adaptation을 성공적으로 수행하였다면 해당 논문에서 정의한 Detrend와 Test Time Adaptation을 더 자세히 설명해 주었다면 해석이 용이하지 않았을까 생각이 들었던 것 같습니다. 끝으로, RevIN과 같이 학습 및 테스트 데이터의 분포와 관련한 문제 정의 그리고 그에 따른 새로운 방법론을 제시한 것 같아 듣는 내내 흥미로웠던 것 같습니다. 좋은 발표 감사합니다!
Jihun Nam
2024-03-29 23:51
오늘 논문 주제는 anormaly detection task의 시계열데이터의 train과 test간 distributed shift가 발생에 대한 rubust 대안을 소개한 내용입니다. 보통 시계열 데이터는 시간에 따라 데이터의 분포 변화가 없는 stationary 상태가 아닌 시간에 따라 분포가 변하는 경우가 많기 때문에 train, test set 분리시 분포도가 다를 수 밖에 없고 이는 모델 학습을 방해하는 요소가 될 수 있습니다. 이러한 문제점을 개선하기 위해 그동안 많은 연구들이 진행되어 왔으나 이번 논문에서는 Detrend 와 computer vision 영에서 처음 제안한 Test Time Adatation을 적용한 방법을 소개하고 있습니다. Detrend를 EMA 기준으로 사용면서 이전 데이터의 영향성을 담아낼 수 있는 것 같습니다. 이어서 TTA에서 threshold 기준으로 anomaly score를 형성하여 하이퍼파라미터로 percentage pseudo labeling 하여 새로운 정상 데이터를 생성하는 부분은 인상깊었으나 특정 제약이나 논리적 측면이 부가되어야 하지 않나라는 생각도 들게 하였습니다. 시계열 데이터의 분포 특이점을 이렇게 강건성을 개선할수 있구나 라는 새로운 측면을 보게 해주었습니다. 좋은 논문 소개해 주셔서 감사합니다.
Jungho Lee
2024-04-01 22:52
오늘 세미나는 시계열 anormaly detection task 에서의 train과 test간 distributed shift가 상황에서의 문제 해결에 대한 방법론 입니다. 라벨링을 하는 방법이 상당히 특이 했는데, 전체 모델구조를 듣고는 어느정도는 합리적인 접근이라고 느꼈습니다. Trend 를 제거한다는 것이 결국 일반적이지 않는 이상치를 point wise 측면에서 더 관측하려던 의도 같았고, 특정 Threshold 를 넘는 이상치를 Pseudo-Label 로 설정합니다. 결국 test 단계에서 이상치를 더 잘 보는 task 이니 기존 모델의 학습에 영향을 끼치지 않는 이후 과정으로 이해 할 수 있었습니다. 발표자께서 말한 active learning 과 연계성이 충분히 좋아 보이고 적용시 좋은 연구가 될 것 같습니다.
Jiyoon Lee
2024-04-02 19:51
이번 세미나에서는 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection"에 대해 소개해주셨습니다. 해당 논문은 Train과 Test set 간의 distribution shift가 발생한 경우 모델이 강건하게 대응할 수 있는 방법에 대해 이야기합니다. 이에 대한 방법으로 Detrend와 Test Time Adaptation을 활용합니다. Detrend는 데이터에 나타난 trend를 제거하여 distribution shift의 영향을 최소화하는 것으로, 입력 sequence를 EMA를 통해 구한 통계량으로 제하는 방법입니다. Sequence a가 입력되면 a와 이전에 입력되었던 sequence와의 평균을 구하고, 평균값에서 이전 sequence의 detrend 결과물을 뺀 값을 현재 sequence의 detrend 값으로 얻게 됩니다. Test Time Adaptation은 pseudo-label을 기준으로 정상인 sample에 대해 back propagation을 수행하는 것으로, trend 제거만으로는 distribution shift를 대응하기 어려운 경우 학습을 통해 해결하는 방법입니다. 기본적인 anomaly detection에서는 normal만을 학습하게 되지만, 완벽히 정제하는 것이 어려우므로 어쩔 수 없이 abnormal이 일부 포함되게 되는데, 해당 논문에서는 데이터의 anomaly score를 통해 pseudo label을 도출하고, 이를 바탕으로 new normal update를 진행하여 기존보다 한단계 더 고려한 처리를 추가로 수행합니다. 시계열 분야에서 anomaly detection을 수행할 때 어떠한 부분들을 고려하는지 알아볼 수 있는 유익한 시간이었습니다. 좋은 발표 감사드립니다.
Saeran Park
2024-04-03 14:50
이번 세미나에서 "When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection"이라는 논문에 대해 소개해주셨습니다. 시계열 데이터에서 발생하는 Distribution Shift 문제를 해결하기 위한 접근 방식, 특히 Trend Estimation과 Test Time Adaptation을 통한 이상치 탐지의 정밀도 향상 방안은 현업에서의 시계열 데이터 활용에 큰 도움이 될 것으로 보입니다. 그러나, 정상으로 분류된 샘플만을 이용한 재학습 과정에서의 잠재적 오류 가능성에 대한 지적은 중요한 포인트로, 이 부분에 대한 추가적인 연구나 안전장치 마련이 필요할 것 같습니다. 이번 세미나를 통해 배운 내용을 바탕으로 시계열 데이터의 이상치 탐지뿐만 아니라, 다른 분야에서도 Distribution Shift 문제에 대한 해결책을 모색하는 데 있어 중요한 통찰을 얻을 수 있었습니다. 좋은 발표 감사합니다.
이번 세미나는 시계열 이상치 탐지를 주제로 진행되었습니다. 그 중에서도 학습용 데이터셋과 시험용 데이터셋의 분포의 차이가 발생하는 문제인 distribution shift에 대한 연구가 소개되었습니다. 이는 벤치마크 데이터셋에서도 빈번하게 나타나곤 합니다. 이와 관련해서는 컴퓨터비젼 분야에서도 동일하게 나타나는 문제로 여겨졌습니다. 따라서 Test Time Adaptation 이라는 이름으로 제안된 기술을 선보였는데, 이는 trainset에 대한 정보 없이 모델의 가중치를 업데이트 하는 기술로 볼 수 있습니다. 대표적으로는 Teacher-Student 구조를 활용함으로써 Teacher 모델에만 업데이트 될 수 있도록 한 것이 있습니다. 이를 시계열 데이터에 적용하기 위해 기존 연구와 달리, pseudo-labeling을 이용하여 testset내 샘플 중 정상이라고 간주할 수 있는 샘플들에 한해서 학습이 진행되는 것이 본 연구의 제안 방법론의 핵심입니다. 특히 pseudo-labeling을 하기 위해 EMA로 획득한 통계량으로 testset의 샘플을 Detrend 해준 후 출력값에 해당 통계량을 다시 더하게 됩니다. Testset으로 학습이 진행된다는 표현이 어색하지만 문제 상황을 잘 지적하고 이를 해결하기 위한 납득할만한 방법을 제시한 것 같습니다. 다만, 발표자분께서도 언급하셨듯이 pseudo-labeling의 정확도에 대해서 검증을 하는 단계가 필요할 듯 합니다. 좋은 발표 잘 들었습니다.
금일 세미나는 Time Series Anomaly Detection 태스크에서 학습 시점과 다른 분포를 가지는 데이터에 대해 강건한 성능을 보일 수 있는 방법론을 제안한 "When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection" 논문을 중심으로 진행되었습니다. 시계열 도메인에서 학습과 추론 시점에 다른 분포를 가지는 특성은 다양한 태스크에서 매우 중요한 문제입니다. 특히 이동 평균이나 분산과 같이 시점에 따라 변동성이 클 수 밖에 없는 도메인 특징으로 인해 최근 Time Series Forecasting 분야에서는 RevIN과 같은 정규화 방법론이 널리 사용되고 있는 것으로 알고 있습니다. 본 논문은 이상치 탐지 분야에서 다른 분포 특성이 매우 중요함을 언급하고 이를 해결하기 위한 방법론을 제안하고 있습니다. 구체적으로 학습 시에는 기존 이상치 탐지 방법론을 활용하되, 학습 데이터의 통계치를 저장합니다. 이후 추론 시에는 EMA를 통해 평균 통계량을 산출하고, 이를 이용하여 Trend를 제거한 이후 모델이 처리합니다. 이후 최종 결과값을 이전에 계산한 통계량을 이용하여 Trend를 복원하게 됩니다. 실제 이상치 임계값은 학습 시점에 저장한 통계치를 이용하여 계산하는 방식으로 학습과 추론 시점의 분포 변화에 대응하고 있습니다. 실제 실험에서도 분포 변화가 심한 데이터에 대해 높은 성능을 보여주고 있습니다. 이동 평균만 이용하는 다소 단순한 방식으로 효과가 있는 것이 의아하지만, 분포 변화라는 모호한 개념이 단순한 방법으로도 해결이 가능함을 보여주었다고 생각합니다. 향후 RevIN처럼 다양한 도메인과 데이터에 대해 강건할 수 있는 연구로 이어질 수 있는 좋은 연구인 것 같습니다. 좋은 발표 감사드립니다.
이번 세미나는 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection" 논문에 대하여 소개해주셨습니다. 해당 연구는 비지도 학습 기반 시계열 이상치 탐지에서 발생하는 distribution shift 문제를 해결하기 위해 detrend 모듈과 test-time adaptation 을 적용한 연구입니다. 시계열 이상치 탐지에서 발생할 수 있는 distribution shift는 정상의 특징이 평가시 변화되어 정상을 이상치로 오탐하게 되는 false alarm을 의미합니다. 해당 연구에서 제안하는 detrend 모듈은 시계열의 trend를 제거하여 distribution shift를 대응하기 위한 방법입니다. 그러나 trend 제거 만으로는 distribution shift를 해결할 수 없는 경우가 존재할 수 있기 때문에 test-time adaptation을 적용하였습니다. 좋은 발표 감사합니다.
이번 세미나에서는 시계열 데이터의 이상 탐지에 관한 혁신적인 접근법을 제안한 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection" 논문에 대해서 발표해 주셨습니다. 해당 논문에서는 실제 시계열 데이터가 지닌 동적이고 변화가 많은 특성을 모델에 효과적으로 Adaptation 시키는 시도를 하였습니다. 이는 많은 기존 모델들이 고정된 분포를 기반으로 작동한다는 점에서 큰 차이점이 있습니다. 특히 Detrend Module과 Test-Time Adaptation이라는 두 가지 전략을 사용하였습니다. Detrend Module은 시계열 데이터 내에 내재된 동향을 제거함으로써 모델이 데이터의 기본 구조에 보다 집중할 수 있게 돕습니다. 이는 시계열 데이터 분석에서 흔히 발생하는 문제인 경향성 변화를 해결하는 신선한 접근법이라고 생각합니다. 또한 Test-Time Adaptation 접근법을 사용하여 모델이 테스트 시간 동안 새로운 '정상' 데이터의 분포를 학습하도록 함으로써, 시간에 따라 변화하는 데이터 패턴에 자동으로 적응할 수 있게 해주었습니다. 이는 실제 운영 환경에서 발생할 수 있는 다양한 변화에 모델을 효과적으로 적응시킬 수 있는 강력한 메커니즘을 제공할 것으로 생각됩니다. 이 두 모듈의 결합은 모델이 변화하는 환경에서도 일관된 성능을 유지할 수 있도록 도우며, 이는 시계열 이상 탐지 분야에서 중요한 진전일 것이라 생각됩니다. 실제 적용 사례를 고려할 때, 이러한 접근법은 산업 시설의 모니터링, 금융 시장의 변동 감지, 건강 모니터링 시스템 등 다양한 분야에서 유용할 것이라 생각합니다. 논문을 통해 느끼게 된 점은, 기존 모델의 실제 세계 적용을 위해서는 단순히 과거 데이터에서 높은 성능을 보이는 것을 넘어, 시간에 따라 변화하는 데이터 특성에 적응할 수 있는 능력이 매우 중요하다는 것이었습니다. 좋은 발표 해주셔서 감사합니다.
본 세미나는 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection"이라는 논문을 바탕으로 진행되었습니다. 해당 논문은 Time-series anomaly detection이라는 task에서, Train과 Test set 간 Distribution shift가 발생했을 때 모델이 강건(robust)하게 대처할 수 있는 방법론을 제안하였습니다. 특히 Detrend Module과 Test Time Adaptation Module이라는 2가지 모듈을 제안한 것이 큰 특징입니다. 첫 번째 Detrend Module은 입력되는 test set window를 Exponential Moving Average로 구한 통계량으로 제하여 Distribution shift에 대응하였으며, 두 번째 Test Time Adaptation Module은 단순히 detrend만으로 distribution shift에 적절히 대응하기 어려울 경우를 대비하여, 입력되는 test set window에 대한 unsupervised 학습을 수행하였습니다. 제안 방법론과 두 모듈을 보면서 든 생각은 distribution shfit를 대처하기 위해 강건하게 대처할 수 있는 방법론으로, trend를 유추하여 input sequence에서 제거하는 detrend module과 stream data 중 정상으로 간주할 수 있는 sample을 비지도 방식으로 추가 학습하여 new normal에 대한 정보를 얻는 게 유효하다고 생각하였습니다. 또한 pseudo-label을 사용하는 방식보다 일부 subset을 뽑아서 labeling을 하는 active learning 접근법도 적용해볼만한 가치가 있다고 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.
이번 세미나에서는 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-series Anomaly Detection"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 본 연구에서는 시계열 이상치 탐지에서 특히 학습과 테스트 데이터 간 분포 변화(Distribution Shift)가 이상 탐지 모델의 성능 저하를 일으키는 주요 요인이라 주장하였습니다. 이를 극복하기 위한 2가지 모듈인 Detrend Module과 Test-Time Adaptation (TTA) Module을 제안하였습니다. Detrend Module은 Exponential Moving Average (EMA)를 기반으로 Detrend를 진행함으로써 Distribution Shift의 영향을 최소화하였습니다. TTA Module은 Label이나 train data에 대한 정보 없이 모델의 가중치를 업데이트하여, 입력된 sequence 중 정상으로 분류할 수 있는 sample만 학습하여 모델 가중치 업데이트 하였습니다. 이처럼 Detrend와 함께 TTA Module을 사용하면서 Distrubution Shift에 대해 충분한 대응을 하고자 하였습니다. 단순할 수 있지만, 이렇게 두가지 Module을 동시에 사용하여 모델의 강건성을 개선하고 성능을 향상시킨 점이 인상깊었습니다. 또한 Time Series의 대표적인 Task인 Forecasting과 Anomaly Detection에서 Distribution Shift에 대한 민감도가 다르다는 것도 알게 되었습니다. Forecasting의 경우 Distribution Shift가 발생한다고 해도, 미래 값을 예측하는 것에만 집중한다면, Anomaly Detection의 경우 Distribution Shift이 발생할 때, 그마저도 학습이 함께 진행되기 때문에 정상 데이터에 대한 Distribution Shift와 단순 비정상 데이터를 혼동할 수 있겠다 생각하였습니다. 본 세미나를 통해 시계열 이상치 탐지 분야에서 Distribution Shift를 해결하는 것이 중요한 문제임을 알게 되었습니다. 좋은 발표 해주셔서 감사합니다.
이번 세미나에서는 시계열 데이터의 이상 탐지 과정에서 Train과 Test의 Distribution Shift를 해결하고자 하는 방법론을 제시하는 논문을 다루었습니다. Reconstruction-Based한 시계열 데이터의 이상 탐지는, 정상의 Train 시계열을 복원하도록 학습된 모델을, Test 시계열에 대한 복원 task를 진행하였을 때, 복원이 잘 되지 않는 부분을 Anomaly로 분류하는 접근법이라고 생각할 수 있습니다. 그렇기에, 강한 전제로 Train 시계열은 모두 정상이어야 하며, Test 시계열은 Anomaly를 포함하더라도, 정상적인 부분에 대해서는 동일한 Distribution을 가지고 있다는 점을 포함하여야 합니다. 만약 Train과 Test의 정상 데이터 분포가 다르다면, Test에서의 정상 데이터가 Anomaly로 분류가 될 수 있고, 그럼에도 불구하고 시계열 데이터의 특성 상 Test 데이터의 분포가 Train 데이터의 분포와 다를 수 있는 가능성이 매우 크므로, 이와 관련한 조치가 필요하게 됩니다. 오늘 소개된 논문에서는, Train의 정상 데이터를 잘 복원하는 모델에 대해, Test의 정상 데이터도 잘 복원할 수 있도록, 즉 둘 간의 Shift를 줄일 수 있는 방법론을 소개하고 있고, 크게 EMA를 통한 Test 데이터의 Detrend와 Test 데이터로부터 추출한 pseudo normal samples로 모델을 한 번 더 업데이트하여 explicit하게 adaptation을 진행하는 두가지 단계로 이루어져 있습니다. 개인적으로는, 첫 번째 단계의 경우, Detrend가 어떻게 Train과 Test의 Distribution Shift를 완화할 수 있는가에 대한 설득이 논문에서 좀 더 이루어졌으면 좋았겠다는 생각이 들었습니다. 결국, Train은 Detrend하지 않은 데이터로, Test는 Detrend한 데이터로 Forward를 시키게 되기 때문에 이로 인한 Shifting이 더 커질 수도 있지 않나 생각하였습니다. 하지만, 이 방법론을 적용하기 위한 다른 모델이 필요한 것이 아닌, 기존의 어떤 모델에도 쉽게 적용할 수 있는 프레임워크라는 점은 매력적으로 느껴진 것 같습니다. 좋은 논문 소개해주셔서 감사합니다.
금일 세미나는 When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection 논문을 바탕으로 진행되었습니다. 해당 연구에서는 시계열 이상치 탐지 Task 에서 시계열 연구의 고질적인 문제라고 할 수 있는 Distribution shift를 해결하고자 하는 방법론이라고 말할 수 있습니다. 시계열 데이터는 보통 특성상 하나의 데이터에서 앞 뒷부분을 잘라 Train 및 Test로 사용합니다. 이 과정에서 필연적으로 Distribution shift가 발생하면서 모델의 성능을 감소 시키게 됩니다. 이는 단순히 연구 목적을 떠나, 현실적으로도 시계열 모델이 현업에서 올바르게 사용되기 위해서는 꼭 해결되어야 하는 문제라고 볼 수 있겠습니다. 이에 해당 논문에서는 Trend estimation, Test Time Adaptation을 통하여 이러한 문제를 해결하고자 하고 있습니다. Test Time Adaptation 부분에서는 모델에 입력된 Sequence 중 pseudo labeling을 통하여 정상으로 분류할 수 있는 Sample만을 다시 학습하여 모델의 가중치를 업데이트 하고 있습니다. 제시한 방법들이 충분히 큰 의미가 있다고 보여지지만, 한 가지 우려가 되는 부분은 모델이 정상으로 분류할 수 있는 Sample만을 다시 재학습하는 과정에서 비정상을 정상으로 분류했다면 성능이 더욱 악화될 것이기에 이에 대한 제약 역시 필요하다는 생각이 들었습니다. 좋은 발표 정말 감사드립니다.
이번 세미나에서는 Train과 Test 간의 Distribution Shift가 발생했을 때 모델이 robust하게 대처할 수 있는 방법론에 대해 제안한 "When Model Meets Net Normals: Test-time Adaptation for Unsupervised Time-Series Anomaly Detection"이라는 논문을 바탕으로 진행되었습니다. 시계열 데이터에서 발생하는 Distribution Shift는, Train 데이터와 Test 데이터 내 정상 데이터에 대해 특성을 다르게 만들 수 있습니다. 이러한 Distribution Shift는 시게열 데이터를 활용한 연구들의 고질적인 문제라고도 볼 수 있는데, 본 논문에서는 이를 해결하고자 먼저 정상 데이터로 구성된 Training Data에 대해 Reconstruction-based의 방식으로 Anomaly Detection을 수행하여 Anomaly Socre를 계산한 이후, 입력 sequence를 EMA를 통해 평균 통계량을 계산해 Detrend를 진행합니다. 이러한 Detrend 과정은 앞서 언급한 Distribution Shift를 최소화하기 위함입니다. 이후 Anomaly Score를 기준으로 Pseudo-Label을 진행하고, 이를 기준으로 정상인 샘플에 대해 Backpropagation을 진행하여 모델 파라미터를 업데이트하게 됩니다. 시계열 데이터에 대한 Anomaly Detection과 관련된 연구에 대해 접하면서, 항상 데이터의 특성을 파악하고 이를 모델에 학습시켜 효과적인 Detection 과정까지 이어지는 것이 굉장히 복잡하고 어려워 보인다는 생각을 했습니다. 그 이유 중 하나가 바로 Distribution Shift 였는데, 시간의 흐름에 따라 앞단을 Train/Valid Dataset으로 활용하고 뒷단을 Test Dataset으로 구성했을 때 Train Data에 대해 아무리 올바른 학습을 이끌어낸다 하더라도 Distribution Shift가 발생할 시 아무런 효용이 없다는 점에서 생각해야할 부분이 많은 연구 분야라는 생각이 들었습니다. 이번 논문 세미나를 통해 최근 연구들의 흐름이 이 Distribution Shift를 어떤 방식으로 극복해나가려고 노력하는지에 대해 알 수 있어서 좋았습니다. 좋은 논문 소개해주셔서 정말 감사합니다.
이번 세미나는 When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection를 주제로 진행되었습니다. 본 논문에서는 train과 test의 분포가 다른 distribution shift가 있음에도 이를 고려하지 않았다는 문제점을 들고 있습니다. 그래서 제안하는 방법론은 test 데이터에 대해 detrend를 수행하여 distribution shift를 줄이고 detrend 된 시계열의 anomaly score를 도출한 뒤 정상으로 분류할 수 있는 sample에 대해서 다시 학습하여 모델을 업데이트 함으로써 distribution shift의 영향을 줄이고자 하였습니다. 어떤 문제점을 해결하고자 하였는지 명확한 task로 접근하였지만 train에 존재하는 trend는 고려하지 않았는데 test에만 detrend한 input에 대해 anomaly score를 산출하여 pseudo label을 부여하는 것이 타당한 방법인지는 의구심이 들었습니다. 또한 실험 결과 자체가 AUROC에서 좋은 성능을 도출했다는 것을 강조하고 있는데 AUROC는 이상을 탐지하는 것과 별개로 정상을 정상으로 잘 예측했을때 즉, True negative의 영향을 많이 받는 성능지표입니다. 특히나 비정상 보다 정상 시점이 많은 시계열 이상 탐지에서는 적절하지 않은 지표입니다. anomaly score가 높아지는 것을 방지하고 정상으로 예측하는 결과를 많이 만들어 AUROC가 높아진 결과가 과연 distribution shift를 완화했다고 언급하는 것은 잘못된 해석이지 않나 생각이 들었습니다. 좋은 발표 감사합니다.
이번 세미나에서는 When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection라는 논문을 다루었습니다. 해당 논문에서는 distribution shift에 강건한 시계열 이상치 탐지 모델을 위해 2가지 모듈을 제안했습니다. 첫 번째 모듈은 Detrend Module로 입력되는 테스트 셋 window를 EMA로 구한 평균 통계량으로 제거하여 distribution shift에 대응하는 모듈입니다. 두 번째 모듈은 Test Time Adaption Module로 단순히 Detrend만으로 distribution shift에 대응하기 어려운 경우 테스트 셋 window에 대해 비지도학습을 수행합니다. 매우 다양한 실험 및 지표를 통해 제안 방법론의 우수성을 주장한 것이 인상적이었습니다. 좋은 발표 감사합니다.
이번 세미나에서는 “When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection”이라는 연구에 대해 소개해 주셨습니다. 모델의 학습에 사용된 Train Set과 Test Set 간에 다른 분포를 띄는 Distribution Shift가 존재하는 경우를 대처할 수 있는 방법론을 제안했습니다. 자연어와 같이 대규모 텍스트를 이용한 PLM이 있어 도메인마다 분포가 다르더라도 어느 정도는 Representation을 잘 추출하는 것과 달리, 시계열 데이터에서는 모델 학습에 사용되는 변수 자체가 상당히 적습니다. 특히나 단변량 예측의 경우에는 모델의 예측에 사용할 수 있는 변수로부터 얻을 수 있는 정보량이 비교적 적기 때문에 Distribution Shift가 시계열 데이터에서는 중요한 문제라고 생각됩니다. 해당 논문에서는 (1) 입력되는 Test Set Window에 Exponential Moving Average를 통해 구한 평균 통계량을 적용하고, (2) Detrend만으로 완화가 안 되는 경우를 대비하여 입력되는 Test Set Window에 대한 비지도 학습을 수행하는 방법을 제안했습니다. 흥미로운 내용의 연구 발표 감사합니다.
오늘 세미나에서는 When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection 논문에 대해 다뤄 주셨습니다. 해당 논문은 시계열 이상 탐지에 관한 논문으로, Train과 Test 데이터셋 간의 Distribution shift가 시계열 이상 탐지 모델의 성능을 크게 저하 시키는 요인임을 지적하고 있습니다. 우선 논문에서 Distribution shift를 데이터의 특성 변화가 발생한 상태를 정의하고 있으며, 대부분의 주요 Benchmark dataset에서 Distribution shift가 발생되고 있음을 보여주고 있습니다. 이를 극복하기 위한 방법론으로써 Detrend Module과 Vision에서 Distribution shift를 완화하기 위해 많이 사용되는 Test Time Adaptation Module을 제안하고 있습니다. 주요 문제로 언급되는 Distribution shift를 직접 확인하고 문제 제기하는 부분이 인상 깊었으며, 다른 분야에서 쓰이던 방법을 적절히 Time Series에 맞춰서 적용한 것 역시 인상적으로 본 것 같습니다. 좋은 발표 감사합니다!
금일 세미나는 'When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection'라는 논문을 소개해 주셨습니다. 본 논문에서 제안된 방법론은 학습 데이터 세트와 테스트 데이터 세트의 분포 사이의 Shifting을 해결하고자 하는 방식을 제시하고 있으며, Detrend 모듈로 지수 이동 평균(EMA)을 활용하여 시계열 데이터의 추세를 효과적으로 제거하는 방법과 TTA(Test-Time Adaptation) Module로 모델에 입력된 Sequence 중 pseudo labeling을 진행한 후 정상으로 분류할 수 있는 Sample만을 다시 학습하여 업데이트하는 방법을 제시하고 있습니다. 해당 방법론을 보면서 들었던 생각은 해당 논문에서 정의하고 있는 Detrend가 조금 모호하다고 생각이 들었던 것 같습니다. 기존 Detrend와 다르게 정의하고 있어 Test data에만 Detrend를 적용하고 있는 것 같은데 이러한 과정으로 Test Time Adaptation을 성공적으로 수행하였다면 해당 논문에서 정의한 Detrend와 Test Time Adaptation을 더 자세히 설명해 주었다면 해석이 용이하지 않았을까 생각이 들었던 것 같습니다. 끝으로, RevIN과 같이 학습 및 테스트 데이터의 분포와 관련한 문제 정의 그리고 그에 따른 새로운 방법론을 제시한 것 같아 듣는 내내 흥미로웠던 것 같습니다. 좋은 발표 감사합니다!
오늘 논문 주제는 anormaly detection task의 시계열데이터의 train과 test간 distributed shift가 발생에 대한 rubust 대안을 소개한 내용입니다. 보통 시계열 데이터는 시간에 따라 데이터의 분포 변화가 없는 stationary 상태가 아닌 시간에 따라 분포가 변하는 경우가 많기 때문에 train, test set 분리시 분포도가 다를 수 밖에 없고 이는 모델 학습을 방해하는 요소가 될 수 있습니다. 이러한 문제점을 개선하기 위해 그동안 많은 연구들이 진행되어 왔으나 이번 논문에서는 Detrend 와 computer vision 영에서 처음 제안한 Test Time Adatation을 적용한 방법을 소개하고 있습니다. Detrend를 EMA 기준으로 사용면서 이전 데이터의 영향성을 담아낼 수 있는 것 같습니다. 이어서 TTA에서 threshold 기준으로 anomaly score를 형성하여 하이퍼파라미터로 percentage pseudo labeling 하여 새로운 정상 데이터를 생성하는 부분은 인상깊었으나 특정 제약이나 논리적 측면이 부가되어야 하지 않나라는 생각도 들게 하였습니다. 시계열 데이터의 분포 특이점을 이렇게 강건성을 개선할수 있구나 라는 새로운 측면을 보게 해주었습니다. 좋은 논문 소개해 주셔서 감사합니다.
오늘 세미나는 시계열 anormaly detection task 에서의 train과 test간 distributed shift가 상황에서의 문제 해결에 대한 방법론 입니다. 라벨링을 하는 방법이 상당히 특이 했는데, 전체 모델구조를 듣고는 어느정도는 합리적인 접근이라고 느꼈습니다. Trend 를 제거한다는 것이 결국 일반적이지 않는 이상치를 point wise 측면에서 더 관측하려던 의도 같았고, 특정 Threshold 를 넘는 이상치를 Pseudo-Label 로 설정합니다. 결국 test 단계에서 이상치를 더 잘 보는 task 이니 기존 모델의 학습에 영향을 끼치지 않는 이후 과정으로 이해 할 수 있었습니다. 발표자께서 말한 active learning 과 연계성이 충분히 좋아 보이고 적용시 좋은 연구가 될 것 같습니다.
이번 세미나에서는 "When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection"에 대해 소개해주셨습니다. 해당 논문은 Train과 Test set 간의 distribution shift가 발생한 경우 모델이 강건하게 대응할 수 있는 방법에 대해 이야기합니다. 이에 대한 방법으로 Detrend와 Test Time Adaptation을 활용합니다. Detrend는 데이터에 나타난 trend를 제거하여 distribution shift의 영향을 최소화하는 것으로, 입력 sequence를 EMA를 통해 구한 통계량으로 제하는 방법입니다. Sequence a가 입력되면 a와 이전에 입력되었던 sequence와의 평균을 구하고, 평균값에서 이전 sequence의 detrend 결과물을 뺀 값을 현재 sequence의 detrend 값으로 얻게 됩니다. Test Time Adaptation은 pseudo-label을 기준으로 정상인 sample에 대해 back propagation을 수행하는 것으로, trend 제거만으로는 distribution shift를 대응하기 어려운 경우 학습을 통해 해결하는 방법입니다. 기본적인 anomaly detection에서는 normal만을 학습하게 되지만, 완벽히 정제하는 것이 어려우므로 어쩔 수 없이 abnormal이 일부 포함되게 되는데, 해당 논문에서는 데이터의 anomaly score를 통해 pseudo label을 도출하고, 이를 바탕으로 new normal update를 진행하여 기존보다 한단계 더 고려한 처리를 추가로 수행합니다. 시계열 분야에서 anomaly detection을 수행할 때 어떠한 부분들을 고려하는지 알아볼 수 있는 유익한 시간이었습니다. 좋은 발표 감사드립니다.
이번 세미나에서 "When Model Meets New Normals: Test-time Adaptation for Unsupervised Time-series Anomaly Detection"이라는 논문에 대해 소개해주셨습니다. 시계열 데이터에서 발생하는 Distribution Shift 문제를 해결하기 위한 접근 방식, 특히 Trend Estimation과 Test Time Adaptation을 통한 이상치 탐지의 정밀도 향상 방안은 현업에서의 시계열 데이터 활용에 큰 도움이 될 것으로 보입니다. 그러나, 정상으로 분류된 샘플만을 이용한 재학습 과정에서의 잠재적 오류 가능성에 대한 지적은 중요한 포인트로, 이 부분에 대한 추가적인 연구나 안전장치 마련이 필요할 것 같습니다. 이번 세미나를 통해 배운 내용을 바탕으로 시계열 데이터의 이상치 탐지뿐만 아니라, 다른 분야에서도 Distribution Shift 문제에 대한 해결책을 모색하는 데 있어 중요한 통찰을 얻을 수 있었습니다. 좋은 발표 감사합니다.