이번 세미나에서는 시계열 이상치 탐지 과업내 방법론의 평가 지표들을 총망라하여 정리하는 시간을 가졌습니다. 시계열 이상치 탐지에는 두 가지 핵심이 있다고 생각됩니다. 첫 번째는 시계열 데이터의 특성입니다. 시계열 데이터는 일반 정형데이터나 자연어 및 이미지와 같은 비정형 데이터와 다르게 모두 실수형 데이터지만 Trend, Seasonality, Cycle 등 시계열 고유의 특성이 존재합니다. 두 번째는 이상치 탐지로서 anomaly score를 정의 하는 과정 그리고 기준(threshold)을 통애 이상치로 분류하는 과정 등의 일반적인 수치 예측이나 분류 문제와는 다르게 사용자의 개입이 꽤나 많이 됩니다. 따라서 이러한 특성들로 인해 시계열 이상치 탐지의 평가 지표도 여러 가지 상황에 맞게 달리 적용되어야 함은 쉽게 이해됩니다. 발표자 분께서 언급하셨듯이 소개해주신 여러 지표를 한 번에 다 외우거나 기억하기에는 어렵지만 앞으로 관련 과업을 진행하면서 계속해서 살펴볼 수 있는 교과서로서 활용하고자 합니다. 의미 있는 내용 준비해주셔서 감사합니다.

최근 공동연구를 진행하며 time series analysis evaluation에 대해 많은 인사이트를 얻을 수 있었는데, 이번 세미나 또한 향후 좋은 자료로 활용할 수 있는 유익한 세미나였습니다. 특히 시계열데이터의 특성을 고려한 다양한 메트릭이 필요한 이유를 명확히 알수 있었기에 유용했습니다. 모델을 평가하기 위해 다양한 시각의 evaluation method가 존재해야하며, 다각도로 결과물을 평가하는 것의 중요성을 알 수 있었습니다. 발표중에 말씀해주신 것처럼 "이전 방법론이 이행해온 방법"으로 문제를 풀어나갈 필요는 없다는것에 동의하지만, 새로운 시각의 방법론을 제안하기 위해서는 기존 논리들을 합리적으로 설득시킬 수 있는 명확한 근거가 필요하다 생각됩니다. 다시말해 기존 방법론들이 주장해왔던 바의 본질을 이해하고, 해당 개념이 적용될 수 없는 사례들을 찾아내 논문에 녹여낼 수 있어야만 새로운 주장을 납득시킬 수 있다고 생각되었습니다. 좋은 세미나 감사드립니다.

세미나 후기를 작성하기에 앞서서 장장 두번의 세미나를 준비해준 발표자에게 감사의 인사전합니다. 이번 세미나의 주제는 Time Series Anomaly Detection의 평가지표 metric에 대하여 총망라하여 다루어 보았습니다. 단순한 anomaly detection과 달리 시계열에서의 이상치 탐지성능은 그 성격을 조금 달리합니다. “point anomaly”, “contextual anomaly”, “collective anomaly” 등 이상치에 대한 정의도 다양하며, 이를 탐지하는 방법에 따라 prediction-based, reconstruction-based 방식에 따라 이상치를 식별하는 방법도 다양하기에 이를 평가하는 방식 역시 단순한 confusion matrix 기반의 평가 metric으로는 한계가 존재합니다. 이는 시계열 특유의 연속성이나 전조증상이나 latency를 반영하지 못하기 때문입니다. 이러한 이유로 해당 세미나시간에는 시계열의 이러한 특성들을 반영 가능한 평가 metric들에 대해서 알아보았고, 각각의 장단점을 함께 공유해보았습니다. 이러한 평가 metric들은 풀고자 하는 task에 따라 무엇을 좀더 중요시하는 지에 따라 우선시되는 평가 metric이 달라 지게 됩니다. 개인적으로는 세미나 시간에도 언급이 되었지만, 학습에서는 대부분 MSE를 기준으로 loss로 반영하여 학습이 이루어 지는데, 학습과정에서 이렇게 anomaly detection에 중점이 되는 요소들을 반영 가능한 학습 장치들을 결합하는 것도 재미있는 연구주제가 될 수 있다고 생각해보았습니다. 20여개가 가까이 되는 metric들에 대해서 하나하나 친절하게 장표를 준비해준 발표자에게 다시한번 감사의 인사 남기며 후기 마치도록 하겠습니다.

이번 세미나는 두 번에 걸쳐 시계열 이상치 탐지 평가 지표를 주제로 진행되었습니다. 기존 시계열 이상치 탐지에는 Pointwise와 Point Adjustment F1 score가 가장 범용적으로 사용됐습니다. 그러나, 실제 산업 현장에서 적용이 되는 TAD 모델의 실질적인 성능 평가를 단순히 binary하게 0과 1로 평가하기엔 현실적으론 비효율적이라는 한계가 꾸준히 지적되고 있습니다. 발표자께선 기본적인 f-score에 변형을 가한 20개의 TAD 평가 지표에 대해 구체적으로 설명해주셨습니다. 그중, Redefined Precision and Recall 계열의 지표들이 탐지를 한 시간대와 각 prediction의 형태에 대해 고려를 하는 점에서 가장 와닿았습니다. 탐지 결과를 non-binary하게 평가하는 Non-binary evaluation metric의 경우 thershold에 따라 성능 변화가 심한 케이스에서 보다 robust하게 실험 결과를 비교하는 용도로 사용한다면 적합할 것 같다는 생각이 들었습니다. 이와 같이 학계가 기존 TAD 평가 방식에 문제가 있음을 인식했음에도, 논문 작성 과정에서는 관습적으로 PA 혹은 pointwise F1 score를 사용하는 것이 결국 학계와 현업이 문제를 정의하고 해결하는 방식과 인식에서 기인한 것이 아닌가 생각하게 되었습니다. 또한, TAD 내에서도 산업 분야, 데이터 형태에 따라 적합한 평가 지표가 천차만별일 수 있기 때문에 향후 TAD 연구 과정에서 관습에 매몰되지 않고 현실을 고려할 수 있어야 할 것 같다 생각하였습니다. 매우 많은 지표를 각각 퀄리티 높은 자료로 설명해주셔서 이해하기 매우 수월했습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Time Series Anomaly Detection의 metric에 관한 논문인 Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series에 대해 다뤄주셨습니다. 본 논문에서는 기존에 여러 논문에서 널리 사용되던 Metric 이외에도 다양한 상황에 적용할 수 있는 Metric을 제안했습니다. 해당 metric들은 모든 상황에서 쓰일 수 있는 metric이라기 보다는 특정 상황 또는 조건에 적합한 Metric이라고 볼 수 있으며, Anomaly Detection이 이론 보다는 real-world application에 가까운 Task인 만큼 더 의미가 있다고 생각했습니다. 또한 세미나를 들으면서 Vision Anomaly Detection에서도 고정된 Metric을 사용하는 것이 아닌 조금 더 실제 시나리오에 맞춰진, 다양한 조건의 Metric이 필요하지 않나 라는 생각이 들었습니다. 2번의 발표 감사하고 고생하셨습니다!

본 세미나에서는 Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series 라는 주제의 논문에 대한 리뷰를 진행하였습니다. Time series anomaly detection의 경우 어떤 metric을 사용하느냐에 따라 같은 결과여도 완전히 다른 순위를 기록할 수 있습니다. 특히 이는 Anomaly transformer의 경우에서 두드러졌습니다. 하지만 이는 metric이 잘못된 것이 아닌, 어떤 상황에서의 anomaly detection이냐의 차이로 받아드려집니다. 본 논문에서는 다양한 종류의 metric을 소개하였습니다. 생각보다 정말 많은 metric이 있는것에 놀랐고, 각각의 metric의 특성을 잘 파악하여 어느 상황에서 어떤 metric을 사용할지에 대한 고민이 필요하단 생각이 들었습니다. 특히 기업과의 프로젝트를 할때 해당 내용이 굉장히 큰 도움이 될 것이라는 생각을 하였습니다. 꼭 필요하고 어떻게 보면 귀찮을수도 있는 내용을 2번에 걸쳐 양질의 자료로 발표해주신 점 너무 감사합니다. 좋은 발표 감사합니다.

이번 세미나에서는 Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series 라는 논문을 주제로 발표가 2회에 나누어 진행되었습니다. 시계열 데이터의 이상치 탐지에 있어서 평가 지표의 중요성과 그 특징에 대한 깊은 이해가 필요한데, 이번 발표를 통해 그 중요성을 더욱 확실하게 깨달을 수 있었습니다. 발표자께서는 다양한 평가 지표들의 특성과 그에 따른 적용 시나리오에 대해 상세하게 설명해주셨으며, 특히 각 지표가 가지는 장단점에 대해서도 친절하게 설명해주셨습니다. 실제 업무나 연구에서 이러한 평가 지표를 어떻게 활용해야 하는지, 어떤 지표가 어떤 상황에서 가장 적합한지에 대한 구체적인 예시와 함께 설명이 진행되어 매우 이해하기 쉬웠습니다. 또한, 이번 발표를 통해 기존에 알고 있던 지표들 외에도 새로운 지표들에 대한 정보를 얻을 수 있었고, 그로 인해 더 넓은 시각으로 시계열 데이터의 이상치 탐지 문제를 접근할 수 있게 되었습니다. Timeseries 데이터를 다룸에 있어 측정 지표마다의 차이와, 각 특징을 알기 쉽게 잘 설명해주셔서 큰 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Navigating the Metric Maze : A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series를 논문에 대해 총 2회에 걸쳐 세미나를 진행해 주셨습니다. 해당 세미나에서는 전조 증상, 연속성 등을 반영하지 못하는 기존 평가 지표들의 문제점을 지적하였습니다. point adjusted metrics에서 point adjusted f-score는 단일 지점이 감지되면 전체 세그먼트에 대해 이상을 식별할 수 있으며, redefined counting metrics에서 composite f-score는 point-wise 및 segment-wise metric의 조합을 사용한다는 점이 인상적이었습니다. 또한 여러가지 지표를 이용하였을 떄, 어떤 식으로 각 평가 지표들이 분류될 수 있는지 함께 다루어 주셔서 내용이 더 잘 이해될 수 있었던 것 같습니다. 다양한 상황에서 어떻게 평가 지표가 이용될 수 있는지 상세히 다루어 주셔서 이해에 많은 도움이 되었습니다. 해당 세미나를 통해 각 상황에 적합한 평가 지표를 이용하는게 이로울 것이라는 생각이 들었고, 신중하게 선택해야 된다는 중요성을 다시 생각해볼 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 시계열 데이터 이상치 탐지에 대한 metric을 정리한 survey 논문인 "Navigating the Metric Maze : A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series"를 소개해주셨습니다. 시계열 이상치 탐지 과제를 하면서 시계열 이상치 탐지 과업에서 어떤 metric을 쓰느냐에 따라서 성능이 크게 다르게 나타나는 것을 알았습니다. 특정 논문의 모델의 경우에는 특정 metric에서는 SOTA의 성능임에도 불구하고 다른 metric과 함께 검증하였을 때, 사실상 매우 안 좋았었습니다. 따라서 시계열 이상치 탐지에서 모델의 성능을 검증하기 위해서는 다양한 metric을 통해 평가를 진행하는 것이 중요하다라고 느꼈습니다. 이번 세미나를 통해서 기존에 알고 있던 metric 이외에도 여러가지 metric이 존재한다는 것을 알았는데, 시계열 이상치 탐지를 수행하는 domain에 알맞은 metric을 통해 평가하는 것이 중요함을 느끼게 되었습니다. 여러가지 예시를 들어가면서 각 metric에 대해 잘 설명해주셔서 향후에도 좋은 참고자료가 될 것 같습니다. 좋은 발표 감사합니다.

본 세미나는 강형원 발표자님께서 "Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series"이라는 논문을 바탕으로 진행되었습니다. 해당 논문의 주제는 여러 사례 연구를 통해 20개의 Time series Anomaly detection 평가 지표를 테스트하고 10가지 속성에 따라 분류하는 것입니다. 결론적으로 주장하고자 하는 것은 모든 사례에 적합한 평가 지표는 없으며, 각 사례에 적합한 평가 지표를 선택하는 것이 중요하다는 것이었습니다. 하지만 metric에 대한 의문점이 많이 생기고, 일부 지표는 반드시 좋은 전략이 아니라는 것이 앞으로 연구를 어떻게 해나가면 좋을지 연구자들에게 좋은 방향을 제시해준다고 생각하였습니다. 비록 해당 논문의 분야는 Time Series이지만, 제가 연구하고자 하는 LLM의 evaluation을 어떻게 할 것인지가 현재 NLP 분야의 트렌드이며, 연구자들이 해결해야 할 숙제라고 생각합니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 “Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series”으로 진행되었습니다. 시계열 태스크에서 사용되는 메트릭에 대해서 배울 수 있었고, 장단점에 대해서 파악할 수 있었습니다. 보통 세미나에서는 문제 해결을 위한 방법론을 다루는 주제가 많았는데, 이번에 평가 방식에 대해서 생각해볼 수 있는 시간이 되어서 좋았습니다. 또한 시계열 분야에서는 어떤 고민들을 하고 평가 방식에 어떤 문제를 지적하며 개선하고 있는지를 알 수 있었습니다. 추가적으로 발표자분께서 설명 자료를 굉장히 잘 만들어주셔서 시계열 분야에 생소한 저에게 직관적으로 잘 와 닿았습니다. 세미나를 들으면서 정답 메트릭은 없다라는 것을 알 수 있었습니다. 상황을 정의하고 그에 적합한 평가방식을 잘 설정해야한다는 것을 배울 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Exploring Evaluation Metrics for Anomaly Detection in Time Series"에 대해 소개해주셨습니다. Time series Anomaly detection 분야에서 활용되는 다양한 평가 지표에 대한 논문이었습니다. 해당 논문은 특정한 방법론에 대한 소개 보다도, 전반적인 평가 지표들이 어떻게 사용되어왔고, 각각이 어떠한 차이점을 가지는 지에 대한 survey 논문으로, 총 2차례에 거쳐 발표가 진행되었습니다. 개인적으로는 그동안 다양한 anomaly detection 방법론들은 접해볼 수 있었지만, metric에 대해서는 자세히 알아보진 못했던 것 같습니다. 그러나 발표를 통해 각각의 metric의 목적, 상대적인 장/단점, 상황별 고려되어야 할 점 및 적용 가능성 등에 대해 고민해볼 수 있었고, 전반적으로 Time series anomaly detection에서 사용되는 평가 지표들을 한눈에 파악해볼 수 있어 흥미로운 시간이었습니다. 좋은 발표 준비해주셔서 감사드립니다.

이번 세미나는 Time Series Domain의 Anomaly Detection 태스크에서 활용될 수 있는 다양한 Metric을 정리한 "Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series" 논문을 중심으로 진행되었습니다. TSAD 태스크는 모델의 Anomaly Score 산출 방식 및 Detect 여부 판정 방식에 따라 매우 다양한 평가 방식이 존재하고, 각 평가 방식마다 동일한 모델과 태스크임에도 매우 다양한 요소를 평가하게 됩니다. 큰 흐름으로 살펴보았을 때, 전조/전후 증상 탐지 여부나 Anomaly 구간 전체/일부 탐지 여부에 따라 평가 지표를 구분할 수 있고, 심지어 탐지 여부를 이진분류하지 않고, Ground Truth의 앞/뒤 구간에 대한 일부 반영도 가능한 상황입니다. 세미나를 들으면서 이렇게 다양한 평가지표가 존재함에도 압도적으로 사용되는 지표가 없는 이유가 TSAD 분야의 Annotation 어려움에 기인한다는 인상을 받을 수 있었습니다. 시계열적 특징으로 인해 전조/전후 구간에 대한 정의가 어렵고, Anomaly가 발생한 지점에 대한 Annotation 역시 Domain Knowledge에 따라 매우 주관적으로 Annotation되기 때문에, GT의 불완정성을 보완하기 위해 다양한 평가지표가 제안되었다는 인상을 받을 수 있었습니다. NLP에서도 BLEU/ROUGE 등의 다양한 생성 방법론 평가지표가 존재하는데, 이와 비슷한 맥락을 가지고 있다고 생각됩니다. "평가"라는 연구분야가 항상 제일 어려운 분야일 수 밖에 없는 점에서 이렇게 방대한 자료를 정리한 논문에 경외심을 표하고, 이와 같이 일목요연하게 정리해주셔서 매우 감사드립니다. 좋은 발표 잘 들었습니다.

이번 세미나에서는 시계열의 평가지표들을 총 정리하는 내용을 다루었습니다. 시계열 내의 이상치 탐지의 평가 지표를 중심으로 다루었는데 평가지표에는 point anomaly, contextual anomaly, collective anomaly 등이 있었고 이를 탐지하는 방법에 따라서도 여러 방식으로 나누었습니다. 세미나를 들으면서 연구하기에 까다로울 것 같다는 생각이 들었던 부분이 데이터나 task 세팅에 따라 성능과 모델 평가가 달라진다는 점이었습니다. 연구자가 풀어야하는 task에 맞춰서 평가지표를 설정하는 것이 어렵다는 점에서 nlp와 비슷한 점이 있다는 생각이 들었습니다. 요즘 nlp에서도 정답이 없는 task에 대한 성능을 어떻게 평가해야할 것인지가 큰 화두인데, 세미나를 들으면서 깊게 고민해볼 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series 논문을 바탕으로 진행되었습니다. 해당 논문은 어떠한 방법론을 제시하는 논문이 아닌, Time-series Anomaly detection task에서의 평가 지표를 다루고자 하는 논문이었습니다. Time-series data에서의 Anomaly detection task는 정상 패턴과는 다른 이상치를 탐지하는 것을 목적으로 하여, 주어진 시계열 데이터에 대해 과거 데이터를 기반으로 t 시점에서의 이상치 여부를 예측하는 Task입니다. 이때, 단순한 Point anomaly 뿐만 아니라 Contextual anomaly, collective anomaly가 존재하기 때문에 매우 어려운 Task라고 볼 수 있습니다. 이러한 Time-series anomaly task에서는 보통 전통적인 Evaluation metric이라고 할 수 있는 Accuracy, Recall, Precision, f1-score 등의 metric을 이용하는데, 이러한 metric들은 Time-series data가 가지는 특성을 모두 반영할 수 없다는 한계점을 가지고 있습니다. 예를 들어, Time-series data의 연속성이나, 전조 증상, 시간적 지연 등으로 발생하는 다양한 패턴들을 모두 반영할 수 없다는 것입니다. 이에 해당 논문에서는 상황에 맞는 다양한 Metric들을 제시하고 있습니다. Metric은 먼저 Binary metric과 Non-binary로 나눌 수 있는데, Binary metric의 경우에는 이상 탐지 결과를 Match/Non-match 두 가지로만 나누고, 이를 기반으로 metric을 계산하여, 간단하고 직관적이지만, 이전 전통적인 Metric과 마찬가지로 정확한 탐지 결과가 아닐 수 있습니다. 다음으로 Non-binary metric은 이상 탐지 결과를 Match/Non-match가 아닌 실수 벡터로 표현하여, 이를 기반으로 성능 지표를 계산하고 있습니다. 해당 방법은 복잡하고 해석하기 어렵지만, 이상 탐지의 결과를 어느 정도 신뢰할 수 있다는 장점이 있습니다. 해당 세미나에서는 Binary, Non-Binary 각각에 해당하는 수많은 평가 지표를 소개해 주셨으며, 평가 지표에 대한 예시를 하나 하나 그림으로 그려 주어서 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.

이번 세미나에서는 두 번의 발표에 걸쳐 시계열 이상치 탐지에 사용되는 다양한 평가 지표들에 대한 설명을 담은 논문인 “Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series”를 소개해주셨습니다. 시계열 이상치 탐지와 관련해서 그동안 세미나를 통해 방법론들에 대한 설명은 어느 정도 들어봐서 익숙했지만 시계열 이상치 탐지에 활용되는 평가 지표들에 대한 자세한 내용은 처음 들어 매우 신선했습니다. 시계열 데이터의 특징과 복잡성, 그에 따른 평가 지표의 다양성을 체계적으로 발표해주셔서 이해에 많은 도움이 되었습니다. 기존에 사용되던 전통적인 평가 지표만을 사용하는 것이 아니라 상황과 목적에 따라 다양한 평가 지표를 적용해야 한다는 중요한 점을 다시 한번 인지할 수 있었습니다. 비록 저는 시계열 데이터 관련 프로젝트 혹은 연구를 하지 않지만, 이번 세미나는 저희 연구실 차원에서도 이후 이루어질 시계열 데이터를 다룬 프로젝트에서 매우 귀중한 자료로 활용이 될 것 같습니다. Navigating the Metric Maze라는 말이 어울릴만큼 시계열 이상치 탐지에 활용되는 지표들을 체계적으로 정리한 연구자들도 존경스럽고 이를 세미나 발표 자료로 녹여낸 발표자의 노력도 정말 감사했습니다. 항상 퀄리티 높은 발표 자료와 좋은 발표 감사드립니다.

이번 세미나는 하나의 논문이 아닌 시계열 이상탐지의 다양한 평가지표에 대해 설명해 주셨습니다. 평가 지표는 총 20개로 평소 익숙하게 사용해오던 지표부터 완전히 처음보는 지표까지 다양했습니다. 시계열 공부를 하는 사람들끼리 자주 이미지나, 자연어는 사람이 눈으로 보면 바로 파악이 되기 때문에 연구의 과정에서 각 과정이 잘 이루어지고 있는지를 알기 좋지만, 시계열 데이터의 경우는 결과물을 사람이 눈으로 보아도 파악이 잘되지 않아 어려운 분야라는 말을 자주 했습니다. 결국에는 정성적 평가없이 평가 지표를 의존하여 연구를 이어나가야 하는 것인데, 이 평가 지표 또한 과연 올바른지에 대해 항상 고민이 많았습니다. 특히 point adjustment 등 모델의 성능을 크게 좌우하는 다양한 평가지표가 사용되는 가운데 어떤 지표를 사용해야 현재의 연구에 올바른지 판단이 어려웠습니다. 결국 이번 세미나를 듣고서 느낀점은 완벽한 지표는 없으며 본인이 task에서 목적하는 바에 따라 중시하는 성능을 잘 표현할 수 있는 지표를 선택해야한다는 것입니다. 특히 발표자께서는 이번에 20개의 지표를 총정리 해주시면서 binary, non-binary 등 분류에 따라 각 지표의 특징 및 장단점을 설명해 주시어 앞으로 연구를 수행함에 있어 어떤 지표를 선택할지 가이드라인을 제시해 주셔서 정말 배울 점이 많은 세미나였던 것 같습니다. 좋은 발표 감사합니다.