이번 세미나에서는 Time Series에 대한 anomaly detection에 대한 내용이었습니다. 절대량으로 동일한 성능을 가지더라도 여러 시점(구간)에 대해서 잘 맞춘 것인지 확인이 가능한 Performance measure에 대해서 설명해 주셨습니다. 구간별로 겹치는 구간이 있는지 discrete하게 정의한 existence reward를 수식에 부여한것이 지표의 key라고 생각이 되었습니다. 마지막으로, 연구의 필요성에 대해서는 확실히 알 수 있었지만 지표 자체의 의미가 데이터 domain에 따라 다양하게 해석이 될 수 있기 때문에 범용적으로 자주 쓰일지 의문이 들긴 합니다.

이번세미나는 Evaluation Metrics for Time series anomaly detection을 주제로 진행되었습니다. 기존의 Anomaly detection은 precision, recall을 사용하여 모델의 성능을 예측합니다. 하지만 timeseries data의 경우 단순히 이 지표만으로 모델을 평가하는것에 무리가있으며 Anomaly range를 부분적으로 탐지한것과 range를 얼만큼 완벽하게 맞췄는지도 score에 반영이되어야합니다. 따라서 Time series 데이터에서 precision과 recall을, Anomaly detection에서 precision recall을 다루는 두가지 논문에 대해 소개해주셨습니다. 결국 두가지 논문이 주장하는바는 time series data는 단순히 anomaly를 맞춘것만으로 모델을 평가하기보단 특정 시점의 range내에서 골고루 anomaly detection을 잘 수행해야한다는 것 입니다. 특히 TaPR은 1) 예측결과가 오탐없이 이상징후를 찾아내는지 2) 얼마나 다양한 이상범위를 찾아내는가를 평가합니다. 첫번째 논문에서 나왔던 metric보다 엄격한 지표라 생각이 들었습니다. 앞으로Time series data를 사용하여 프로젝트를 진행할 때 유용하게 사용할 수 있을 것 같습니다. 좋은발표 감사합니다.

금일 세미나 시간에는 Evaluation Metrics for Time series anomaly detection이라는 주제로 최근 다양한 프로젝트에서 Time series 데이터를 통해 이상치를 탐지하고자 하는 방법론을 수행중인 가운데 이에 관한 평가 metric에 대해서 이야기를 나누어 보았습니다. 시계열의 경우, 시점별로 anomaly 라 판단되는 구간이 발생하기 때문에 이를 단순히 기존 이상치 탐지 방법론의 평가방법과 동일시 하기에는 다소 어려움이 있습니다. 실제로 Time Series기반의 이상치 탐지 방법론은 포인트 단위의 이상치 탐지, 고정된 구간 단위의 이상치 탐지 그리고 다이나믹한 구간 단위의 이상치 탐지로 나누어 생각해볼수 있습니다. 해당 논문들에서 제안하는 방식은 다이나믹한 구간 단위의 이상치 탐지시 이를 평가하는 방식에 대해서 단순히 precision과 recall 을 ground truth를 잘 맞추었는지를 구간의 범위까지 확장해서 생각해 본 metric이라고 생각됩니다. anomaly detection에 대해서 score기반으로 모델의 파라미터를 최적화 하는 과정에 유의미하게 활용될 수 있을거라고 생각이 들었습니다. 재미있는 주제로 발표를 진행해주어서 감사합니다.

오늘 세미나는 Time-series anomaly detection 모델 성능 평가방법과 관련된 주제로 다양한 Evaluation Metric에 대해 설명주셨습니다. Anomaly Detection Task에서 일반적인 Point-based Metric 으로는 산업군의 니즈를 만족시킬 수 없다는 한계를 갖고 있습니다. 따라서 이상치 구간을 얼마나 잘 탐지하느냐도 중요하지만 이상치 구간이 발생했을 때 탐지가 되는지 여부, 탐지 영역이 정확히 라벨과 일치하는지 여부 등이 포함된 산업군에 특화된 Metric을 잘 설명해 주셨습니다. Metric에 사용자가 중요하게 생각하고 있는 부분(Missing Rate/False Alarm)등 을 반영하여 모델을 평가할 수 있다는 점이 인상깊었습니다. Time Series 데이터로 모델을 개발하고 다각도로 평가하는데 활용할 수 있을 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 조규원 석사과정의 Time-series anomaly detection 모델에 대한 새로운 성능평가 지표에 대한 발표였습니다. 데이터 분석을 하는데 있어 프로젝트 목적에 맞는 적절한 모델을 구현하는것도 중요하지만, 구현한 모델의 성능을 평가할 때, 태스크에 적절한 metric을 사용해야 정확한 모델의 성능을 평가할 수 있다고 생각합니다. 이번에 소개한 평가 metric은 TaPR이며, 1) 탐지된 공격의 다양성 평가, 2) 탐지의 정확성, 3) 낮은 오탐을 반영한 새로운 metric이었습니다. 논문에서 해당 metric을 제안한 이유는 타당하다고 생각이 되나, 너무 specific한 태스크에 대해서만 실험을 진행하여 조금 아쉬웠습니다. 발표 감사합니다.

시계열 기반 데이터를 이용해 이상치 탐지를 수행할 때 사용할 수 있는 새로운 평가 지표에 대한 논문이었습니다. 소개해주신 첫 번째 논문은 시계열에서 이용할 수 있는 precision과 recall로 시계열 데이터에서 이상치의 범위가 고정되지 않은 dynamic하게 벌어지는 상황에 쓰이는 metric입니다. 따라서 해당 평가 지표는 모델이 이상치 탐지를 부분적으로 했는지, 모두 다 커버했는지 몇 개를 커버했는지 등을 종합적으로 고려합니다. 두 번째 논문은 첫 번째 논문과 동일한 문제점을 다루는 논문으로 해당 논문에서 제시한 평가 지표인 TaPR은 모델이 예측한 결과가 얼마나 다양한 범위를 찾아내며 false alarm을 덜 내보내는지 등을 종합적으로 고려하는 더욱 정교한 지표입니다. 최근 연구실에서 이상치 탐지와 관련된 연구들이 많이 이루어지고 있는데 이처럼 다양한 평가 지표를 이용해 수행하면 실제 상황과 더욱 부합하는 모델들을 디자인 할 수 있겠다는 생각이 들었습니다. 좋은 논문을 소개해주셔서 감사합니다.

세미나에서는 보통 Model에 대한 주제를 많이 논했던 반면, 이번 세미나는 Model의 부가적인 역할을 하는 것처럼 보이지만, 사실 동등한 중요도를 갖고 있는 Metric의 종류를 다루었습니다. 최근 과제를 하면서 느낀 점으로 Model이 공부의 대상이라면, Metric은 공부의 Guidance라는 비유, 그리고 상황 및 목적에 따라 Metric을 현명하게 선택해야 하는 생각을 하였습니다. 본 세미나 역시 전통적으로 사용되던 Precision 과 Recall을 좀 더 특수한 상황에 맞추어 조정하는 모습을 볼 수 있어 Metric의 중요도 및 활용에 대하여 다시금 지각하였습니다.
제시된 TaPR은 Time Series 데이터의 Anomaly Detection을 하기 위해 사용되는 Metric인 만큼, 매우 Domain / Situation Specific할 것이라는 생각이 있었습니다. 물론 해당하는 상황에 알맞게 Metric을 선택하면 되지만 적어도 Time Series나 Anomaly Detection, 둘 중 하나의 분야에 대하여 Scalable하게 활용될 수 있는 Metric이 없을까 궁금해졌습니다. 이상 교훈과 지식을 전달해주셔서 감사합니다.

이번 세미나에서는 이상치 탐지 모델의 metric에 대해서 자세한 설명을 들었습니다. TaPR 평가도구가 사실 보기에는 너무 직관적이어서, 과연 저런 metric이 실제 이상치 탐지 모델을 제대로 평가할 수 있을까 하는 의문이 들었습니다. 다만 구간을 동적으로 나누어서 평가한다는 점이 신선했고, 특히 실제 현실에서 중요한 여러 요인(하나를 잘 맞추는 것보다 다수의 공격에 반응해야 함, 공격이 아닌 지점에 대해서는 공격으로 예측하지 말아야 함) 등을 반영한 평가 지표라는 것이 흥미로웠습니다. 좋은 metric을 찾는 것이 모델을 적합하는 것 만큼 중요하다고 생각하기에, 많은 공부를 할 수 있었던 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 time series anomaly detection model을 평가할 때에 있어서 time series의 특성을 반영한 metric에 대한 내용으로 발표가 진행되었습니다. time series는 시간 정보를 포함하고 있어 시간에 상관없이 단순히 anomaly 몇 개를 정확히 탐지했는지를 평가하는 것보다 연속적으로 anomaly가 나타나는 anomaly range를 탐지했는지, 또 이 range 중 얼마나 탐지했는지를 평가하는 것이 중요합니다. 따라서 기존의 reall, precision외에 다른 metric을 필요로 합니다. 이에 소개해주신 두 논문에서는 각각 range-based recall과 precision, TaPR을 제시하였습니다. 두 metric 모두 핵심은 anomaly range가 있을 때 여러 range에서 골고루 긴 기간을 detect했을 때 높은 점수를 부여하는 것이었습니다. 이와 같이 data의 특성이 다를 때는 이를 잘 반영할 수 있는 metric을 사용해야 한다는 것과, metric 마다 중요시 하는 점이 다름을 다시 한번 상기할 수 있었습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 발표는 "Evaluation Metrics for Time Series Anomaly Detection"이라는 주제로 진행되었습니다. 본 발표에서는 time-series anomaly detection의 평가지표와 관련된 2가지 논문이 소개되었고, 해당 부분은 지난 연사세미나에서 일부 다루었던 내용과 유사하고 최근 진행하고 있는 프로젝트와도 관련이 있어 관심을 가지고 발표를 청취했습니다. 먼저 발표를 들으며 방법론 뿐만 아니라 평가지표를 제안하는 것도 굉장히 큰 contribution이 있다는 것을 느끼게 되었고, 두 논문 모두 이상치 탐지에서 중요한 요소들을 수식으로 반영함으로써 논리적으로 평가지표를 도출했다는 생각이 들었습니다. 일반적으로 이상치 탐지 관련 프로젝트를 수행할 때, F1 score 또는 AUC를 평가지표로 사용하였었는데, time-series anomaly detection의 특징을 잘 반영한 지표들 또한 사용해봐야겠다는 생각도 들었습니다. 새로운 평가지표를 소개해주신 발표자께 감사드립니다.

금일 세미나는 time series anomaly detection에서 쓰이는 평가지표에 관련된 내용으로 진행되었습니다. 시계열에서의 이상치 탐지를 평가하는 지표는 anomaly range를 부분적으로 탐지해낸 것과 구간을 정확하게 맞추었는지를 모두 반영해야 한다는 특징을 갖습니다. 기존 precision과 recall의 경우, 이러한 특징을 반영하지 못한다는 한계점을 갖고 있으며, 이를 보완한 지표가 필요함을 세미나를 통해 알 수 있었습니다. 소개해주신 Range-based recall 와 TaPR 의 경우, Anomaly가 여러 구간에서 발생하였을 때, 1개 시점에서의 anomaly range를 정확하게 탐지한 것과 이상치 구간을 전자보다는 정확하게 탐지하지 못하였으나 2개의 시점 모두를 탐지한 것 중, 후자를 더 높은 점수로 평가하는 지표입니다. 또한, 단순히 길게 탐지 구간을 설정하여 모든 anomaly range를 탐지하는 경우에는 패널티를 주어, false alarm을 낮춘다는 장점을 가집니다. 시계열 데이터에서의 이상치 탐지에 적합한 평가지표에 대해 배울 수 있는 유익한 시간이었습니다. 감사합니다.

좋은 모델을 갖추는 것과 더불어 모델의 성능을 설명가능한 기준으로 평가하는 metric을 선택하는 것은 정말 중요한 일입니다. 세미나에서 설명한 논문은 Time Series Anomaly Detection에서 발생하는 기존 metric의 맹점을 지적합니다. 단순한 precision/recall로는 발생할 수 있는 anomaly 상황을 모두 설명할 수 없기 때문에 anomaly의 범위, anomaly를 맞춘 비율, 사용자의 의도까지 모두 반영한 새로운 metric을 제시합니다. 논문의 설명만 들었을 때는 정말 괜찮아 보이는 지표인데 한 번도 들어본 적이 없어서 질문을 드렸었는데, 두 번째 논문에 대해서는 ETRI에서도 조금씩 사용하려는 것 같아 범용적으로 사용될 수 있는 지표인지 관심을 갖고 지켜봐야 할 것 같습니다. Metric을 소개하는 세미나가 굉장히 신선하고 최근 연구실에서 진행하는 프로젝트에도 적용해 볼 법 하여 유익했습니다. 좋은 발표 감사합니다.

발표해주신 논문에서는 시계열 데이터에 대한 anomaly detection을 할 때 기존의 metric을 사용하면 정확한 성능 측정이 안된다는 점을 지적하면서 새로운 metric을 제시하였습니다. 문제는 시계열 데이터에서의 anomaly detection 성능을 단순 AUROC(혹은 precision/recall)로 측정하기에는 가장 중요할 수 있는 "시간" 정보를 포함하지 못한다는 것 입니다. 기존의 데이터는 모든 데이터가 독립이기 때문에 구분지어질 필요가 없지만 시계열 데이터의 경우에는 시간에 따라 연속적으로 발생하므로 전체 anomaly 구간에서 어디를 탐지했는지에 따라 성능을 다르게 평가하여야 한다는 것 이었습니다. 이번 세미나는 기존 세미나와는 다르게 metric에 대한 것을 다루었기 때문에 신선했고 알지 못했던 문제점에 대해 알 수 있어 유익한 시간이었습니다. 좋은 발표 감사합니다.

매우 흥미로운 주제였습니다. 공학도로서 성능이 좋은 연구의 모델을 가져다 써도 현업에서는 성능이 현저히 떨어지는 문제를 직시하고 해결해야 한다고 생각합니다. 이와 비슷한 맥락으로 연구를 위한 평가 metric이 아니라 현업에서 필요한 평가 metric 또한 반드시 필요하지 않나 생각합니다. 본 세미나에서는 도입부에서 왜 현업에 맞는 평가 metric이 필요한지를 설명해 주어 흐름을 따라가기에 매우 수월했습니다.
세미나 시간에 잠깐 이야기가 나왔던 citation 수에 대한 개인적인 생각은, 논문들에서 제안하는 metric이 너무 현업 중심이라서 그렇지 않을까? 입니다. 제안한 평가 지표들은 현업에서 사업 지식을 통하여 hyper parameter를 조정해야 하며 변경된 값에 의해 결과 값도 변경됩니다. 현업에서는 반드시 필요하지만 반대로 연구자 입장에서는 크게 메리트가 없는 지표라는 생각이 들었습니다.

좋은 모델을 만드는 것 뿐만 아니라 정확한 평가 지표를 선정하는 것은 중요한 문제입니다. 이번 세미나에서는 Time Series Anomaly Detection Task에 적용할 수 있는 새로운 평가 지표를 소개해 주셨습니다. 시계열 데이터의 특성 상 이상치는 시간에 따라 다른 길이로 여러 번 발생할 수 있습니다. 하지만 기존 분류 모델의 Metric인 Precision과 Recall은 전체 Time Stem의 이상치 중 판정한 Time Step을 기준으로 성능을 산출합니다. 따라서 특정 Time Step만큼 지속된 Anomaly Range 내에서 얼마만큼의 Time Step을 맞췄는지, 서로 다른 Anomaly Range 중 몇 개의 Anomaly를 탐지하였는지 등에 대한 성능은 측정이 불가능합니다. 세미나에서 소개된 논문에서는 이러한 한계를 극복하고자 Anomaly Range 내에서 정답의 비율과, Anomaly Range를 탐지한 비율에 각각 가중치를 부여한 지표를 소개합니다. 이어서 여러 Anomaly를 탐지할수록 높은 점수를 주고, 탐지가 정확할수록 높은 점수를 주며, 오류를 탐지하지 않을수록 높은 점수를 부여하는 방식을 통해 새로운 평가 지표인 TaPR을 제안합니다. 시계열 이상치 데이터에 대한 기존 평가 지표의 문제점과 이를 보완한 새로운 지표를 알 수 있어 유익한 시간이었습니다. 감사합니다.

이번 세미나는 시계열 이상치 탐지의 Evaluation Metrics를 주제로 진행되었습니다. 기존의 정량적 데이터에서 이상치 탐지는 Precision과 Recall을 사용합니다. 하지만, timeseries data의 경우 같은 방식으로 모델을 평가하는 것이 불가능합니다. 발표자께서는 이를 위해 Anomaly Range를 부분적으로 탐지한것과 해당 Range에 대한 Score에 반영이 되어야한다고 설명해주시며, Time Series 데이터, 그리고 Anomaly Detection에서 Precision과 Recall을 다루는 두가지 논문을 소개해주셨습니다.

두 논문 다 공통적으로 time series data는 단순히 anomaly를 맞춘것만으로 모델을 평가하기보단 특정 시점의 range내에서 골고루 anomaly detection을 잘 수행해야한다는 것을 보여줍니다. 첫번째 논문에서는 Range-based Precision&Recall을, 두번째 논문에서는 TaPR을 설명해주셨습니다. 기존에 time series 데이터를 다룰때, Precision과 Recall을 어떻게 구해야될지 시간관련 변수들을 못 살린 경우가 있었는데 추후 기회가 된다면 이를 적용해 보는 곳도 흥미로울 것 같았습니다. 좋은 발표 감사합니다.

이번 세미나는 time series 데이터로 anomaly detection을 수행할 때 사용할 수 있는 성능 지표들에 대한 내용을 담은 세미나였습니다. Time series인 만큼, abnormal 데이터가 시간 순서로 봤을 때 띄엄띄엄 발생할 수 있는데, 이를 고려하지 않은채 기존의 성능지표로 anomaly score를 도출하면 정확도가 낮아지는 것을 고려한 새로운 세가지 지표가 있었습니다. 첫번째 논문에서 제시한 Range-based Precision, Recall 값 그리고 두번째 논문에서 제시한 TaPR 모두 자세한 수식을 통해 어떻게 계산이 되는지를 알 수 있었습니다. 이번 세미나를 통해 time series에서의 anomaly data를 다룰 때 횟수적인 면이 아니라 주기적, 또는 산발적으로 존재하는 anomaly data에 대한 정보를 잘 담을 수 있도록 찾아보게 되었습니다. 감사합니다.

기존의 평가 지표를 시계열에 적용할 때는 Missing rate, False Alarm 등에 대해 제대로 파악을 못하는 것을 지적합니다. 이에 겹친 구간이 아닌, 여러 간격에 대해 잘 맞추었는지(탐지의 정확성/다양성) 등을 고려하여 metric을 설정하였습니다. 하이퍼파라미터에 따라 스코어 값이 크게 바뀔 것이며, 다양한 도메인에서 해당 metric이 범용적으로 쓰일 수 있는지는 의문이 들었습니다. 하지만 기존의 평가지표에 의문을 가지고 시계열에서 허점을 파악하고 정확하게 지적한 후 본인만의 해결의 플로우는 인상깊었습니다.

이번 세미나에서는 time series 데이터에서 anomaly detection 을 수행 시 평가지표들에 대한 주제를 담았습니다. time series anomaly 는 계속해서 연구실 내에서도 재밌는 주제로 많은 연구가 진행되고 있습니다. 오늘 세미나에서는 anomaly 가 시간적 정보가 반영될 때 특히 정상적인 데이터이지만 시간축 기준으로 멀어졌을 때, anomaly 의 구분을 좀 더 명확하게 지표로 나타내고자 했는 것 같습니다. 이는 매우 상식적이며, 합리적인 접근으로 생각됩니다. 이런 접근법 자체로도 논문으로 연결시키고, 학문적 가치가 있음을 이번 세미나에서 다시 한번 느끼게됩니다.