이번 세미나에서는 비지도 방식의 이상치 탐지 방법론인 Anomaly Transformer에 대해서 소개되었습니다. 기존의 RNN 기반의 time-point에 따른 representation을 학습하게 되면 오롯이 해당 시점만 고려하게 되기에 point-wise, 즉, 각 time-point를 주변의 모든 time point들 간의 관계로 표현할 수 있다는 것이 핵심이 되겠습니다. 그래서 이상치는 전반적인 시계열에 약한 상관관계를 가지고 있고 주변 영역에 대해서는 강한 상관관계를 갖게 됨을 저자들은 주장하였습니다. 따라서 정상데이터와 이상치 데이터간의 연관성(association)의 차이가 존재하게 될 것이고 이것이 Association Discrepancy가 됩니다. 주변 시점에 가중치를 준 attention 값인 prior-association, 기존 트랜스포머와 같은 attention 값인 series-association 에 Minimax 기법을 적용한 뒤 association discrpancy를 구하고 reconstruction loss를 곱해 최종적으로 anomaly score를 얻게 됩니다. 다른 분들께서도 이상치탐지 분야에서 transformer가 적용된 연구들을 많이 소개해주셨는데, transformer의 활용력에 새삼 놀랐습니다. 내용이 잘 정리된 발표였습니다. 감사합니다.

금일 세미나에서는 Anomaly Transformer 모델 소개가 있었습니다. 본 모델을 제안한 논문에서는 point wise distribution을 기반으로 anomaly detection을 하고자 했으며, 이상치 point를 prior association과 series association의 차이인 association discrepancy의 개념을 사용하여 detection하고자 했습니다. prior association은 각 position 별로 학습되는 가우시안 분포이며 특정 position의 주변에 집중할 수 있도록 설정된 가중치 역할을 합니다. series association은 series 전반에 대한 attention 값입니다. 이 두 association의 차이를 KL div로 정의하여 학습을 하게 되는데, minimax 전략을 활용하여 gaussian prior의 variance를 극소화하는 것을 방지하는 동시에 association discrepancy를 최대화할 수 있도록 하였습니다. anomaly score를 도출할 때에는 association discrepancy와 reconstruction loss를 모두 사용하여 도출했습니다. 실험 결과, 타 baseline 대비 상당히 우수한 성능을 보이며 다양한 유형의 anomaly type에도 좋은 탐지 성능을 보여 아이디어의 타당성을 확인할 수 있었습니다. 시계열 데이터의 anomalous 특성을 잘 분석하고 새로운 가정을 도입한 아이디어 전개 과정이 상당히 흥미로웠습니다. 좋은 발표 감사합니다.

시계열 정보를 반영하여 이상치를 unsupervised approach로 탐지하는 anomaly transformer에 대해 소개해주셨습니다. 이전 연구들이 복잡한 시계열 패턴에 취약하고, normal pattern의 영향력이 과도하게 크다는 점을 지적하면서 이상치가 다른 데이터와 갖는 association을 global과 prior로 구분합니다. 즉, 이상치는 전반적인 시계열 데이터 데이터와 약한 association을 갖는 반면 인접 영역에 대해서는 강한 association을 갖습니다. 따라서 주변 시점에 가중치를 부여하는 prior assoc.를 minimize하고 기존 attention인 series assoc.가 더 넓은 영역에 가중치를 줄 수 있도록 minimax learning을 수행합니다. 뛰어난 성능을 보이는 것은 확인했으나 global/prior를 구분하여 모델링하는 방법이 어떤 과정으로 정당화되는지에 대해서는 아직 의문이 남아 있습니다. 다행히 openreview가 공개되어 있어 reviewer들의 의견을 함께 보는 것이 좋을 것 같습니다. 감사합니다.

본 세미나에서는 Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy에 대해 살펴보았습니다. 저자들은 주변 시점을 고려하는 prior-association과 전체 정보를 고려하는 series-association을 분해하여 데이터를 처리하는 방법을 제안하였습니다. Time-series anomaly detection에서 매우 빈번하게 제안되는 아이디어 형태이며 최근 비전에서도 여러 방향으로 정보를 분해하여 처리하는 방법이 제안되고 있는 것 같습니다. 아무래도 Transformer자체가 global 정보밖에 처리할 수 없다보니 이러한 방법론들이 제안되는 것 같습니다. 특히 본 연구에서는 최적화를 minimax로 풀게 되는데 이 부분은 세미나에서 최희정 박사과정이 해석한 설명이 옳지 않나 생각됩니다. 개인적으로는 세미나때 질문 드린 것처럼 gaussian prior가 모든 이상 데이터에 적합하지는 않을 것이라 생각하는데, 실험 결과가 모든 데이터셋에서 기존에 비해 큰 폭으로 좋아져서 약간 의문스러웠습니다. 감사합니다.

이번 세미나는 Time-series anomaly detection에 transformer를 사용한 Anomaly Transformer를 주제로 진행되었습니다. Anomaly Transformer는 global한 정보를 다루는 series-association과 local한 정보를 다루는 prior-association을 이용한 방법론 입니다. 각 position 별 학습되는 gaussian distribution을 prior association으로 기존의 transformer의 attention을 series association으로 사용하고, 이 두 association의 유사도를 KL divergence를 사용하여 측정합니다. 여기서 단순히 association discrepancy를 최대화하면 gaussian prior의 variance를 극소화하는 경향이 있기 때문에 MiniMax associaiton learning을 사용하여 이 문제를 해결하면서 association discrepancy를 최대화하였습니다. 해당 방법론을 사용하였을 때, 기존 baseline 대비 굉장히 많은 성능 개선이 이뤄졌으며, 많은 실험과 여러 anomaly type에 대한 결과 또한 보여준 점이 인상 깊었습니다. 다만 저도 해당 논문을 읽어 보았는데 굉장히 높은 성능을 보여줌에도 해당 방법론이 왜 좋은 성능을 낼 수 있었는지에 대한 언급이 부족하고, 타당 가능한 설명을 하지 못한 논문이었고, 논문 업셋이 되면 공개한다던 코드도 아직 공개하지 않고 있어 과연 정말 좋은 성능을 내었는가란 의구심이 들었습니다. 저 또한 time-series anomaly detection에 대해서 공부하고 있는 사람으로서 본 논문은 좋은 쪽으로도 나쁜 쪽으로도 배울 점이 많은 논문이었습니다. 좋은 발표 감사합니다.

금일 세미나는 "Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy"라는 주제로 진행되었습니다. 본 발표에서는 Association Discrepancy를 강조하여 기존의 RNN 기반 방법론들이 복잡한 시간 패턴을 잘 반영하지 못한다는 한계점을 보완한 Anomaly Transformer가 소개되었습니다. Anomaly Transformer는 attention을 활용하여 도출한 series association과 prior association을 minimax 방식으로 학습하여 시계열 데이터에서 복잡한 시간 패턴을 잘 추출할 수 있도록 하였습니다. 본 논문에서 이상치는 잘 발생하지 않기 때문에 이상치는 전반적인 시계열과 약한 상관관계를 가지는 반면, 인접한 영역의 시계열 데이터와는 강한 상관관계를 가지므로 series association은 낮고 prior association은 높은 영역을 이상치라고 탐지할 수 있다는 가정이 매우 신선하고 논리적이라고 생각했습니다. 더불어 가우시안 분포를 기반으로 한 prior association의 분산을 극소화하는 문제를 해결하고자 두 association을 minimax 방식으로 학습함으로써 목적은 달성하면서 문제를 해결한 부분이 매우 인상 깊었습니다. 해당 방식은 다양한 분야에서 두 개의 목적을 동시에 달성하고 싶을 때 잘 적용할 수 있을 것 같다는 생각이 들었습니다. 다만, prior association을 도출하는 방식과 inference 과정에 대한 설명이 생략되어 있어 아쉬웠습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy"라는 논문에 대해서 진행해주셨습니다. 해당 논문은 anomaly transformer를 제안하는데, 이는 크게 series association과 prior association의 개념을 활용하게 됩니다. 둘 모두 모델 구조 내에서의 attention이지만, series association은 일반적인 transformer의 어텐션을 사용함으로써 global한, prior association은 보다 local한 정보에 대한 attention으로 이해하였습니다. 일반적으로 발생하는 이상치는 시계열 데이터 상에서 prior association이 상대적으로 높아지기 때문에, minimax 방식을 통해 두 association의 discrepancy를 최대화하도록 하였습니다. 이미지 이상치 탐지에서도 유사한 방식을 적용할 수 있다는 생각이 문득 들었습니다. 어쨌든 굉장히 신선한 아이디어라고 생각하고, 언제나처럼 좋은 발표 감사합니다.

이번 세미나에서는 Anomaly Transformer : Time Series Anomaly Detection with Association Discrepancy 라는 연구에 대해 소개되었습니다. Anomaly Transformer 는 attention 을 활용한 point-wise distribution 으로 time series data의 모든 time point representation 을 나타내고 이웃한 정보와 글로벌한 정보를 각각 prior association 과 series association 으로 계산합니다. 이렇게 정의한 값은 anomaly sample이 prior association 은 높고, series association 은 낮을 것이라는 점을 사용해 association discrepency 를 계산하는 데 사용되고 학습에는 이를 반영한 minimax 방식을 사용합니다. Anomaly attention 의 특징을 반영한 아이디어가 참신한 연구라 생각되고, 이러한 아이디어를 활용해 기존 연구들의 성능을 개선한 점이 Anomaly Transformer 의 가장 큰 의의인 것 같습니다. 논문 소개에 앞서 많은 선행 연구들에 대해 간략히 소개해주신 점이 발표 내용을 이해하는 데 도움이 되었으며 복잡한 수식도 잘 정리해서 설명해주신 것 같습니다. 좋은 발표 감사드립니다.

본 세미나에서는 시계열 내에서 이상치를 탐지하는 방법에 관한 논문에 대하여 소개해주었습니다. 시계열 데이터는 각 시점을 주변의 모든 시점간의 관계로 표현할 수 있는데, 이를 ‘point-wise distribution’이라고 정의합니다. 시계열 흐름 내에서 이상치는 전체의 흐름과는 약한 상관관계를 갖고 인접한 영역에 대해서는 강한 상관관계를 갖는데, 이를 통해 정상과 이상치 간의 Association의 차이를 통해 탐지를 진행합니다. 연관 불일치는 각 시점의 Prior Association과 Series Association의 거리로 측정하게 되는데 간략하게 특정 시점이 주변과 전역적으로 연관성의 차이의 정도를 계산하는 것입니다. 하지만 이상치 탐지를 위해 Association의 차이를 무조건 최대화를 진행하면 Prior(가우시안)의 분산이 극소화되기 때문에 Prior association이 시간 정보를 내포하는 최소화 과정, Series association이 보다 넓은 영역에 Attention을 줄 수 있는 최대화 과정을 반복해서 진행하는 MiniMax 전략을 활용합니다. 시계열 연구를 위해 직접 스터디를 꾸리는 모습이 너무 멋있습니다. 좋은 발표 감사합니다.

이번 세미나에서는 시계열 데이터에서 이상치를 탐지하는 비지도 기반의 새로운 접근법을 다룬 논문 Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy을 주제로 진행되었습니다. 본 논문은 기존 시계열 분야 연구들에서 RNN을 사용할 경우 복잡한 시계열 패턴에 대해 유의미한 이상 징후를 포착하기 어렵다는 점을 지적합니다. 이를 해결하기 위해 global series association과 local prior association 간의 discrepancy를 강조하도록 모델을 학습하여 모델로 하여금 주변과 전체를 모두 고려한 anomaly attention을 도출하고자 하였습니다. 또한, minimax optimization process를 통해 normal-abnormal 간의 구분을 최대화하는 것을 목적으로 했습니다.
이번 세미나 발표를 시청하면서 특히 성능 향상 폭이 상당히 컸다는 점에서 개인적으로 많이 놀랐습니다. 아직 성능 향상의 여지가 남아 있는 task가 다수 존재한다는 측면에서 시계열 관련 연구의 필요성을 실감했고, 본 연구가 시계열 이상치 탐지 분야의 게임체인저의 역할을 하게 되지 않을까 생각해보았습니다. 유익한 발표 진행해주셔서 감사합니다.

금일 세미나는 anomaly detection에 transformer를 연구한 Anomaly Transformer라는 논문에 대해서 소개해 주셨습니다. 정직한 이름과 같이 Anomaly에 Transformer를 활용한 방법으로 기존 Transformer와의 차이점은 self-attention 과정에서 비정상 데이터와 정상 데이터의 차이를 잘 나타낼 수 있도록 새로운 방법은 제안했다는 점입니다. 본 연구에서 제안한 방법은 기존 attention score와 동일한 값으로 global series association을 두고 현재 시점에 더 가중치를 두도록 local prior association을 계산하여 서로의 discrepancy를 통해 모델을 학습하였습니다. 지난 번 time-series에 적용한 autotransformer와 같이 정형 데이터에서 transformer가 잘 학습되도록 다양한 self-attention 방법이 연구되고 특정 도메인에 맞추는 방향이 많아지고 있다고 느꼈습니다. 오늘도 좋은 발표 감사합니다.

금일 세미나에서 발표된 anomaly transformer 는 최근 연구실에서 많이 발표되고 있는 anomaly detection 관련된 주제입니다. 해당 주제관련하여 연구를 진행하면서, 성능이 정말 잘 안오른다 라고 생각했는데, 해당 논문에서는 압도적인 성능으로 다른 논문들을 이겼습니다. 해당 부분에서 항상 느끼는 부분은 anomaly time seires data 는 기 비율이 상당히 낮고, 갑작스런 변화를 나타내는데, 이를 catch 해야하는 문제가 있습니다. 시계열의 전통적인 방법으로 생각하면 이상구간은 정상적인 데이터와 상관관계가 낮아야한다는 점인데 이를 모델 구현상 직관적으로 구현한 방법론인 것 같았습니다. 이 때 상관관계를 어떻게 계산할까 고민을 많이 했었는데 지난번 세미나에서는 auto corr 을 사용했었던것 으로 기억하는데 오늘 방법론에서는 kl divergence 를 이용한 두 association 의 유사도를 측정하였습니다. 관련 연구를 진행하면서 성능에 낙담하게 되는 논문이였지만, 재밌게 들었습니다.

이번 세미나는 time series anomaly detection을 위해 transformer를 활용한 Anomaly transformer에 대한 내용으로 진행되었습니다. 본 방법론은 series-association을 통해 gloabl information을, prior-association을 통해 local information을 모델링합니다. 이때 두 association 간의 차이를 association discrepancy로 정의하고 이 값이 클 때를 이상치로 정의하였습니다. 이는 이상치는 시계열 내의 global 정보와 상관관계가 약하고, 반면 인접한 local 영역의 정보와는 강한 상관관계를 가지는 경향을 반영한 것입니다. 또한 학습 과정 중 prior association의 분산이 극소화되는 문제를 해결하기 위해 minmax 문제로 변형하여 학습을 진행하였습니다. 실험을 진행한 모든 데이터셋에 대해서 기존 방법론보다 매우 개선된 성능을 보인 것을 보면, 학습 시 이상치에 대한 정보를 사용한 것이 효과적으로 작용한 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy에 대해 진행되었습니다. 본 연구는 시계열 이상치 탐지 과제에 대한 방법론을 담고 있습니다. 대표적인 딥러닝 시계열 모델인 RNN 기반으로 접근할 경우, 이상치 탐지 성능 면에서 두드러지는 성능을 보여주지 못했었습니다. 저자는 이처럼 RNN 계열 모델에서 보이는 약점인 abnormal distinuishablity를 높이기 위한 모델 구조를 고안합니다. 이를 위해 transformer방법론을 활용합니다. 모델 구조를 고안하면서 가장 중점을 둔 부분은 association discrepancy(연관 불일치)를 잘 학습하는 것 입니다. 인상적이었던 점은 시계열 데이터 포인트에 대한 관점과 이상치에 대한 정의였습니다. 각 시계열 데이터 포인트(t)는 다른 time point들 간의 조합으로 이뤄질 수 있다고 봅니다. 그리고 이상치는 association이 window에 따라 강하고 약한 연관성을 갖는 다는 것을 분리해 살펴봅니다. Global window에서 보는 series association, local window에서 보는 prior association으로 나눠 보는 데, 이러한 이상치에 대한 정의가 신선했습니다. 이상치는 결국 global window에서 series association이 적고, local window에서는 prior association이 높은 것으로 정의되고, 모델도 이를 충실히 따르도록 디자인 됩니다. association은 attention값으로 정의되고, discrepancy는 KLD로 측정됩니다. 개인적으로 관심을 갖고 있는 주제여서 흥미를 갖고 들을 수 있었습니다. 좋은 발표 감사드립니다.

본 세미나에서는 time series data를 위한 anomaly detection 모델인 anomaly transformer를 소개해주셨습니다. 연구실에서 다양한 timeseries 분야 세미나가 진행되었는데, 최근 연구들은 대체적으로 temporal한 특성을 학습하기위해 다양한 feature 들을 활용해왔습니다. anomaly transformer 저자들은 “기존 연구들은 recurrent network representation of each time point를 기반으로 anomaly detection이 진행된다”고 주장합니다. 이렇게 순차적으로 학습이 이루어질 경우 1) 시간이 흘러가며 정보가 손실될 수 있고 2) 정상데이터에 dominant할 수 있다는 문제를 제기합니다. 해당 연구는 abnormal data가 전반적인 시계열에 약한 상관관계를, 인접한 영역에 대해서는 강한 상관관계를 갖는다고 주장하며 normal과 abnormal을 구분하기 위해 association discrepancy라는 개념을 제안합니다. global과 local한 정보를 모두 사용한다는 측면에서 기존 nlp 연구들과 닮아있다고 생각했으나 논문에서 제안한 association discrepancy를 풀어나가는 과정에서 minmax 를 활용한것이 재미있는 포인트라 느꼈습니다.

금일 세미나는 association discrepancy를 활용하여 anomaly detection을 수행하는 anomaly transformer 모델에 대한 소개로 진행되었습니다. 세미나에서 핵심이 되는 키워드는 association discrepancy였으며, 이는 시계열 데이터 내에서의 상관관계를 의미합니다. Anomaly transformer는 이상치는 대부분의 데이터들과는 다른 양상을 보이기 때문에 global association에서 약한 상관성을 가지고, 인접한 영역에 대해서는 강한 prior assocation을 가질 것이라는 가정에서 구성된 모델입니다. Anomaly transformer는 이러한 association을 attention score로서 표현하며, global association은 기존 transformer와 동일한 값을, prior assocation은 주변 시점에 가중치를 준 attention 값으로 표현합니다. 이후 minmax 학습방식을 활용하여 prior association이 temporal information을 내포하면서도 global association이 더 넓은 범위에 attention을 줄 수 있도록 합니다. 데이터 내 이상치에 대해 정의를 내리고, 그에 맞게 모델을 설계한 점이 인상적이었습니다. 특히 assocation discrepancy를 attention score로서 표현한 것도 흥미로웠습니다. 좋은 발표 감사합니다.