SSD: A unified framework for self-supervised outlier detection라는 논문을 소개해주셨습니다. 해당 논문은 다양한 OOD 상황에서 detection을 효과적으로 수행할 수 있는 방법론을 제시하였습니다. 이 때 김동화 박사과정께서 소개해주셨던 SimCLR 방법 기반의 Contrastive learning 방법을 사용했습니다. 이를 위해 동일한 class를 갖는 데이터들을 positive pair로, 다른 class에 속한 데이터들을 negative pair로 이용하였습니다. 이를 통하여 OOD에 적합한 feature representation을 산출하고 OOD score를 계산하도록 하였습니다. 개인적으로 흥미가 많은 분야여서 재미있게 들을 수 있었습니다. 좋은 발표를 진행해주셔서 감사합니다.

이번 세미나에서는 SSL 방식을 적용한 Outlier Detection 입니다. OOD 같은 Task 에서 데이터셋을 잘 구하는것이 저는 첫째로 중요하다고 생각합니다. 그리고, train data 만의 특징을 잘 찾아내는게 중요하다고 생각하는데, 이러한 조건을 해결 하려면 사실 SSL 방식만한게 없다고 생각합니다. 이전에 발표되었던 SimCLR 이 대표적으로 처음부터 생각이 났었는데, 해당 방식을 적용한 논문입니다. 정말 당연하게도, SSL 방식은 자신의 정보를 Representation 하기에 가장 적합한 방식입니다. data 의 수가 부족한 상황에서도 다양한 augment를 통해서 더많은 분포의 데이터를 학습할 수 있기 때문이죠. ood 에서 위와 같은 방식의 접근은 상당히 타당하였으며, 이를 좋은 발표흐름으로 연결해 주었습니다.

해당 세미나 시간에는 발표자가 계속적으로 연구를 수행중인 Out of Distribution (OOD) 를 목적으로 하는 SSD: A Unified Framework For Self-Supervised Outlier Detection 논문을 주제로 다루어 보았습니다. 해당 논문에서는 과거 세미나시간에 소개되어 익숙한 SimCLR 논문에서 제안했던 Self-supervised Learning과 Contrastive Learning을 Outlier Detection을 제안하였습니다. 해당 논문에서는 outlier detection을 위해서 SimCLR의 학습 메커니즘을 통해 수행된 feature 벡터를 토대로 K-means clustering을 수행, 해당 과정에서 각 군집로부터의 거리를 단순 euclidean 거리가 아닌 분산을 고려한 마할로비느 거리를 활용하였습니다. 이는 단순히 Scaling되지 않은 Euclidean 거리를 활용할 경우 높은 고유값이 높은 component에 dominant되는 현상이 발생함, 따라서 그런 bias가 없는 마할로비스 거리를 활용하였다고 논문의 저자는 밝히고 있습니다. 이와 더불어 현실적으로 적은 수의 OOD sample로 해당 sample 평균과 공분산을 추정하는 과정에서 한계가 발생하기에 data augmentation을 수행하였으며, 공분산을 shrunk covariance estimator를 통해 추정하는 대안을 제시하기도 하였습니다. 개인적으로는 계속해서 OOD 관련 연구동향을 팔로우할 수 있는 재미있는 세미나 시간이였으며, 다양한 논문의 연구들이 주제는 달리하지만 그 목적을 위해 유사한 개념을 차용하고 연장해나가는 과정이 인상적인 세미나 주제였다고 생각합니다. 좋은 발표 감사합니다.

이번 세미나는 OOD를 수행하기 위해 사용되는 방법론인 SSD(Self-supervised기반 outlier detection방법론)에 대한 세미나입니다. 해당 방법론은 self-supervised와 contrastive learning을 통해 visual represenatation방법론을 제안했던 SimCLR을 기반으로 outlier detection을 수행하는 방법론입니다. 해당 방법론은 레이블이 있는 상황, 없는 상황 그리고 few shot ood sample을 사용했다는 관점에서 의의를 갖는 방법론입니다. 개인적으로 few shot learning과 OOD를 혼합했다는 점에서 가치가 높고, 이 아이디어는 향후 활용도가 높아보입니다. OOD에 대한 계속적인 세미나 감사드립니다.

OOD Detection은 크게 OOD Label을 보유한 Supervised 방법과 OOD Label을 보유하지 않은 Unsupervised 두 가지 방법으로 나눌 수 있습니다. 일반적으로 Supervised 방법이 더욱 우수한 성능을 보이지만, 실제 상황에서 OOD Label을 보유할 수 있는 상황은 극히 제한적입니다. 따라서 보다 현실에서 사용하기 용이한 Unsupervised OOD Detection에 관한 연구 또한 진행되고 있습니다. 이번 세미나는 Unsupervised OOD Detection에 대해 진행되었습니다.
소개된 논문에서는 Self-Supervised Learning과 Contrastive Learning을 이용하여 Outlier Detection을 수행하는 방법을 제안합니다. 각 Image에 대해 동일한 Class를 갖는 Positive Pair를 생성하고, 다른 Class에 속한 Negative Pair와 각각 Similarity를 계산하여 Positive Pair와는 유사해지도록, Negative Sample과는 유사도가 낮아지도록 학습합니다. 이후 학습된 Feature Representation을 이용하여 K-Means Clustering을 이용하여 군집을 생성하고, Mahalanobis 거리를 지표로 거리가 먼 Representation을 Outlier로 판정합니다.
현실적인 상황을 고려하여 문제를 제기하는 부분이 인상깊은 논문이었습니다. 연구를 위한 연구가 아니라, 필요한 연구를 하기 위해서는 반드시 고민해야 할 부분이라는 생각 역시도 들었습니다. 좋은 발표를 진행해 주시어 감사합니다.

효과적인 OOD Detection은 훈련 데이터 분포로부터 먼 거리의 데이터를 OOD라고 예측하는 것이며, 가장 이상적인 방식은 unlabeled in-distribution data를 사용하는 경우입니다. 하지만 기존에는 unlabeled만 사용하면 성능이 좋지 않기에 supervised learning을 활용했는데 SSD는 Labeled data를 배제하며 Feature Space 내에서 Mahalanobis 거리를 활용한 Self-supervised representation learning을 사용합니다. 이를 위하여 세미나에 자주 등장하는 Contrastive Learning을 활용한 SimCLR 기반의 방법론을 제안하여 유사한 이미지와 그렇지 않은 이미지를 구분합니다. 또한 In distribution 데이터의 label정보를 활용하는 SSD+의 경우 기존 방법들과 비교하여 SOTA의 성능을 나타냈으며, 다른 Extension으로는 OOD Dataset의 각 Class에 대하여 1/5만 사용하는 few-shot OOD detection을 진행하였습니다. OOD Detection 분야의 기본 논문들을 읽어야 소개해주시는 기법들의 Novelty에 대해 더 공감할 수 있을 것 같으며, Self-supervised Learning / Contrastive Learning은 현재 시점에서 OOD Detection을 포함해 사용하지 않는 분야가 없으므로 이에 대한 학습도 추가해야 할 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 out-of-detection (OOD) 이라는 주제로 이상치 탐지를 위해 제안된 “SSD: A unified framework for self-supervised outlier detection”이라는 논문을 소개해주셨습니다. OOD는 크게 In-distribution 상황에서 label이 없는 경우와 있는 경우로 나뉩니다. 하지만 Label 있는 경우에 대해 Hyperparamter를 tuning하는 등 학습하는 방식은 비현실적이라고 볼 수 있습니다. 따라서 이러한 가정이 아닌 Unlabeled 상황에서 In-distribution 에 대한 데이터만을 가지고 OOD를 잘 판단할 수 있는 것이 좋은 모델이라고 할 수 있습니다. SSD에서는 이러한 점을 모두 만족하며 label이 추가될 때 마다 성능이 더 좋아짐을 보였습니다. 본 논문에서 사용한 학습 방식인 Self-Supervised Learning은 최근에 가장 많이 사용되는 Contrastive Learning이며 이를 통해 feature vector를 학습하고 K-mean 클러스터링을 학습합니다. 여기서 사용되는 거리 함수는 Mahalanobis 거리인데 이는 scaling 되지 않은 euclidean 거리를 활용할 경우 높은 고유값이 높은 component에 dominant 되는 현상이 발생하기 때문에 사용합니다. 이번 발표를 통해 Anomaly Detection과 유사하지만 다른 OOD task에 대해 알 수 있었던 좋은 기회였습니다. 좋은 발표 감사합니다.

오늘 세미나는 Self-supervised outlier detection에 대한 내용으로 진행되었습니다. OOD sample이 존재한다는 가정은 실제 상황에서 성립되기 힘들기 때문에 OOD sample을 사용하는 방법론들에 한계가 존재했습니다. 오늘 소개해주신 논문의 Self-supervised outlier detection은 OOD sample이 존재하지 않아도 in distribution sample만으로도 학습 가능하며, 소량의 OOD sample을 사용해 성능을 조금 더 향상하고 있습니다. SSD는 contrastive learning을 통해 feature representation을 학습하고, K-means clustering을 통해 m개의 cluster를 생성합니다. 이때 euclidean distance 대신 mahalanobis distance를 outlier score로 활용하여 높은 eigen value을 가지는 component에 score가 크게 영향을 받는 것을 방지하였습니다. 소량의 labeled data가 존재한다면, 이 데이터는 feature representation 학습에 사용하지는 않고, outlier score 계산에만 사용합니다. 이 데이터가 in distribution data로부터 멀수록, OOD와 가까울수록 outlier score는 증가함을 가정하는데, 이 가정을 통합하여 outlier score를 정의했습니다. 지금까지 OOD 관련 발표를 들으면서 생각하기에는, unlabeled data만 주어졌을 때 좋은 성능을 내는 것이 OOD 방법론들이 궁극적으로 추구하고 있는 방향이라고 생각됩니다. 좋은 발표 감사합니다.

금일 세미나에서 다룬 논문은 SSD: A Unified Framework for self-supervised Outlier Detection입니다. Outlier Detection의 방법론은 크게 두 가지로 구분이 되는데, in-distribution의 Label 정보가 없는 상태를 가정한 경우와 Label 정보를 활용하는 경우가 있습니다. 특히 Out of distribution에 대처하기 위해 in distribution data에 대한 Label을 사용하곤 합니다. 보통 추가적인 ood 데이터를 활용해 ood detection의 성능을 높이는데, ood 가정은 비현실적이고 ood sample 없이 활용 가능한 것이 우수한 방법론이라고 볼 수 있습니다. SSD는 Label이 없는 only in distribution 가정하고 in distribution의 label 정보, OOD sample은 추가적인 정보로 활용하여 모든 case에 대해 성능을 높였습니다. 구체적으로 SimCLR을 기반으로 Outlier detection을 하였고, feature representation을 학습하고 K-means clustering을 통해 군집을 생성한 후 Mahalanobis 거리를 outlier score 계산에 활용하였습니다. 추가적인 OOD dataset 사용에는, 적은 sample수를 보완하기 위해 data augmentation과 shrunk covariance estimator를 사용하였습니다. 그 결과, 다른 unsupervised learning 방법론 대비 성능향상이 있었고, 어려운 task로 좋은 성능을 보였습니다. SSD+는 in distribution data의 Label 정보를 활용하고 MLP로 지도학습을 추가적으로 진행한 것인데, 이 또한 좋은 성능을 보였습니다. OOD에 대해 잘 알지 못했으나 도입부에 큰 개념에 대해 잘 짚어 주시고 논문 흐름을 잘 설명해주셔서 새로운 분야에 대해 자세히 접해볼 수 있는 유익한 시간이었습니다. 좋은 발표 감사합니다. 개인연구도 좋은 결과 있으시길 바랍니다!

오늘 세미나는 SSD: A unified framework for self-supervised outlier detection를 주제로 진행되었습니다. OOD는 재미있는 분야지만 아직까지 왜 필요한지 어떤 경우에 유용한지 정의내리기가 애매한 분야라 생각합니다. 아직까지는 연구의 영역에서 사용되는 방법론이라 여겨지며, 오늘 제안해주신 내용 또한 연구 관점에서는 매우 흥미로운 접근이라 생각합니다.

Self supervised 기반으로 OOD를 수행할 수 있다는것이 가장 큰 이점이라고 생각되며, 역시나 SimCLR 기반으로 접근하였습니다. A와 B가 유사하다는것이 indomain을 대표하는 score라고 보기엔 위험한 부분이 있지만 해당 논문에서는 잘 working하지 않았나 생각했습니다. 그 이유는 CL 덕이라 이해하였습니다. 감사합니다

이전 세미나에서 소개해주신 outlier exposure 방법론은 ood 데이터를 적극적으로 활용했을 때 성능을 높이는 반면, 현실적으로 ood 데이터에 접근하지 않고 좋은 성능을 내는 방향으로의 연구가 진행되는 것이 바람직하다고 생각했습니다. 오늘 소개해주신 논문은 ood 데이터의 존재 유무와 상관없이 적용할 수 있으며 5-shot의 적은 ood 데이터만으로도 적용할 수 있어 현실적인 가정을 잘 반영한 것 같습니다. 최근 많이 연구되고 있는 contrastive learning을 ood 분야에 적용한 것이 주된 기여로 보이고, contrastive learning으로 학습한 feature를 군집화하고 마할라노비스 거리를 구하여 outlier score를 계산하는 간단한 과정으로 이루어졌습니다. 결과적으로 학습된 feature에 K-means clustering을 진행하지 않는 것이 가장 좋은 성능을 보였음에도 언급한 것은 ablation study를 하기 위함도 있었겠지만 후속 연구를 위해 남겨두지 않았나 싶었습니다. 깔끔한 발표 잘 들었습니다. 감사합니다.

이번 세미나는 Self-supervised outlier detection(SSD)에 대해 발표해주셨습니다. SSD에 들어가기 앞서 outlier detection의 방법론에 대해 전반적으로 설명을 해주시고 각 방법론의 대표적인 모델들에 대해 소개해주셨습니다. 또한 발표자께서 연구를 진행하면서 outlier detection에서 어떤 방법론이 가장 우수하다고 생각하는지도 말씀해주셨습니다. 발표자분께서 얼마나 많은 내용을 찾아보고 연구하셨는지 느껴지는 부분이었습니다. 본 논문 내용으로 들어가서 SSD는 이러한 모든 case에 적용 가능한 방법론을 제안하였습니다. 기본적으로 only in distribution에 unlabeled 데이터를 사용하지만 labeled 데이터를 사용하거나 out of distribution을 사용하는 등 하나씩 정보를 추가할 수 있었습니다. SSD는 SimCLR 기반으로 contrastive learning을 통해 feature representation을 학습합니다. 여기에 추가로 K-means clustering을 통해 cluster를 생성하고 mahalanobis distance를 outlier score로 사용합니다. Unlabeled 데이터를 사용하는 경우 transformation된 데이터 1개만을 positive pair로 간주했지만, labeled 데이터를 활용하는 경우 같은 class인 데이터를 positive pair로 간주하는 방법을 사용하고, ood sample이 주어지면 추가적으로 outlier score를 계산하는데 활용하는 방식을 사용하여, 어떤 정보들이 추가적으로 사용되냐에 따라 다르게 적용하는 방법론이 인상적이었습니다. Outlier detection의 전체적인 방법론과 모델들부터 장단점, 그리고 본 논문의 contribution과 그에 대한 설명까지 outlier detection의 전반적인 흐름을 짧은 시간안에 담은 잘 짜여진 발표였던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 OOD에 관련된 내용을 발표해주셨는데, 그중에서도 현실적으로 OOD 데이터를 이용하기 어렵다는 점을 적극 반영하여 only-in-distribution을 가정한 방법론인 SSD에 대해 소개해주셨습니다. SSD는 결국 contrastive learning을 기반으로 유사한 이미지(동일 클래스) 간 거리는 가깝게, 그렇지 않은 경우엔 멀리 임베딩 되도록 학습하며 이후 군집화 방법론을 통해 그룹화된 임베딩 집단들을 생성합니다. 최종적으로 Mahalanobis distance를 기반으로 임베딩 된 벡터들 간 거리를 계산해 OOD를 탐지하는데, 개념적인 부분이 어렵지는 않았으나 noise가 주어지는 상황에서 representation을 어떻게 구축하는 지에 대해 많은 고민이 들어가야 한다고 생각합니다. 좋은 발표 감사합니다.

이번세미나에서는 SimCLR의 self-supervised 방법 기반의 contrastive learning을 통해 outlier detection에 적합한 feature representation을 산출하는방법과 outlier score를 계산하는 방법론을 제안하였습니다. OOD task를 다른 도메인의 데이터를 적용했을때 이게 다른것인지 탐지하는것과 유사한 개념이라고 생각되었습니다. 제안방법론은 contrative learning을 이용하여 임베딩 벡터간의 특징을 더 고도화하여 robust한 OOD task의 성능을 가질 수 있었습니다. OOD task에 대한 개인적인 생각(딜레마)는 다음과 같습니다. in distribution을 잘표현하기 위해서 denoise or augmentation를 너무 과도하게 주게되면 shifted 되는 현상이 발생할수 있을 것 같습니다. 최근 논문 동향을 보게 되면은 이러한 의미가 확 바껴버리는 shifted되는 현상을 줄이는 제약(loss)을 주면서 학습한다는 점에서 이 문제를 잘 극복해야 OOD task가 잘 됬다고 생각할 수 있을 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 Self-Supervised 방법론을 Outlier Detection에 적용한 A Unified Framework For SelfSupervised Outlier Detection 논문에 대해 설명해 주셨습니다. 해당 논문은 기본적으로 Only In distribution 상황을 가정한 방법이며, OOD Samples이 주어졌을 때에도 Outlier Detection 성능을 향상시킬 수 있는 방법을 제시합니다. SSD 논문의 핵심은 Contrastive Learning을 통해 Visual Representation 을 학습하는 SimCRL의 Self-Supervised 방법론을 적용하는 것 입니다. 이를 통해 모델은 이미지상에서 서로 유사한 이미지와 다른 이미지를 구분할 수 있도록 학습합니다. 이후 이 Representation Vector를 활용하여 이미지를 특정 Embedding 공간에 Projection 시키고 K-means Clustering을 통해 M개의 군집을 생성합니다. 마지막으로 Mahalanobis 거리를 outlier score로 활용하면 Outlier Detection을 수행할 수 있습니다. 2018년도 이후로 Self-supervised 방법론이 딥러닝 발전에 큰 역할을 했다고 생각합니다. 초기에는 자연어 분야에서 그 역할이 두드러졌다면, 최근에는 이미지 음성 뿐만 아니라 이상치 탐지에도 적용되고 있는 것 같습니다. 좋은 발표 감사합니다.

발표자께서 지속적으로 연구하신 분야에 대한 본인만의 생각을 정리해주셔서 재밌는 시간이었습니다. 발표자께서 세미나중에 OOD detection에서 out of distribution sample을 사용하는 경우는 이상치 탐지에서 이상치를 사용하는 경우와 유사하게 궁극적으로 지향하는 바가 될 수 없다는 말씀을 하셨는데 개인적으로는 온전히 동의하는 부분입니다. 이에 only in distribution을 가정하고 문제를 풀고 있는 SSD논문을 소개해주셨습니다. 직관적인 아이디어를 사용했다는 생각이 들었으며 contrastive learning이 사용되는 것을 보고 참 범용적으로 사용되는 loss term이구나 라는 생각이 들었으며, 정말 많은 분야에서 사용되고 있고 성능 향상을 보이고 있는 것으로 보아 통상적인 loss term이 표상을 제대로 만들어 내는 능력이 얼마나 없는지에 대해 다시 생각해볼 수 있었습니다.

금일 세미나는 지도/비지도/자가 학습 등의 여러 환경에서 outlier detection을 할 수 있는 방법론을 제안한 SSD 논문에 대한 리뷰로 진행되었습니다. SSD는 SimCLR을 기반으로 outlier detection 방법론을 제시하는데, SSD의 핵심은 self sueprvised와 contrastive learning을 통해 visual representation을 학습하는 부분입니다. Positive pair 간의 유사성은 커지도록, negative pair의 유사성은 작아지는 과정을 통해 feature representation을 학습합니다. 이후 k-means clustering을 통해 m개의 군집을 생성하고 마할라노비스 거리를 abnormal score로서 활용합니다. 최근 contrastive learning 개념을 활용한 연구가 활발히 이루어지는 것 같습니다. 이를 out of distribution detection에 적용하는 방법에 대해 소개해주셔서 많이 배울 수 있었습니다. 유익한 발표 감사합니다.

본 세미나는 SSD라 명명되는, 보다 다양한 조건에서도 Outlier를 detection할 수 있는 방법론에 대해 진행되었습니다. SSD는 기본적으로 in-distribution의 sample을 토대로 모델을 학습한 후, 상대적으로 적은 갯수의 이상치 sample을 통해 성능을 높이는 구조를 갖고 있습니다. 현실적으로 OoD가정을 하는 것은 비현실적이라는 특징이 있습니다. 따라서, 본 모델은 OoD가 아닌 in-distribution만을 가정해, 이를 통해 학습을 진행합니다. 이후, 추가적인 정보로서 OoD sample을 학습해 다양한 task에 대해 문을 열어둔 것과 같은 효과를 얻고자 했습니다. 이를 위해 구체적으론, Contrastive learning을 SimCLR방법론으로 적용했습니다. 더불어, Outlier score를 얻기 위해 k-means clustering을 활용합니다. 각 cluster간 거리를 측정해 이를 outlier score로 활용하는 것 입니다. 이를 통해, 본 모델은 다양한 OoD task에서 좋은 성능을 얻을 수 있었습니다. 아주 적은 OoD sample로도 OoD task 모델을 만들어낼 수 있는 방법론이라는 점에서, 현실적인 가정을 잘 반영한 효용성이 높은 모델이라고 생각합니다. 관련해 더욱 좋은 연구들을 접할 수 있길 기대할 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 "SSD: A unified framework for self-supervised outlier detection"라는 주제로 진행되었습니다. 본 발표에서는 다양한 환경에서 Outlier Detection을 수행할 수 있는 방법론이 소개되었습니다. 본 방법론은 SimCLR의 self-supervised 방법 기반의 contrastive learning을 통해 outlier detection에 적합한 feature representation을 산출 및 outlier score를 계산하는 방법을 통해 좋은 결과를 도출하였습니다. 다양한 분야에서 사용되고 있는 contrastive learning이 OOD 분야에서도 좋은 결과를 도출하는 것을 통해 확실히 이상치 탐지 분야에서도 contrastive learning이 성능 향상에 도움이 될 수 있다는 가능성을 보았습니다. 좋은 발표 감사합니다.

이번 세미나에서 다뤄진 논문은 "SSD: A Unified Framework for self-supervised Outlier Detection"입니다. Outlier Detection은 풀고자 하는 Task에 따라서 여러가지 상황이 존재할 수 있는데, 대표적인 4가지 상황은 이래와 같습니다: (1) In distribution (Label X) (2) In distribution (Label X) + OOD Data (3) In distribution (Label O) (4) In distribution (Label O) + OOD Data

보통 (2), (4)번의 경우는 ood 데이터를 추가적으로 활용하여 ood detection의 성능을 높이는데, 본 논문에선 이러한 ood 가정은 비현실적이고 이를 활용해 하이퍼 파라미터를 tunning하는 방법론들은 반칙이라고 이야기하고 있습니다. 따라서, SSD는 (1)번 상황을 가정으로 하여, in distribution에 대한 label 정보가 주어졌을 때 이를 활용해 Outlier Detection 성능을 높이고자 하였습니다. SSD는 Self-Supervised와 Contrastive Learning을 통해 Visual Representation 방법론을 제안했던 SimCLR을 기반으로 Outlier Detection 방법론을 제안하고, 나온 feature representation을 학습한 후, K-means clustering을 통해 M개의 군집을 생성한 후 Mahalanobis 거리를 outlier score 계산에 활용하였습니다.

Few-shot task로는, 각 class마다 소량의 데이터 수를 보완하기 위해 data augmentation과 shrunk covariance estimator를 사용하였으며, 이는 다른 unsupervised learning 방법론 대비 성능향상과, 어려운 task로 좋은 성능을 보였습니다. 여태까지의 세미나오 OOD연구의 흐름을 도입부에 잘 설명해 주셔서 이해하는데 많은 도움이 됬습니다. 좋은 발표 감사합니다.