이번 세미나는 김혜연 석박통합 과정의 Outlier Exposure과 관련된 발표였습니다. Outlier Exposure는 Anomaly Detection중 하나에 속하며, 보편적인 패턴에서 벗어나는 패턴을 감지하거나 outlier를 찾아내는 Task를 의미합니다. 특히 Outlier Exposure(OE)는 학습시에 Out-of-Distribution(OOD, outlier에 해당하는 데이터의 분포)를 같이 학습 시킴으로써 Detector의 성능을 높이는 방법입니다.
해당 논문의 방법은, 먼저 In-distribution(정상 데이터의 분포)의 데이터를 가지고 학습을 진행한 후 OE에 해당하는 OOD 데이터를 가지고 Fine-tuning 을 하게 됩니다.

수식에 대한 예시를 통해 설명하려는 부분이 이해하는데 도움이 많이 되었습니다. 이번 세미나가 첫 발표였을 텐데, 열심히 준비한 모습이 발표자료에 보여서 좋았습니다. 감사합니다.

Outlier Exposure(OE)에 Confidence control이라는 기법을 적용한 연구에 관한 발표였습니다. OE는 out-of-distribution 데이터를 탐지하는 모델을 구축하는데 효과적인 방법으로, 지난 세미나에서도 소개된 적이 있어 관심을 갖고 있는 분야였습니다. 여기에 confidence control이라는 기법을 적용한 오늘의 발표 연구는, in-distribution 내 각 데이터의 average confidence score가 training accuracy와 유사해지도록 제한을 걸고, out-of-distribution 데이터의 경우 예측 분포가 uniform distribution을 갖도록 하는 방식으로 학습을 진행합니다. 개인적으로 training accuracy를 학습에 이용하는 방식이 매우 신선하고 특이하게 느껴졌는데, 학습 데이터에 대해 overfitting 하지 않도록 유도하는 방식으로 다양하게 사용될 수 있지 않을까 하는 생각이 들었습니다. 현재 진행하고 있는 프로젝트와 관련하여 진행한 세미나라고 알고 있는데, 실적용 시 가치가 큰 분야이니만큼 프로젝트와 개인연구에서 좋은 성과가 있었으면 하는 바람입니다.

Outlier Exposure 라는 개념은 지난번 세미나에서 들은 것과 유사하였고, 처음 들었을 때는 outlier를 탐지하는데 데이터셋을 fine tuning에 사용하는 것이 합리적인가 하는 의구심이 들었습니다. 특히 실험에서도 다른 데이터분포라고 하지만, 이것이 다른 데이터셋을 의미하는것 같은데, 교수님께서 지적하신것 처럼 데이터셋을 어떤것을 쓰냐에따라 모델의 성능의 변화가 심할 것 같습니다. 모델의 학습과정은 상당히 합리적인 목표를 추구하는 것 같았습니다. 예측의 분포를 uni form 하게 하여 학습을 못하게 하는 것은 저자들이 추구하고자 함을 담아 낸거 같습니다. 진행하는 프로젝트에 맞춰 관련분야에 최신논문을 읽고 공부하는 것이 매우 인상적입니다. 좋은 연구로 이어지길 바랍니다.

본 세미나는 ood detection에 관한 발표였습니다. OE는 ood detection을 하기 위해 outlier에 해당하는 데이터가 존재할 경우 이를 어떻게 활용할지에 대한 가이드라인을 제시하고 성능 또한 뛰어남을 입증하였습니다. 본 세미나에서 발표한 논문은 이 해당 OE를 사용하는데 있어 학습시 loss를 조정함으로써 좀 더 robust하고 높은 성능의 ood detection을 하는 방식을 제시하였습니다. 처음 OE 논문을 읽었을 때 out of distribution에 해당하는 sample을 가지고 있다는 가정 자체가 반칙이라고 생각되었는데, 실용적인 관점에서 다시 생각해보면 의미가 있는 연구라는 생각이 들었고 그렇기에 이와 관련한 후속 연구가 계속 나오고 있는 것 같습니다. 프로젝트와 관련하여 ood detection에 관심을 가지게 된 것 같은데 저도 관심있는 분야인만큼 굉장히 반갑고 앞으로의 세미나 발표가 매우 기대됩니다.

OOD detection에 대해서 박경찬 통합과정 이후에 다시 들을 수 있어서 개념을 다시 다질 수 있었습니다. 우리가 흔히 알고있는 anomaly detection 과 비슷한 맥락으로 outlier exposure이라는 연구분야가 존재하는 것 같습니다. 우리는 outlier 혹은 abnormal 데이터를 분포를 가정할 수 있을만큼 현실에서 구하기가 어렵고, 이러한 현실적 제약을 해결하기 위하여 anomaly detection이라는 연구 분야가 존재한다고 생각합니다. OE 연구분야를 보면서 개인적으로 궁금했던 점은 이러한 OOD data를 찾는데 어떻게 out of distribution 데이터를 모델에 사용할 수 있는가 입니다. 기존의 가정에서는 허용할 수 없는 부분을 분야의 가정으로 삼을 수 있는 이유가 궁금했습니다. 이 부분을 제외한다면 발표를 진행한 논문에서 제안했던 confidence score를 통한 OOD 탐색은 매우 흥미롭고 합리적인 방법이라는 생각이 들었습니다. 앞으로 발전을 할 부분이 많은 분야라는 생각이 들었습니다. 연구를 진행해봐도 재밌는 요소가 많을 것 같습니다.

김혜연 석사과정 세미나 발표를 들었습니다. 오늘 발표해주신 논문은 Confidence Control Outlier Exposure를 통해 Out-Of-Distribution(OOD) Detection 문제에 대한 성능을 향상시키는 것과 관련된 논문이었습니다. 지난번 박경찬 석박통합과정이 발표 했던 Deep Anomaly Detection with Outlier Exposure 논문에 이어서 이번 발표까지 들으니 확실히 Anomaly Detection 분야 쪽에서는 현재 Outlier Exposure 를 사용하는 방법 쪽으로 연구가 많이 되고 있고, 어느 정도 성능이 검증된 것 같이 생각이 됐습니다. 또한, 논문에서 제안한 OECC 방법을 사용하는 것이 사용하지 않았을 때 보다 성능이 유의미하게 상승되는 것을 실험 결과를 통해 알게 됐는데 향후 이 분야 쪽으로 프로젝트 등을 진행할 때 한 번 사용해 볼 수 있을 것 같아서 재밌게 발표 들었습니다. 발표 잘 들었습니다. 감사합니다.

Outlier Exposure(OE)를 이용한 이상치탐지에 대한 세미나를 들었습니다. OE는 학습 시 Out-of-Distribution(OOD) 데이터를 함께 학습시키는 방식입니다. 본 논문에서는 confidence control이라는 새로운 방식을 제안했습니다. 이는 in-distribution 데이터의 confidence score가 training accuracy를 따라가도록 유도합니다. 이러한 방식을 본 적이 없어 매우 흥미로웠습니다. OOD에 대한 내용이 최근 많이 등장하고 있어 지난번 관련 세미나부터 이번 세미나까지 많은 최신 내용을 알 수 있었습니다. 감샇바니다.

본 세미나에서는 이상치탐지에 관련된 내용이었습니다. OOD의 정의가 제가 기존에 알고 있던 내용은 source dataset과 target dataset에 차이를 줄이는 domain adaptation과 유사하다고 느껴졌습니다. 관련 논문읜 핵심을 개인적인 생각으로 정리하자면, 모델이 특정 클래스를 예측할때 그 에측에 대한 confidence를 산출할텐데 그 confidence을 class에 대한 entropy라고 하다면 그같이 커지도록 학습시키는 목적을 가지고 있었습니다. 이렇게 될 경우 모델의 penalty를 많이 부여한 경우가 되며 overftting에 대한 문제를 줄이수 있지만 데이터의 학습능력이 떨어진다는 면에서 해당 아이디어는 trade-off의 성질을 가지는 것 같습니다. 결론적으로 데이터 셋에 굉장히 의존적인 실험결과라고 생각합니다. 마지막으로, 관심분야가 아니어도 해당분야에 대한 흐름을 잘 이해할수 있는 세미나였습니다.

이번 세미나에서는 Outlier Exposure(OE)를 통해 Anomaly Detection의 성능을 향상시키고 Robust하게 학습하는 방법론을 제시한 논문을 발표하였습니다. 이 논문의 핵심아이디어는 2 Step Training으로 진행한다는 점입니다. 첫번 째 STEP에서는 in-distribution Sample 에 대해 confidence score를 높일 수 있도록 학습합니다. 두번 째 STEP에서는 Out-of-distribution Sample에 대해 penalty를 부여하여 uniform distribution을 갖도록 학습합니다. 논문에서 제시한 2 Stage로 학습 하는 방법론과 관련 Penalty Function은 Transfer Learning 혹은 Continual Learning에서도 활용 될 수 있는 유용한 아이디어라고 생각했습니다. 발표 감사합니다.

이번 세미나에서는 Anomaly Detection의 Task중 하나인 Out of Distribution Task에 대해 소개하고, 해당 Task의 변형인 Outlier Exposure에 대해서 소개합니다. Anomaly Detection은 보편적인 패턴에서 벗어나는 패턴을 감지하고 Outlier를 탐지하여 정확도 성능을 향상시키는데 도움을 주는 방법이며, Out of Distribution Task는 현재 보유하고 있는 데이터인 In-Distribution 데이터 셋을 이용하여 모델을 학습시킨 뒤, Test 과정에서 In-Distribution은 정확하게 예측하고 Out-of-Distribution을 탐지하는 것을 목표로 하는 작업입니다. Outlier Exposure의 경우 이러한 Out-of-Distribution Task의 성능을 향상시키기 위해 학습 과정에서 Out-of-Distribution 데이터를 함께 노출시켜 성능을 높이고자 한 방법입니다. 해당 논문은 학습 과정에서 Outlier를 노출시켜 Over Fitting을 방지하고자 한 논문입니다.
해당 논문에서는 In-Distribution 데이터를 이용하여 모델을 학습시킨 뒤 Out-of-Distribution 데이터를 이용하여 모델을 Fine Tuning하는 방식으로 모델을 학습시킵니다. 이 과정에서 Cross-Entropy Loss를 수정하는데, 학습한 모델의 Accuracy를 기준으로 In-Distribution 데이터의 경우 기존 모델의 Accuracy에 수렴할 수 있도록, 기존에 모델에 노출되지 않았던 Out-of-Distribution Data가 등장할 경우 Uniform한 확률 값으로 예측할 수 있도록 Error의 값을 조정합니다. 결과적으로 모델은 In-Distribution 데이터는 기존 학습된 Accuracy만큼 분류할 수 있고, Out-of-Distribution 데이터의 경우 OOD로 판정할 수 있도록 학습됩니다. 해당 분야의 동향을 짚어주고 현실에 적용할 수 있도록 변형된 방법을 설명해준 흥미로운 세미나였습니다. 감사합니다.

본 세미나 시간에는 OOD(Out of Distribution) task 와 관련하여 "Deep Anomaly Detection with OE" 라는 논문을 주제로 신입생인 김혜연 석사과정이 진행해주었습니다. OOD task는 이전 박경찬학생 세미나를 통해서 처음 접한 개념으로 기존 데이터 셋에 존재하지 않는 OOD데이터에 대해서 anomaly detection이 얼마나 가능한지를 판단하게 되는데, 이를 위한 학습과정에서 과연 OOD 데이터셋을 활용해두 되는가? 는 앞선 세미나에서 부터 계속되는 질문이였습니다. 특히 outlier exposure은 학습 시에 out-of-distribution 데이터를 같이 노출 시킴으로 성능을 높이고자 하는데, Anomaly Detection의 큰 틀안에서는 일종의 cheeting 으로 해석될 수도 있다고 생각합니다. 물론 이런한 연구가 계속되서 이루어진다면 하나의 field로 인정받을수 있지만, 좀더 지켜봐야할 부분이라고 생각이 됩니다.

금일 발표는 "Outlier Exposure with Confidence Control for OOD Detection"라는 주제로 진행되었습니다. 본 발표는 deep anomaly detection 분야의 방법론 중 하나인 outlier exposure 방법론을 중심으로 진행되었습니다. Outlier exposer는 학습 시에 out-of-distribution 데이터를 같이 노출 시킴으로 성능을 높이고자 하는 방법으로 loss에 Training Accuracy와 average confidence의 차이와 uniform distribution과 softmax layer를 통해 얻은 distribution 차이를 최소화하는 loss term을 추가해 이러한 아이디어를 구현합니다. 최근에 deep anomaly detection 분야에 많은 관심을 가지고 있는데 오늘 세미나를 통해 OOD분야의 최신 논문을 접하게 되어 유익한 시간이었습니다.