금일 세미나는 "Representation Learning with Contrastive Predictive Coding"라는 주제로 진행되었습니다. 본 발표에서는 데이터에 있는 shared information을 추출하는 contrastive predictive coding 방법론이 소개되었습니다. 개인적으로 anomaly detection 분야에 관심을 가지면서 자연스럽게 unsupervised learning에서 어떻게 더 좋은 representation이 가능할지에 대해 관심을 가지고 있는데, 금일 발표가 이와 관련된 내용이라 관심을 가지고 발표를 청취하였습니다. 본 발표에서 소개된 방법론은 target class를 직접적으로 추정하지 않고 target 위치의 벡터와 다른 위치의 negative 벡터를 비교하는 방식으로 학습되며, 이 과정에서 두 벡터의 공유 정보를 추출하는 함수가 사용되었습니다. 발표를 청취하며 해당 방법론이 time series anomaly detection에서 과거의 값과 미래의 값을 예측하고 비교하는 과정을 통한 self-supervied learning에 접목될 수 있다는 생각이 들었습니다. Unsupervised learning에서 더 좋은 representation을 가능하게 하는 방법론을 소개해주셔서 추후 개인 연구에 굉장히 도움이 될 것이라는 느껴졌습니다. 좋은 발표 감사합니다.

개인연구를 latent space에 관한 주제로 진행하다 보니 자연스레 흥미가 생긴 발표입니다. 연구를 진행하다보면 latent space를 이해하는 것이 매우 중요하다는 것을 알 수 있으며, 최근에는 예전보다 이러한 국소적인 부분에 집중하는 연구가 늘어나고 있는 것 같습니다. 본 연구에서는 contrastive loss의 아이디어를 반영한 contrastive predictive architecture를 제안합니다. 이는 negative sample과 target sample의 거리를 기반으로 공유정보량을 구하게 되는데 저자들은 좋은 표상을 위해서는 데이터 전반적으로 공유되는 정보가 있어야 한다고 주장하고 있습니다. 이러한 주장은 실험적으로 증명되고 있으며, 개인적으로 놀라웠던 사실은 본 방법을 통해 기존의 self-supervised learning 기법들 보다 좋은 성능을 보이고 있다는 점 입니다.

이번 세미나에서는 요즘 연구 트렌드라고 할수 있는 Contrastive Predictive Coding라는 주제로 발표해 주셨습니다. 해당 방법론은 autoregressive에 대한 목적에 사용되는 임베딩 방법으로 다음 시퀀스를 ground truths로 설정하고 나머지 다른 next step들은 negative example로 설정하여 학습하는 유사도 기반의 학습과정을 내포하고 있습니다. 이러한 방식은 동일한 이미지의 augmentation들은 가깝게 속성이 다른 이미지간의 거리는 멀게 하게하는 요즘 Trend에 기저가 되는 연구인것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 '좋은 표상'을 생성하는 방법에 대하여 소개하는 시간이었으며, 이 때 좋은 표상이란 High-level information을 담고 있음을 말합니다. 즉, 고차원의 신호들 사이의 Shared Information을 인코딩하는 표상을 학습하는 것이며, 이를 미래나 Contextual 정보를 예측하는 Unsupervised Learning 기법으로 진행합니다. 해당 절차는 신호를 1차 latent representation으로 나타낸 뒤, Negative Sampling을 사용하는 Autoregressive 방식으로 Context Latent representation을 추출하는 과정을 거칩니다. CPC를 통해 얻어낸 표상은 Sequence를 통한 예시가 대표적이긴 하지만, Audio, Vision, NLP Task에도 성능 향상을 불러올 수 있으며, 특히 김정희 석사과정의 연구주제인 Audio 분야의 Wav2vec 감성 분석 Task에 적용한 결과 MFCC보다 성능 향상에 도움되었다고 합니다. 자신의 연구 주제를 직접적 모델 성능 향상도 좋지만, 목적에 맞는 Representation을 조사하여 적용하려는 연구자의 모습을 보았습니다. 좋은 발표 감사합니다.

이번 세미나는 Contrastive Predictive coding을 소개하는 논문을 발표하는 세미나였습니다. Contrastive Predictive coding이란 데이터에 있는 shared information을 추출하는 unsupervised learning 방법론으로, target class를 바로 예측하지 않고 target 벡터와 다른 벡터를 비교하는 방식으로 학습됩니다. 또 shared information을 추출할 수 있는 함수와 이를 maximize하는 InfoNCE Loss를 주장하고 있습니다. 해당 논문의 방법을 본인의 연구분야인 audio task에 적용하여 결과를 해석하는 것과 audio, image, NLP이 세가지 분야에 대한 실험을 모두 설명해주어서 흥미로웠습니다. 깔끔하고 쉬운 설명 감사합니다.

이번 세미나에서는 음성 도메인에 관해 Unsupervised Learning을 적용한 논문에 관하여 소개해 주셨습니다. 해당 논문에서는 좋은 Representation Vector를 High-Level Information을 포함한 Vector로 가정하고, 데이터 전반적으로 공유되는 정보를 추출하는 과정을 통해 High-Level Information을 추출할 수 있다고 주장합니다.
이를 위해 기존 방법들이 이전의 정보를 이용하여 Vector를 직접적으로 추론하는 것에 더하여, 미래의 정보를 예측할 수 있도록 학습을 수행합니다. 또한 이 과정에서 Class를 기반으로 Vector를 추출하지 않고, Representation Vector 자체를 잘 추출할 수 있도록 하는 것을 목적으로 합니다.
이를 위해 Mutual Information과 Negative Sampling을 이용한 Loss를 고안하여, 거리에 따른 공유 정보량을 최대화할 수 있도록 Weight Matrix를 학습하는 방식으로 모델을 구성하였습니다.
Class를 기반으로 하는 대다수 모델과는 달리 Vector 자체의 Shared Information을 최대화하는 방식이 매우 흥미로웠던 논문이었습니다. 좋은 발표 감사합니다

이번 세미나는 representation learning with contrastive predictive coding에 대한 내용으로 진행되었습니다. 이 논문은 unsupervised learning을 목표로 하고 있으며, 이를 위해 unlabeled data로 좋은 representation vector를 만들고자 합니다. 좋은 representation vector라 함은, 음석데이터에서의 대화주제 등 high-level information을 의미합니다. high information은 training data에서 전반적으로 종유되는 정보, 즉 shared information으로 high information을 추출하기 위해서는 이 shared information을 추출해야 한다고 말합니다. word2vec, context prediction 등 현재 시점의 정보를 이용해 먼 시점의 정보를 예측하도록 하는 방법론을 사용하여 이를 추출할 수 있습니다. 그런데 direct predictive coding은 target의 class를 직접적으로 예측함으로써 class에 대한 정보만을 담으려 하기 때문에 비효율적이고, 미래의 정보를 예측하는 것으로 shared information을 얻으려고 하는데 이는 shared data를 직접적으로 추출하는 것은 아니기 때문에 한계를 가집니다. 따라서 shared information은 직접적으로 추출하는 contrastive predictive coding이 제안되었습니다. 이는 target 위치의 vector와 다른 위치의 vector를 비교하는 방법으로, 공유 정보를 최대화 하는 loss를 사용해 학습합니다. classification task를 위해 shared information을 담고 있는 representation을 학습하고자 하는 아이디어가 흥미로웠습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 representation learning with contrastive predictive coding을 주제로 진행되었습니다.
High level information을 담은 vector를 좋은 representation vector 라고 가정하며, shared information을 추출하기 위한 방법론으로서 contrastive predictive coding 방법을 소개해주셨습니다. Context vector 와 latent vector 간의 shared information을 추정하는 함수와 이 정보를 최대화 하는 loss function을 제안한 것이 이 논문의 contribution이라고 할 수 있습니다. Mutual information estimation 함수의 경우, mutal information에 비례하도록 설계하였고, loss function으로는 InfoNCE loss를 고안하였습니다. 이 방법을 활용하여 vision, audio, nlp task에서 향상된 결과를 확인할 수 있었습니다. 좋은 representative vector를 생성해내는 것이 근본적으로 매우 중요한 부분임을 다시금 알 수 있었습니다. 좋은 발표 전달해주셔서 감사합니다.

금번 세미나에서는 데이터가 공유하는 정보(shared information)을 얻기 위한 unsupervised 방법론을 소개해주셨습니다. 해당하는 contrastive predictive coding은 representation을 잘 만들어내기 위한 설계 방법론으로써 다른 위치의 정보와 비교하면서 공유 정보량이 최대화 되도록 하는데, 단순히 class로 정보를 부여하는 방법론 등에 비해 각 요소의 latent feature를 반영하여 더욱 효과적인 표상을 구축할 수 있다고 생각합니다. 또한 audio 뿐 아니라 이미지, 텍스트 등 넓은 분야에 적용될 수 있다는 점에서 흥미로웠는데, 개인적으로 연구 분야로 잡고자 하는 image retrieval에서 이미지 간 유사도를 계산하는 데에 필요한 representation을 구축하는 데에 이용될 수 있다고 생각하였습니다. 앞으로 연구에 많은 참고가 될 자료라고 생각하며, 깔끔한 발표 감사합니다.

이미지, 텍스트 도메인에서 pretraining의 효능은 익히 알고 있었지만 음성 도메인에서의 pretraining은 잘 접해보지 못한 와중에 재미있는 세미나를 들었습니다. 먼 시점의 값을 예측하기 위해 word2vec 같은 공유정보를 활용하는 방법보다 비교를 통해 학습하는 contrastive 방법론은 특히 흥미로웠습니다. 이미지 간 유사성을 비교하여 class 뿐 아니라 representation 자체에서 얻을 수 있는 다양한 정보를 활용하는 방법이기 때문입니다. Loss 계산 시 샘플 간 비교를 위해서는 positive sample과 negative sample이 필요한데, 거리 기반의 metric 외에 효과적으로 이들의 representation을 학습할 수 있는 방법에 대해서 고민할 수 있었습니다. 앞으로도 contextual representation 관련하여 많은 이야기 나누었으면 좋겠습니다. 감사합니다.

금일 세미나는 representation learning with contrastive predictive coding에 대한 내용으로 진행되었습니다. 이 논문은 unlabeled data로 좋은 representation vector를 만듦으로서 unsupervised learning을 목표로 합니다. Unsupervised learning은 기존 target task의 한정된 labeled data때문에 문제가 되는 supervised 방법론의 문제를 해결하고, label이 없더라도 패턴을 파악하여 target task의 성능을 향상시키는 것을 목적으로 하고 있습니다.

해당 논문에서 주장하는 좋은 representation vector란 high-level information을 의미합니다. High-level information이란, 이름 그대로 높은 레벨의 정보, 즉 마지막 단에 우리 사람이 보고 듣는 단계의 정보입니다. 예를 들면, 그림의 경우 객체의 정보가 되겠고, 음성의 경우 대화 주제, 감성 등이 되게 됩니다. 이러한 high-level information은 데이터 안에서 매우 느리게 변하고, 데이터 전반적으로 공유되는 정보(shared information)이라는 특징을 가지고 있습니다. 즉, high-level information를 추출한다는 의미는 바로 이러한 공유정보를 추출한다는 의미와 일맥상통하게 됩니다.

기존 unsupervised learning인 word2vec, context prediction 등은 현재 시점의 정보를 이용해 먼 시점의 정보를 예측하도록 모델을 학습시킵니다.(Direct Predictive Coding) 이러한 DPC가 가능했던 이유는 현재에서 먼 시점일수록 연관성이 사라지기 때문에 모델이 공유정보에 집중을 하여 학습되기 때문입니다. 하지만 DPC은 target의 class를 직접적으로 예측함으로써 class에 대한 정보만을 담으려 하기 때문에 비효율적이고, 미래의 정보를 예측하는 것으로 shared information을 얻으려고 하는데 이는 shared data를 직접적으로 추출하는 것은 아니라는 한계점을 가집니다.

이러한 한계점을 극복하기 위하여 제안된 방법이 바로 Contrastive Predictive Coding입니다. CPC는 target 위치의 벡터와 다른 위치의 벡터를 비교하는 contractive 방법을 적용하고, shared information을 추정하는 함수를 만들고 이를 최대화하는 loss를 적용합니다. Mutual information estimation 함수의 경우, 정보이론의 상호의존정보량의 개념을 이용하여 이에 비례하도록 설계하였고, loss function으로는 InfoNCE loss를 고안하였습니다. 이러한 방법을 활용하여 vision, audio, nlp에서 향상된 결과를 experiment에서 확인할 수 있었습니다. 좋은 발표해주셔서 감사합니다.

이번 발표에서는 최근에 많은 이슈 및 accept 되는 논문들에서도 자주 볼수있는 키워드인 contrastive learning (predictive coding) 관련 주제 였습니다. self-supervised 가 사실상 최근 딥러닝에서 가장 핫 하고, 주목을 많이 받는 주제라고 생각하는데, 이와 관련되서 unsupervised 방법론 중 또다르게 주목 받는 기법이라 기대가 많이 되었습니다. 미래정보를 예측함으로써 shared information 에 집중하도록 하는 방식으로, 다양한 논문에 적용하여 실효성을 증명했는 논문이였습니다. 흥미로웠던 것은 기존 sequential 정보가 있는 text, speech 같은 분야 외에 이미지 에서도 pixel 단위로 예측을 하는 방식으로 실험을 진행해도 우수한 성능이 나는 것을 보고, 해당 방법론에 대한 가능성이 매우 큰 것을 느꼈습니다

본 세미나에서는 데이터의 shared information 추출하는 방식인 contrastive predictive coding이라는 방법에 대하여 설명해주셨습니다. 본 방식의 목적은 비지도학습 방식으로 좋은 representation을 학습하는 것입니다. contrastive predictive coding은 다른 위치의 정보와 비교함으로써 representation을 학습합니다. 구체적으로는 현재 시점의 정보가 다른 시점의 정보와의 공유 정보량(mutual information)이 최대가 되도록 학습이 됩니다. 이를 통해 단순히 class 정보를 이용하는 direct predictive coding보다 효율적으로 학습이 될 수 있다고 이야기합니다. 평소에 잘 공부하지 않았던 음성 도메인에 대한 지식을 얻을 수 있어 매우 유익한 세미나였습니다.

오늘 세미나는 representation Learning with Contrastive Predictive Coding을 주제로 진행되었습니다. 더 좋은 representation을 생성해내는것은 unsupervised learning에서 가장 중요한데, 세미나를 통해 재미있게 접할 수 있어 좋았습니다. direct predictive coding이라는 단어로 기존에 사용해왔던 방법론들을 정의할 수 있는것도, constrastive predictive coding으로 비교학습을 진행하는 방법론이 존재하는것도 알 수 있어 좋았습니다. 먼저 다음과 같은 방법론을 위해서는 여러개의 클래스가 있는 상황을 가정해야하기때문에 directly 하게 normal class만 가지고 학습을 진행해야하는 one class anomaly detection에 적용하기는 어렵겠지만, OOD나 다른 도메인에서 이 아이디어를 충분히 적용할 수 있을것이라는 생각을 하게되었습니다. 감사합니다.

해당 세미나에서 화두를 던진 좋은 representation vector에 대한 정의가 무엇인가 다시한번 생각해보는 세미나 시간이였습니다. 특히 최근 Unsupervised 혹은 semi-supervised 학습에 많은 관심을 받으면서 좋은 representation 추출하는 것은 매우 중요하다고 생각됩니다. 해당 논문에서는 Contrastive Predictive Architecture를 통해 입력데이터를 Latent vector로 바꾸고 이를 통해 Context Vector로 변환하는 과정을 가지게 됩니다. 이는 실제로 Target의 위치의 벡터와 다른 위치의 벡터를 비교하는 Contractive 방법을 활용하여 공유정보를 추정하고 이를 최대화하는 방식으로 학습을 도모하였습니다. 여기서 언급되는 공유정보라는 개념이 다소 생소 할 수 있었지만, 발표자가 좋은 시각자료를 통해서 친절하게 설명해주어 좋았습니다. 좋은 세미나 발표에 다시 한번 감사의 인사 전합니다.