금일 세미나는 disentangled representation을 통해 person re-identification을 수행하는 IS-GAN을 소개해주셨습니다. Vision 분야에서 특히 disentanglement representation이 성공적으로 성능 향상을 이루었는데, 생성모델 외에도 다양한 task에 이용되기에 흥미롭게 들을 수 있었습니다. 하지만 각 attribute들을 미리 정해야하기에 task별로 어떤 attribute가 중요한지 미리 선별하는것이 중요할것이라 생각합니다. 저는 해당 논문의 identity shuffling loss가 가장 기억에 남습니다. decoding과정에서 encoder가 최대한 원 데이터의 정보량을 보존하는것은 어떻게보면 필수적인 요소이지만, 최근 개인연구를 통해 복원 과정에서 encoding 정보를 잃는 것을 경험하며 앞으로 해당 loss term을 활용해봐야겠다고 생각했습니다. 또한 해당 loss는 identity related, unrelated를 구분하는 역할도 수행하는데 anchor image와 positive pair 사이에서 related, unrelated를 모두 학습하도록 강제하는 흐름은 nlp에서도 적용해보면 좋은 아이디어라 생각합니다. 좋은 발표 감사합니다.

본 세미나에서는 Person Re-Identification task에서 noise 혹은 다양한 상황에 강건한 Disentangled representation learning을 기반으로한 방법론에 대해서 다루었습니다. Person Re-Identification task는 특정 대상 인물에 대해서 동일한 인물이 시간대에서 서로 다른 카메라에 포착되었는지를 판단하는 과제입니다. 마치 경찰이 시간에 흐름에 맞게 CCTV로 용의자를 추적해 가는 것과 비슷한 것 같습니다. Disentangled representation이란 명칭 그대로, 꼬여있던 representation을 차원의 축에 따라 의미를 갖도록 하는 방법론 입니다. 이를 통해 원하는 attribute를 해당 identity에 적용하여 얼굴 합성이 가능하기도 합니다. 본 논문에서 제안하는 ISGAN은 Encoding, Generator, Discriminator로 구성되어 특정 인물의 사진을 query라고 하면 동일 인물이 포함된 다른 사진들을 positive pairs로 구성해 query와 함께 입력이되어 Identity와 관련된 중요 특징과 좀 덜 중요한 특징을 각각 추출한 후 Generator에 입력되어 이미지가 생성됩니다. 그 후 생성된 이미지가 Discriminator에 입력이 되는데 과정을 거치며 ID, Shuffling, KL Divergence, Domain & Class 총 5가지의 Loss를 구하여 학습이 진행됩니다. 이 중 Part-level Shuffling Loss를 통해 query 이미지와 positive pairs 이미지에서 사람의 동일한 신체 부위를 나타내는 각각의 encoded feature를 랜덤하게 shuffling 해줌으로써 disentanglement에 정규화 성능을 높일 수 있는 점이 인상 깊었습니다. 앞서 언급한대로 경찰 측의 사건 해결에 많은 도움을 줄 수 있는 기술로 발전될 수 있는 가능성이 충분히 높다고 판단이 됩니다. 흥미로운 주제의 세미나였습니다. 재미있게 잘 들었습니다. 감사합니다.

Image retrieval의 한 갈래인 person re-identification에 대해 소개해주셨습니다. 사람은 앞모습, 뒷모습 등 다양한 모습으로 나타나며 그에 따른 여러 형태가 존재하기 때문에 사람을 검색하는 데 중요한 feature를 잘 추출하는 것이 중요합니다. 따라서 본 논문에서는 GAN을 기반으로 disentangled representation을 추출하는 방법을 제안합니다. 먼저 원본 이미지와 positive pair를 각각 인코딩하여 identity related/unrelated feature를 추출합니다. 이후 generator는 target pose를 생성하면서 domain loss와 class loss를 계산합니다. 학습을 위해 총 6개의 loss를 사용하는데 최적화 측면에서 어려움을 겪어 몇 가지 모듈에 대해 사전학습을 진행한 것 같습니다. 여러 개의 복잡한 loss를 갖는 방법론을 최적화하는 테크닉에 대해 최근 관심을 갖고 있는데 특정 모듈에 대해 적절히 사전학습하는 것이 도움이 될 수 있는 것을 알게 되어 좋았습니다. 잘 들었습니다.

GAN 구조에서 disentangled representation을 가지도록 학습하는 ISGAN에 대해서 알아보았습니다. 제안하는 방법론은 encoder + GAN으로 사용하는 loss도 굉장히 많아 파이프라인을 나누어 학습을 진행합니다. 개인적으로 end-to-end가 항상 옳다는 기조에 반감을 가지고 있던터라 학습 방식이 매우 반가웠습니다. GAN에서 네트워크 학습 후에 discriminator를 사용하지 않는 것처럼 제안하는 구조에서도 학습 후에 generator와 discriminator는 사용하지 않고 encoder만 사용하고 있는데 GAN 구조 자체를 대체할 수 있는 보다 간단한 구조를 고민해 보는 것도 재밌을 것 같다는 생각이 들었습니다. 몇년전부터 invertedGAN이 활발하게 사용중인데 함께 사용한다면 여러 의미 있는 representation을 포착할 수 있지 않을까 기대합니다.

이번 세미나는 disentangled representation learning을 기반으로 label이 없어도 person reID에 필요한 identity related/un-related 정보를 추출할 수 있는 구조를 제안한 ISGAN을 주제로 진행되었습니다. 본 논문은 이전 FDGAN에서 학습 과정에 pose label이 필요하다는 점과 다른 variant에 대해 robust하지 않다는 한계점을 들며 이를 해결하고자 하였습니다. 제안하는 방법론은 anchor image와 positive paris를 input으로 받으며, 두 개의 encoder를 통해 identity related feature와 indentity un-related feature를 각각 encoding하도록 학습됩니다. Loss는 ID, Idenetity Shuffilig, Part-level Shuffling, KL-Divergence, Domain&Classification Loss 총 5가지가 사용되었습니다. 해당 task의 특징에 맞는 많은 loss를 사용하여 objective function을 구성했다는 점이 인상 깊었으며, 3-stage training process를 통해 잘 계획된 방법론이다라는 느낌을 받았습니다. 최근 논문들을 읽으면서 하고자 하는 task, 데이터 특징을 잘 반영하고자 하는 접근 방식들이 굉장히 중요하다고 생각하고 있는데 해당 방법론 또한 그에 대한 좋은 예시인 것 같았습니다. 좋은 발표 감사합니다.

금일 세미나는 "Learning Disentangled Representation for Robust Person Re-identification"라는 주제로 진행되었습니다. 본 발표에서는 person re-identification task에서 disentangled representation learning을 통해 중요한 identity related feature를 추출함으로써 task의 성능을 향상시킨 ISGAN 방법론이 소개되었습니다. ISGAN의 핵심은 disentanglement의 특성을 기반으로 task에 중요하지 않은 정보를 제거하고 가장 중요한 identity related feature을 잘 이용하는 것입니다. ISGAN에서는 이를 위해 다양한 loss를 사용하였지만, identity shuffling loss를 사용한 점이 인상 깊었습니다. Anchor 이미지의 Identity un-related feature와 동일한 인물의 다른 이미지의 Identity feature를 기반으로 충분히 성공적인 복원이 가능할 것이라는 가정을 기반으로 서로 다른 이미지로부터 Identity related 및 Identity un-related feature가 추출 가능하도록 한 점이 새로운 시각이라는 생각이 들었습니다. 특히 이러한 접근이 task의 특징을 잘 파악하고 매우 잘 활용했다는 생각이 들어 역시 본질을 파악하는 것이 중요하다고 다시 한 번 느낄 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나에서 다룬 모델은 ISGAN입니다. 본 모델은 person re-identification task를 수행하는 모델로, 다양한 variant 에 robust한 identity feature를 비지도학습 방식으로 추출하는 방법론을 제안합니다. 먼저, 두 개의 encoder를 통해서는 identity related와 unrelated feature를 disentangled 된 형태로 추출합니다. 그리고 generator를 통해 이미지를 생성하고 두 개의 discriminator를 통해 domain 과 class에 대한 loss를 계산하게 됩니다. loss는 크게 5가지로 각 encoder가 disentangled feature를 잘 구분할 수 있도록, 원본 데이터를 잘 복원할 수 있도록, 그리고 현실적인 데이터를 잘 생성할 수 있도록 다양한 loss를 설계하였습니다. 학습은 3단계로 걸쳐 이루어지며 identity related encoder를 먼저 학습하고 freeze한 뒤 나머지 구조를 학습한 후, 전체 구조를 end-to-end로 학습하게 됩니다. 모델 설계부터 training 방법까지, representation을 강건하게 잘 추출하고자 고민을 많이 한 논문이라는 생각이 들었습니다. disentangled representation에 관심이 있는데, 본 논문의 loss 설계 방식이 좋은 참고 자료가 될 것 같습니다. 좋은 발표 감사합니다.

금일 소개해주신 논문은 “Learning Disentangled Representation for Robust Person Re-identification”으로 ISGAN 구조를 통해 Person Re-Identification task에서 Disentangled representation learning을 기반으로 해당 task에 중요한 Identity related feature를 추출하고, 이를 기반으로 noise에 강건한 성능을 달성하였습니다.

최근 김지나 석사과정의 발표를 듣고 마침 disentangled representation에 대한 관심이 있을 때 또 이와 관련된 세미나를 들으니 더욱 좋았던 것 같습니다. 저 역시 발표자님과의 “GAN 기반의 생성 모델링 분야에서 disentangled representation을 학습하는 것은 생성 결과 품질, 결과에 대한 조정 등에서 많은 이점을 갖는다”라는 의견과 동의하는데요. GAN기반 모델 뿐만 아니라 여타 어떤 모델이든 disentangle할 수 있는 representation들을 따로 도출할 수 있다면 좋은 성능을 낼 수 있으리라 생각합니다.

ISGAN은 이러한 disentanglement의 특성을 적극 활용하여, Person Re-Identification task에 대해서 2개의 Encoder 구조를 통하여 Encoder(R)은 최대한 두 이미지가 공유하는 Identity-related 특성을 인코딩 하도록, Encoder(U)는 최대한 두 이미지가 공유하지 않는 Identity-unrelated 특성을 인코딩 하도록 학습합니다. 특히 본 논문에서 제안하는 identity shuffling 방법론이 가장 인상 깊었는데요. 기존 이미지의 identity unrelated feature와 positive pair의 다른 이미지의 identity feature를 통해 이미지를 복원하려한다는 점이 매우 신선하게 와닿았습니다. 좋은 발표 감사합니다.

이번 세미나는 주어진 사진에서 사람을 식별하는 person reidentification task를 위한 생성모델 기반의 ISGAN을 주제로 진행되었습니다. 이미지에서 객체를 인식하는 task에서 나아가 특정 인물이 query로 주어질 때, 해당 인물이 다른 이미지 내에도 등장하는지를 인식하는 task로, 개인적으로 이번 세미나를 통해 처음 접한 주제라 흥미롭게 들었습니다. 최근 생성 모델 관련 연구실 세미나에서 종종 등장했던 disentangled representation이 이번 발표에서도 주요한 개념으로 소개되었는데, 이미지 데이터의 변동성을 모델링하여 entangled(꼬여있는) representation을 disentangled representaion으로 풀어내 이미지 내 인물과 관련한 특징 요소를 추출하는 방법론입니다. 생성 뿐 아니라 데이터의 내재적 정보를 추출한다는 측면에서 많은 이점을 가집니다. 본 논문에서 제안하는 ISGAN 구조는 총 2개의 encoder로 구성되어 각각 인물(query)와 해당 인물의 positive pairs의 representation을 학습하여 같은 인물을 담고 있는 서로 다른 이미지로부터 인물과 관련한 특성, 그리고 관련없는 특성을 disentagled하게 추출해내는 것을 목적으로 합니다. 이러한 Identity related, unrelated 간의 명확한 구분을 이뤄내기 위하여 Shuffling Loss를 추가하였습니다. 이뿐만 아니라 KL Divergence Loss, Domain&Classification Loss까지 다양한 손실함수를 적재적소에 배치하여 최적화를 진행했습니다. task와 모델에 맞는 loss를 고안해내는 것은 깊은 수학적 이해와 더불어 구현 측면에서의 테크닉이 필요하다고 생각하기에 더욱 인상 깊은 연구였습니다. 유익한 발표 진행해주셔서 감사합니다.

본 세미나에서는 Person Identification이 주요 Task이며, 이 때 Disentangled Representation Learning을 활용합니다. 간단히 생각해봤을 때, 학습을 통해 생성하는 Representation은 다양한 정보들이 Entangled되어 있는데 이를 분해하는 Disentanglement를 활용한다면 Task에 더 적합하고 Compact한 표상을 만들어낼 수 있으며, 설명력이 필요한 모델이라면 더 간결한 표상에 대한 설명이 가능합니다. ISGAN은 사람에 대한 Re-Identification에 대하여 disentanglement를 활용하여 기존 이미지와 다른 자세나 구도의 이미지라도 해당하는 사람에 대한 주요 Feature들과 그렇지 않은 것을 나누어 identity related feature를 잘 이용할 수 있는 구조입니다. Attention이 설명력이 될 수 없는 이유 중에서도 layer가 향상할 수록 지나친 (Contextualized) entanglement가 이루어지기 때문인데, disentanglement를 활용한 Attention구조를 통해 설명력 향상을 이룩할 수 있는지 다시 살펴봐야겠습니다. 감사합니다.

이번 세미나에서는 person reID에 대해 효과적인 방법론을 제시한 "Learning Disentangled Representation for Robust Person Re-identification"라는 연구에 대해 소개되었습니다. 이전 방법론들과 달리 pose label 없이도 identity related/unrelated feature를 disentangle하게 학습할 수 있는 구조를 논문에선 제시하고 있습니다. 학습에 사용된 loss term도 매우 다양했는데, 그 중 anchor와 positive sample에서 각각 identity related, unrelated encoding을 추출하여 이미지를 생성하고, anchor의 identity와 positive sample의 pose정보를 보존하는 identity shuffling loss가 기억에 남습니다. 단순히 구조만 분리하는 것이 아니라 shuffling loss나 domain&classification loss 등의 다양한 loss를 통해 disentangled representation을 학습하고 있고, 학습과정도 identity related encoder를 따로 먼저 학습하는 등 여러 실험적인 근거들이 제안 방법의 신뢰성을 높여주고 있다는 생각이 들었습니다. 세미나 초반에 설명해주신 것처럼 disentangled representation은 생성 모델의 해석력과 활용도를 높여줄 수 있기에 관심 주제 중 하나인데, 이번 세미나를 통해 잘 설명해주셔서 많은 도움이 되었습니다. 좋은 발표 감사합니다.

오늘 세미나는 person re-identification을 위한 disentangled representation learning 방법론인 IS-GAN에 대한 내용으로 이루어졌습니다. person re-identification task는 image retrieval의 대표적인 task 중 하나로 query로 특정 인물이 주어지면, 여러 이미지에서 query의 등장 여부를 판단하는 과업입니다. 오늘 소개된 IS-GAN는 이미지 내 variant를 잘 다룸으로써 robust한 retrieval을 목적으로 합니다. pose에 invariant한 feature를 생성할 수 있으나, 학습 과정에서 pose에 대한 label이 필요하고, pose를 제외한 variant에는 robust하지 않은 FDGAN보다 개선된 모델이라고 할 수 있습니다. 제안 방법론은 identity related encoder와 unrelated encoder 두 개를 사용하여 학습하고, 실제 검색 시에는 related encoder를 사용하여 query의 identity에 관련된 이미지를 찾아내도록 합니다. 정보량을 최대한 보존해야 함을 강제해주기 위해 추가된 identity shuffling loss가 S3VAE에서의 mutual information loss와 비슷한 역할을 하는 것 같은데, 이를 통해 disentangle을 위해서 분리한 feature가 서로 다른 정보만을 담을 수 있도록 적절한 loss를 설계하는 것이 굉장히 중요하다 생각했습니다. 좋은 발표 감사합니다.

오늘 세미나에서는 이미지검색 분야에서 Disentangled representation learning 관련된 기법을 소개했습니다. Disentangled 방법론은 예전부터 주목받아오던 방법론인데, 특히나 이미지 검색과 같이 대표적인 특징을 반영하고, 효율적인연산, 설명력 등이 요구되는 task 에서 효율적인 방법론으로 알고있습니다. 발표에서도 나와있듯 해당방법론은 infoGAN 방법론에서 처음 소개되었었고, 오늘 발표되는 IS-GAN 은 후속연구가 됩니다. 처음 Disentangled 되는 특징이 무었일까 궁금했는데, 이는 image 자체에 해당하는 특징이 상당히 많기 때문입니다. 발표 예시에서는 사람의 상의/하의/배경/얼굴 등등이 될텐데, 상당히 아이디어적으로 재밌었던 것은 Query 와 pair 사이의 관련있는 부분을 GAN 을 통해 뽑아내는 방식을 취했다는 점입니다. 이를 설계하기위한 LOSS 구조가 상당히 특이했고, 결과부분에서 진짜 상관성이 있는 feature vector 가 학습되는지에대한 시각적 결과를 보여주며 검증을 합니다. loss 설계의 아이디어가 개인적으로는 처음보는 부분이라 재밌었고, 해당 아이디어의 도출이 어떻게 이루어졌는지 많이 고민해 보는 시간이였습니다. 감사합니다.

금일 세미나는 person re-identification에서 disentangled represenation learning으로 유의미한 feature를 추출할 수 있는 모델인 ISGAN에 대한 소개로 진행되었습니다. 먼저 Person re-identification은 이미지/비디오 내 동일한 사람을 식별해내는 task로서, 특정 시간에 다른 장소에 등장했는지, 동일 카메라에 의해 다른 시간대에 포착되었는지를 확인하는 것을 목적으로 합니다. 촬영된 환경에 따라 같은 사람이 다른 사람으로 식별되기도 하므로 여러 변화에도 강건한 represenation을 생성하는 것이 중요합니다. ISGAN은 강건한 representation을 위해 Disentangled represenation을 활용하며, ID정보만 활용한 unsupervised 방식으로 사람 식별 및 검색에 필요한 임베딩을 학습합니다. 이미지를 입력으로 받아 id를 예측하는 ID loss, identity-related feature와 unrelated feature를 추출하기 위한 identity shuffling loss와 part-level shuffling loss, 생성자가 related feature를 활용하여 이미지 생성도록 규제하기 위한 kl-divergence loss 등을 활용하여 학습이 진행되며, 실제 inference 시에는 identity related encoder만을 사용하게 됩니다. Disentangled represenation에 대한 정성적인 결과를 함께 제시해주어 ISGAN에 대한 성능 및 효과성을 실제로 확인할 수 있어 유익했습니다. 좋은 발표 감사합니다.

이번 세미나는 ISGAN에 대해 소개해주셨습니다. ISGAN은 disentangled representation을 목적으로 설계된 GAN 구조로 person re-identification이라는 task에 적용되는 모델이었습니다. person re-identification이라는 특성상 데이터에 많은 variant가 존재할 수 있어 disentangled representation을 학습하는 것이 task에 큰 도움이 된다는 것이 직관적으로 이해 되었습니다. 또한 본 세미나를 통해서 disentangled representation이 가지는 이점에 대해 보다 상세히 알 수 있었고, 이를 구현하기 위해 설계한 loss에 타당성에 대해 생각해볼 수 있어 좋았습니다. 좋은 발표 감사드립니다.

오늘 소개해주신 내용은 Learning Disentangled Representation for Robust Person Re-identification 논문에 대한 내용입니다. 최근 representation learning 연구에서는 disentangle 한 구조를 갖도록 구성하는 것이라고 생각하는데 본 논문에서 또한 이러한 방향의 연구를 수행하였습니다. 이번 논문에 대한 기여점은 사람에 대한 개별인식을 위해 encoder를 identity related/un-related 두 가지로 나누어 학습하고 domain/class loss 두 가지를 통해 가중치를 업데이트하는 방식을 제안한 점입니다. 이렇게 서로 다른 특징을 학습하도록 구분한 모델 구조를 통해 inference 시 보다 정확하게, 필요한 부분만 가지로 사람을 개별적으로 인식할 수 있도록 하였습니다. 오늘도 좋은 발표 감사합니다.

금일 세미나는 Learning Disentangled Representation for Robust Person Re-identification에 대해 진행되었습니다. 저에게는 생소했던 task인 person re-identification 과제에 대한 연구였습니다. 본 연구는 Disentangled representation learning를 통해 사람 인식에 필요한 다양한 feature들을 더욱 잘 뽑아내는 효과를 가져오는 것 같습니다. 사실 본 연구에 사용된 disentangled representation learning이란 부분은 본 task외에도 다양한 분야에서 꼭 짚고 넘어가야하는 부분 같습니다. 데이터에 존재하는 noise에서 벗어나고, 꼭 필요한 representation들을 다양한 형태로 습득, 학습할 수 있기 때문입니다. 본 연구에서 제시한 ISGAN이라는 모델을 통해서 GAN에서 disentangled learning이 어떻게 적용될 수 있는 지 확인했습니다. 좋은 연구와 발표 들려주셔서 감사합니다.