금일 세미나에선 Image Retrieval에 대한 내용을 다루었으며, 기본적인 절차는 Query Image에 대한 Representation을 계산한 뒤, DB 내에 존재하는 다른 데이터들과의 유사도를 구하여 높은 Rank의 데이터를 Retrieve하는 것입니다. 절차를 만족하기 위해 Representation, 또는 Feature를 추출해야 하기에 MAC, R-MAC과 같은 방법이 사용되며, 이는 이미지를 Pretrained CNN을 통과시켜 Feature Map을 생성한 뒤 Max Pooling을 통과시켜 진행합니다. 하지만 Pretrained CNN은 분류 Task에 특화되었기에, 해당 CNN으로 추출한 Feature는 Inter-Class 구분은 잘하지만, Intra-Class의 Variability는 담기가 힘들어 Retrieval Task에서는 성능이 비교적 저조한 성적을 보입니다. 따라서, R-MAC Feature를 추출하며 Triplet Network를 사용하여 Retrieval에 맞는 모델을 구축하려는 것이 세미나 본 논문의 의의 였으며, 이는 Anchor와 Positive와의 거리는 최소, Negative와의 거리는 최대가 되도록 목적을 설정합니다. Image Retrieval의 개괄, 모델, 그리고 현재 Off-the-shelf보다 CNN Finetuning이 더 강세를 보이는 분야의 특징까지 잘 정리해주신 좋은 발표였습니다. 감사합니다.

이번 세미나에서는 image retrieval를 목적으로 MAC, triple loss기법에 대해서 소개해 주셨습니다. MAC 방법은 feature map에 각 채널별로 가장 큰값을 가져와 vector 형태로 변환해 줍니다. 해당 방법론은 이미지 검색의 기본이 되는 것 같습니다. R-MAC의 방법도 설명해주셨는데 MAC의 방법을 local (국소적) 범위를 잘 잡히도록 정보손실을 줄이는 것 같습니다. 거리를 측정할때 L2-normalization, whitening PCA는 변수별 scale이 다를 수 있기 때문에 필수적으로 수행되어야 합니다. 이러한 descriptor를 만드는 방법 object에 대한 feature map으로 세분화해서 정의하게 되면 많은 활용이 이루어지는 것 같습니다. 전처리 관련된 내용은 이미지를 다양한 scale의 형태로 변환한후 gaussain blur를 적용하게 됩니다. 그 다음으로 scale이 서로 다른 변환된 map의 차이를 edge로 간주하여 hog(histogram of gradient)의 방법을 사용한 keypoint형태로 전처리하게 됩니다. 이 keypoint의 blob을 잘 포함하도록 init boudning box를 생성하게 됩니다. 해당 init boudning box를 보다 정밀하게 만들기 위해서 affine transformation을 사용한 RPN을 사용하였고, 최종적으로 MAC방식을 제안하였습니다. 좋은 발표 감사합니다.

오늘 세미나 발표 논문은 Deep Image Retrieval: End-to-end learning of deep visual representations for image retrieval입니다. Image Retrieval은 추출된 query의 descriptor와 database의 descriptor 간 유사도로부터 rank를 계산하여 관련된 이미지를 반환해줍니다. 이미지 representation 추출방법으로 MAC과 R-MAC에 대한 방법이 설명이 되었는데, MAC과 R-MAC과 달리 본 논문에서는 retrieval specific 하며 이미지에서 중요한 특징점만을 잘 추출할 수 있는 기법을 도입한 모델을 제시하였습니다. 먼저 triplet mining을 사용하여 negative example의 수준을 구분하고, 거리가 가까운 negative sample을 학습에 이용하였고, rigid grid로 학습된 모델을 freeze하여 RPN을 적용하는 방식으로 Bbox를 학습하였습니다. 또한, 본 논문에서는 clean 데이터의 중요성을 말하며 SIFT 방식을 활용해 회전 불변한 이미지, 특징점이 유사한 이미지들만 학습에 활용을 하였고, 특히 특징점을 기반으로 Bbox를 affine matrix를 활용한 iteration을 사용하였다는 점이 인상깊었습니다. 이 모델에는 다양한 기존의 여러 기법들이 적재적소에 잘 활용된 것 같은데, 이런 각 기법들을 발표자분께서 이해가 잘 가도록 하나씩 쉽게 설명해주셔서 더욱 재미있게 들을 수 있었습니다. 발표 잘 들었습니다.

금일 세미나는 이미지 검색에 관한 발표였습니다. image retrieval 관련된 내용은 기존에 다양한 방식으로 접근이 많았습니다. 저 또한 해당 분야에 개인연구를 진행하면서, 샘플링 방식으로 무언가를 해내가는것에는 한계가 있다고 생각하고 있었는데, 본 발표에서 다양한 이슈를 접할 수 있어서 좋았습니다. 발표에서는 siamse net 과 유사한 triplet network 를 사용하여 모델을 학습시킵니다. 이는 이전에도 다른 세미나에서 언급되는 CL 과 비슷하게 Pair 구성이 상당히 중요한데, object detection 을 통해서 이런 네거티비를 학습하는 방법을 개선한 것 같습니다.

오늘 세미나는 image retrieval을 위한 MAC, R-MAC 모델을 개선한 Deep image reitreval 논문에 대한 내용으로 진행되었습니다. pre-trained CNN을 사용하는데, 이때 retrieval에 specific하게 pre-training하는 것이 성능에 중요한 영향을 미치고, 기존 R-MAC의 rigid grid 방식은 중요하지 않은 부분도 포함시키게 됩니다. 따라서 이 논문에서 제안하는 모델은 triplet을 network를 사용해 retrieval specific하게 학습하고, rgid grid 방식 대신 faster RCNN의 region proposal network를 사용해 중요한 부분에 집중할 수 있게 하는 방법으로 성능을 개선시키고자 했습니다. 또한 기존에 따로 PCA를 수행하던 부분을 dense layer로 완전히 대체해 end-to-end학습이 가능하게 만들었습니다. 처음 접해보는 분야였는데 상세히 설명해주셔서 이해에 많은 도움되었습니다. 좋은 발표 감사합니다.

오늘 세미나에서는 Image retrieval과 관련된 논문 두개를 소개해 주셨습니다. 첫번째 논문인 Particular object retrieval with integral max-pooling of CNN activations는 image retrieval을 수행하는 데 있어서 필요한 image representation을 뽑기 위한 R-MAC 방식을 제안하였습니다. 두번째 논문 Deep Image Retrieval: End-to-end learning of deep visual representations for image retrieval은 classification task를 위해 pertained 된 CNN을 retrieval task에 적용하는 것의 문제점을 지적하면서, triplet loss를 활용한 retrieval에 특화된 임베딩 학습을 제안하였습니다. 즉 classification task에 학습이 된 CNN은 이미지의 임베딩 자체를 클래스 간에 민감하도록 학습하나, instance-level의 retrieval은 클래스 내부적으로도 instance 간 거리를 멀게 하는 학습이 필요하다는 것입니다. 추가적으로 faster RCNN에 사용되는 RPN 구조를 도입함으로써, retrieval에 중요한 지역 위주로 representation을 추출하고 최종적으로 instance 간 variant에 민감하도록 하는 파이프라인을 제시하였습니다. 시각적으로 뛰어난 발표자료여서 이해가 한층 쉬웠습니다. 감사합니다.

주어진 Query Image에 대해 Database 상에서 Target Image를 검색하는 Task를 Image Retrieval이라고 합니다. 오늘 세미나에서는 Image Retrieval Task와, 이를 수행하는 모델에 대해서 소개해 주셨습니다. 해당 Task를 수행하는 간단한 방법은 이미지에 대한 Representation Vector를 생성하여 유사도를 계산한 뒤, 유사도가 높은 대상을 반환하는 방법입니다. 이 경우에 Task를 수행할 수 있는 능력은 Representation Vector를 어떻게 만드는지에 따라 달라집니다. 소개해 주신 R-MAC의 경우 Feature Map의 전체 영역이 아닌, 관심 영역을 설정한 뒤 해당 지역에 대한 Max Pooling을 수행하는 방식을 통해 Representation을 형성합니다. 두 번째로 소개해 주신 Triplet Network의 경우 각 Class의 Data에 대해 생성한 Representation Vector를 대상으로, Triplet Loss를 적용하여 Image Retrieval을 수행합니다.
Vision 분야에는 아직까지 익숙하지 않아 세미나를 통해 많은 것을 배우고 있습니다. 저의 기준에서는 새로운 Task인 Image Retrieval과 이를 수행하는 모델에 대해 학습할 수 있었던 가치 있는 시간이었습니다. 좋은 발표 감사합니다.

개인적 Image Retrieval관련하여 2가지 논문을 다뤄본 금일 세미나는 많은 양의 slide와 내용임에도 불구하고 지루하지 않고 집중력있는 발표였습니다. 처음의 논문인 Particular object retrieval with integral max-pooling of CNN activations는 IR을 위한 image representation을 추출하는 과정에서 기존 MAC(Maximum Activations of Convolutions)에서 이미지의 중요 부분에 초점을 맞추어 서로 다른 크기의 그리드 형식으로 개선된 Rigid Grid를 활용한 R-MAC을 통해 성능개선을 도모하였습니다. 두번째 논문 Deep Image Retrieval: End-to-end learning of deep visual representations for image retrieval은 최근 다양한 분야에서 활용되고 있는 triplet loss를 활용하여 이전 R-MAC에서 한계점으로 지적되는 이미지의 노이즈를 represenation에 활용하게 되는 문제를 triplet networok를 통해서 개선하고자 하였습니다. 적절한 그림예시를 통해서 진행된 친절한 발표로 인해서 본 세미나의 내용을 이해하는데 있어서 큰 도움이 되었습니다. 많은 컨텐츠를 준비한 발표자에게 감사의 인사 전합니다.

분야와 데이터를 막론하고 Retrieval 연구는 항상 흥미로운 것 같습니다. 저는 자연어 retrieval 연구를 중점적으로 봤었기 때문에 이미지 retrieval 문제를 풀어나가는 플로우 자체가 재미있게 느껴졌습니다. 두가지 논문을 엮어서 설명해주셔서 그런지 발전 양상을 보다 더 정확히 알 수 있었고, triplet network를 이용하여 finetuning 하는 과정을 통해 retrieval task를 수행한 후 RPN을 진행하였습니다. triplet network는 정말 다양한 분야에서 적용되고 있는데, 개인 연구에서도 이 부분을 적극적으로 활용해 볼 수 있지 않을까 고민할 수 있는 시간이었습니다. 감사합니다

Image retrieval과 관련하여 MAC/R-MAC, triple loss에 대해 소개해 주셨습니다. Image retrieval의 경우 query와 database내 이미지로부터 feature를 추출하여 두 이미지간의 유사도를 계산하게 됩니다. 기존 MAC의 경우 전체 이미지를 통해 representation을 추출을 하여 지역적인 특성이 손실될 수 있다는 한계점이 있었고 이를 해결하고자 R-MAC의 경우는 Rigid Grid를 활용하였습니다. 두 번째 논문에서는 기존의 pre-trained된 cnn을 활용하는 것이 instance-level retrieval에 있어서는 성능 향상에 제한이 되며 R-MAC의 경우 국소의 영역에 대한 representation 또한 포함되어 오히려 노이즈가 생기는 한계점을 제시하고 있습니다. 이를 해결하기위해 Triplet Network을 활용하여 retrieval specific하게 학습하고, Faster RCNN의 RPN을 차용하여 중요한 부분을 위주로 representation을 만들도록 하였습니다. 제가 처음 접해보는 분야였음에도 불구하고 여러 분야에서 사용되고 있는 기법들이 잘 융합되어 활용되는 것을 보니 어딘가 익숙한 기분이 들었습니다. 굉장히 여러 기법들을 다루는 발표였음에도 이해가 잘 갔던 발표였던 것 같습니다. 감사합니다.

본 세미나에선 Image retrieval 에 대한 내용을 다루었습니다. 본 논문에선 개별 instance-level의 image retrieval에서 기존 접근방법들의 한계점을 지적하고, 이를 개선했습니다. 첫째로, pre-trained CNN을 활용해 image내 featrue들을 추출하는 것이 아닌, R-MAC을 활용해 image의 featrue를 추출합니다. R-MAC기법은 image instance 단위의 특정 local representation을 학습할 수 있어, 보다 instance 단위의 local representation을 잘 학습해 retrieval에서 더 효과적임을 논문에서 확인할 수 있었습니다. 둘째로, 이렇게 추출한 feature들을 triplet network로 학습시켰습니다. 이처럼 retrieval에 맞는 R-MAC feature들에 맞게 fine-tuning함으로써, image-retrieval의 성능을 높일 수 있었습니다. 본 논문에선, 그동안의 관습적인 방식에 의문을 제기하고, 이를 뒤엎어 다른 방식으로 실제 작동하도록 했습니다. 왜 pre-trained model이 특정 task에서 작동하는 지, 그 원인을 정확히 짚고, 이에 대한 대한을 철저히 설계했습니다. 이를 통해, 다양한 방법론들을 익히고, 조금 도전적이더라도 문제 해결에 다양한 관점에서 적용해보는 것이 역시 중요하다는 점을 생각하게 되었습니다. 좋은 발표 감사드립니다.

같은 맥락으로 발전하고 있는 연구들을 순차적으로 설명하여 해당 분야의 흐름을 이해하기가 쉬웠습니다. 또한 전반적으로 내용을 직관적인 그림으로 잘 표현해주어서 발표를 따라가는데 매우 편했습니다. 이미지 추천의 기본이 되는 모델인 MAC을 설명하는 것으로 시작한 이번 세미나는 R-MAC을 거쳐 triplet loss를 사용하는 모델까지 설명을 하고 있습니다. 가장 처음으로 등장한 MAC은 global max pooling을 사용하여 image representation을 얻는데 이 방법은 local 영역에 대한 정보를 잃게 됩니다. 이를 해소하기 위해 R-MAC에서는 한 feature map에서 여러 곳의 region을 고려하고 있습니다. 실질적인 성능도 MAC에 비해 R-MAC이 우수함을 확인할 수 있었습니다. 다만 한 가지 의문스러웠던 점은 여러 region에 대한 representation을 aggregation하기위해 L2 norm과 whitening을 사용한 것 입니다. 이후 단순히 sum을 하기 위함으로 생각이 되는데 보다 직관적인 방법이 있지 않을까 라는 생각이 들었습니다. R-MAC이 MAC에 비해 좋은 성능을 보였지만 ImageNet pretrained-model을 사용하고 있기 때문에 intra-class에 대한 구분은 하기가 어려운 문제가 있습니다. 이를 추후 연구에서 triplet loss를 사용함으로써 해소하고 있습니다. 지속적으로 해당 분야에 대해서 세미나가 진행이 되어 최근 방법론까지 팔로우업 할 수 있으면 좋을 것 같습니다!

오늘 발표는 Image Retrieval에 대한 주제로 “Deep Image Retrieval: Learning global representations for image search”라는 논문을 소개해 주셨습니다. Image Retrieval에 대한 주제는 알고있었지만 실질적으로 연구 방향과 접근 방법에 대해 알지 못했는데 이번 발표를 통해 연구 흐름을 알 수 있었던 좋은 시간이었습니다. Image Retrieval에 대한 두 가지 큰 흐름인 “Off-the-shelf”와 “Fine-Tuning”에 대해 알 수 있었습니다. 이해한 내용으로는 이미지에서 특징 vector를 추출해서 유사도를 기반으로 Database에서 유사한 이미지를 찾아주는 게 기본적인 Image Retrieval 구조였습니다. 이후 흐름으로는 단지 하나의 이미지 전체에서 feature vector를 추출하는 것이 아니라 관심있는 부분에 대해 Rigit grid 방식을 통해 여러 feature vector를 추출하고 PCA와 whitening 과정을 거쳐 하나의 vector로 하는 방법이 있었지만 배경이나 관심없는 부분에 대한 noise가 발생하고 해당 방법에 사용되는 ImageNet의 pretrained model을 사용할때 inter-class 간 구분은 잘하지만 intra-class에서는 구분이 잘 안되어 있기 때문에 여기서 발생하는 문제가 현 방법에 대한 한계점이라고 지적합니다. 따라서 이후 triplet 방식을 통해 anchor로 부터 가까운 negative에 대해 학습 하는 방법으로 한계점을 개선하는 방법을 제안합니다. 전체적인 흐름을 들었을 때 Image Retrieval 분야를 연구하기 위해서는 다양한 Computer Vision 분야 연구에 대한 지식이 있어야함을 느꼈습니다. 고전적인 SIFT 방법을 통한 Bbox 생성과 Object Detection에서 큰 역할을 하는 RPN, 그리고 Metric Learning까지 다양한 내용이 함께 필요함을 느꼈습니다. Connecting the dot이라는 말이 체감되는 발표였다고 생각합니다. 좋은 발표 감사합니다. 앞으로도 기대하겠습니다!

이번 발표는 Image retrieval과 관련한 세미나였습니다. 해당 연구 분야는 실용성이 굉장히 높은 것이 장점이라고 생각합니다. 이 분야에 있어서 획기적인 발전을 이루었을 때 어떤 서비스가 제공될지가 가장 기대됩니다. 이번 세미나에서는 이 분야에 있어서의 발전 흐름을 짚어주었습니다. 결국엔 object detection과 마찬가지로 이미지안에 크고 작은 다양한 영역에 분포된 정보들을 어떻게 잘 인식할지에 대한 것이 가장 중요한 요소라고 생각이 되었습니다. 흥미로운 연구 주제인 만큼 앞으로 해당 분야와 관련된 발전 과정을 쭉 지켜볼 수 있으면 좋겠다는 생각을 하였습니다. 좋은 발표 감사드립니다.

이미지를 쿼리로 설정하고 유사한 이미지 등을 '검색'하는 image retrieval task는 이미지를 어떻게 벡터화하고, 각 벡터가 이미지를 얼마나 대표할 수 있는지를 설계하는 것이 중요한 것 같습니다. 배경 지식으로 설명해 주신 MAC이나 RMAC은 pretrained model을 통과한 feature map을 기반으로 각 이미지에 대한 representation을 생성하는데, RMAC의 경우 기존의 MAC 방식보다 이미지 내 특정 관심 영역을 구체화하여 representation을 생성한다는 특징이 있습니다. 그 밖에도 labeled representation 간 비교를 하여 유사한 벡터 간 거리를 좁히는 triplet network 기반의 학습 방법론도 소개해 주셨습니다. 이미지의 중요한 부분을 추출하는 (Faster RCNN의 RPN 등의) 개념에 대해서는 제 개인연구와도 연관이 있어 재미있게 들었습니다. 발표 감사합니다.

금일 세미나는 triplet network와 region proposal network를 이용한 image retrieval 방법론에 대한 소개로 진행되었습니다. 기존의 MAC 방식은 pretrained CNN을 거쳐서 나온 feature map에 max pooling을 적용한 것을 해당 이미지의 representation으로 활용합니다. 도출된 이미지 벡터 간의 유사도 계산을 통해서 ranking/retrieval을 수행하였는데, 이러한 방식은 지역적 정보가 손실된다는 한계점을 갖고 있습니다. 이를 위해 제안한 모델이 R-MAC입니다. R-MAC은 전체 영역이 아닌, 관심 영역에 대한 max pooling을 적용하는 방식입니다. 하나의 이미지 내에서 각 region으로부터 도출된 벡터들을 sum aggregation하여 최종 feature vector를 얻습니다. MAC과 R-MAC에서 나아가 RPN으로 이미지 내 관심영역을 찾아서 R-MAC을 적용하고, triplet network로 retrieval 을 수행하는 모델이 제안되었습니다. Retrieval 분야를 처음 접해보는데, 관련 모델들의 방법과 한계점을 명확하게 짚어주시면서 제안 모델을 소개해주셔서 발표흐름을 따라가기 좋았습니다. 유익한 발표 감사합니다.

이번 세미나에서 Deep Image Retrieval: Learning global representations for image search라는 논문을 소개해 주셨습니다. Image Retrieval에 대하여 어렴풋하게나마 알고는 있었지만 실질적으로 연구 방향과 접근 방법에 대해 알지 못했는데 이번 발표를 통해 연구 흐름을 알 수 있었던 좋은 시간이었습니다.

본 논문은 Triplet network와 RPN(Region Proposal Network)을 이용하여 image retrieval 성능을 개선하는 방법론인데, 이를 이해하기에 앞서 MAC과 R-MAC의 개념을 알아야합니다. MAC은 모두 이미지 representation vector를 추출하기 위한 방법론으로 pretrained CNN에 태워 최종 레이어를 거친 feature map 생성한 뒤 global max pooling을 수행하여 이를 represenation으로 사용합니다. 하지만, 이러한 방식은 max pooling을 이용하므로 translation invariant하다는 특성을 가지나, 전체 field에 대한 max activation만을 이용하므로 지역적인 특성이 손실될 수 있다는 한계점을 지닙니다. 이를 극복하기 위해 나온 것이 R-MAC으로 feature map의 전체 지역이 아닌, 관심 영역(R)을 설정하여 해당 지역에 대한 max pooling 수행을 합니다. 이때 스케일(l)을 이용해 서로 다른 크기의 grid를 feature map에 생성, 각 feature vector에 대해 normalization과 whitening을 수행 후 합쳐 하나의 feature vector(R-MAC Descriptor)로 만들어 줍니다.

발표자가 소개하는 논문은 이러한 R-MAC이 inter-class 간 구분은 잘하지만 intra-class에서는 구분이 잘 안되며, 최소한 하나의 중요 지역을 representation으로 포함시키려고 수행한 rigid grid 방식이 노이즈들 마져 포함한다는 한계점이 존재한다고 지적합니다. 따라서, 이후 triplet network를 통해 anchor로 부터 가까운 negative에 대해 학습 하는 방법으로 한계점을 개선하는 방법을 제안하여 첫번째 한계점을 극복하고자 했고, Faster RCNN의 RPN(Region Proposal Network)을 차용하여 중요한 부분 위주로 R-MAC을 수행함으로써 두번째 한계점을 극복하고자 하였습니다.

기존의 방법론들에 대해 먼저 소개해주시고, 단점들을 소개해주며 차근차근 설명해주셔서 이해하는데 전혀 어려움이 없었습니다. 좋은 발표 감사합니다!

금일 세미나는 "Deep Image Retrieval: Learning global representations for image search"라는 주제로 진행되었습니다. 본 발표에서는 Triplet network와 Region Proposal Network를 이용하여 image retrieval 성능을 개선하는 방법론이 소개되었습니다. 개인적으로 siamese network를 사용해본 적이 있어서 triplet network를 이용하여 image retrieval의 성능을 높인 모델 내용이 흥미로웠습니다. 발표를 들으며 본 방법론에서 backbone 모델로 사용된 triplet network를 이상치 탐지 분야에도 사용할 수 있을 것 같다는 생각이 들었습니다. 정상 데이터와 out-of-distribution 데이터를 기반으로 triplet loss를 적용하여 보다 좋은 normal representation을 만들 수 있지 않을까하는 생각이 들었습니다. 좋은 발표 감사합니다.

금번 세미나에서는 Deep Image Retrieval: Learning global representations for image search라는 논문을 소개해주셨습니다. 오랜만에 듣는 image retrival 관련 논문이어서 흥미롭게 들을 수 있었습니다. 해당 논문에서는 MAC기법을 소개해주셨습니다. 이는 feature map 각각에 채널 별로 가장 큰 값을 가져와 이를 벡터 형태로 변환하는 방법입니다. 이를 개선한 방법이 R-MAC 방법이며 본 논문은 R-MAC이 불필요한 부분도 포함하며 학습하는 방식을 개선하기 위해 triplet loss를 이용하였습니다. 방법론을 자세하게 설명해주셔서 쉽게 이해할 수 있던 세미나였습니다. 좋은 발표를 들려주셔서 감사합니다.

이번 세미나는 MAC 기법을 활용하여 Image Retrieval 을 수행하는 모델입니다. 추출된 query의 descriptor와 database의 descriptor 간 유사도로 부터 rank 를 계산하여 query에 알맞는 이미지를 retrieval할 때, MAC기법은 우선 이미지를 (fully connected layer를 제거한) pretrained CNN에 입력하여 feature map을 생성한 후, global max pooling을 하여 나온 최종 결과를 이미지의 최종 representation으로 사용하는 것입니다. 그 후, MAC을 보완한 R-MAC에 대해서 설명해주셔서, 다양한 스케일을 MAC에 적용하여 더욱 성능을 높이는 방법에 대해 알 수 있었습니다. 그 다음, R-MAC을 적용한 후, triplet learning을 활용하여 image retrieval하는 방법까지 익힐 수 있었습니다. Image Retrieval에 대한 흥미로운 주제를 단점을 보완하는 흐름으로 소개해 주셔서 흐름대로 파악하기가 쉬웠습니다. 좋은 발표 감사합니다.