이번 세미나에서는 김동화 학생이 object detection 관련하여 세미나를 진행해주었습니다. 지금은 졸업한 김보섭 석사과정과 손규빈 석사과정과 함께 과거 Object Detection 스터디를 진행하면서 RCNN 부터 Faster RCNN 까지 다루고 그 이후 연구들에 대해서는 접할 기회가 없었는데, 이번 기회를 통해서 다시금 상기시키며 최근 수행된 Cascade RCNN을 접할 수 있어 뜻깊은 시간이였다고 생각됩니다. 매우 직관적인 구조이지만 재귀적인 과정을 통해서 IOU를 fitting 해가는 과정을 발표자료를 통해서 잘 이해 할 수 있었습니다. 실제 object detection과제를 수행하면서 그 노하우도 같이 공유해줘서 더욱 의미있는 세미나였다고 생각됩니다. 발표를 진행한 김동화 박사과정이 텍스트 부터 이미지, 그리고 최근에는 음성까지 그 연구경계가 확장되어 가는 모습을 옆에서 지켜보면서 많은 동기부여를 주는 사람이라 생각합니다. 좋은 연구성과로 연결되었으면 좋겠습니다.

object detection 분야에서의 cascade R-CNN에 대한 세미나를 들었습니다. 발표 초반에 RCNN계열 모델들을 자세히 설명해주셔서 굉장히 이해가 쉬웠습니다. cacade R-CNN은 IOU가 낮은 박스에서도 다양한 정보를 가지고 있을 수 있기 때문에 해당 정보를 이용합니다. 모델은 낮은 IOU를 갖는 박스에 대해 먼저 학습하고 점점 큰 IOU를 갖는 박스를 학습에 사용합니다. 개인적으로 이러한 부분은 준지도학습에서 학습 초반 labeled data의 confidence가 낮은 데이터만 사용하다가 학습이 진행될수록 점차 confidence를 높이며 확실한 데이터를 학습에 사용하게 되는 방식과 유사하다는 생각이 들었습니다. 세미나 후반에 발표자께서 해당 논문을 label annotation에 쓸 수 있지 않을까 하는 생각을 했는데 이를 준지도학습에 접목해 이용하면 좋은 연구가 될 것 같다는 생각을 했습니다. 좋은 발표를 해 주셔서 감사합니다.

오늘 세미자 주제는 Object Detection입니다. 현제 프로젝트에서 사용하고 있는 Cascade Mask RCNN을 설명해 주시기 위하여 그 기초가 되는 Faster RCNN, Mask RCNN, Cascade Mask RCNN에 대하여 차례로 자세히 설명해 주셨습니다. 오늘 설명주신 Object Detection 아키텍쳐의 핵심은 FPN 구조를 통해 다양한 Proposal을 만들고 Box Bounding Prediction, Class Prediction에 사용한다는 점인것 같습니다.
마지막 설명 주신 논문인 Cascade Mask RCNN은 낮은 IOU에서 추출된 Bounding Box를 Cascade형태로 다시 활용함으로써 알고리즘의 Box Bounding Prediction의 성능을 향상 시켰습니다. Cascade Mask RCNN은 Kaggle과 같은 여러 머신러닝 대회에서 자주 사용되는 알고리즘입니다. 오늘 김동화 박사의 자세한 설명 덕분에 조금이나마 이해할 수 있었습니다. 좋은 발표 감사합니다.

사진 속의 물체를 검출하기 위해 사용되는 대표적인 알고리즘으로 Faster RCNN, Mask RCNN 정도가 있다는 것만 알고 있던 와중에 Cascade Mask RCNN에 관한 세미나를 들었습니다. 기존 Faster RCNN에 대한 설명과 함께 최근에는 backbone 을 유지한 채 그 이후의 processing 개선이 주로 이루어지고 있는 등 연구의 동향에 대해서도 중간중간 말씀해주셔서 재미있게 들었습니다. Cascade Mask RCNN은 faster RCNN을 연속적으로 배치하여 좋은 bounding box를 학습한 후 mask head를 통과시켜 픽셀 단위로 예측하는 알고리즘인데, cascading 방식인만큼 연산에 대한 부담이 훨씬 커 지지 않을까 싶었습니다. 항상 연구의 실험 결과는 '실제 데이터에는 어떨까?'라는 궁금증을 갖게 하는데, 발표자분께서 실제 데이터에 적용한 결과물을 보고 성능이 너무 좋아 많이 놀랐습니다.

컴퓨터 비전에 대해 공부를 하고 있기에 더욱 감명이 깊었던 세미나였습니다. Cascade-RCNN은 쉽게 말해 Faster-RCNN 모델을 여러 층으로 쌓고 출력되는 디텍션 박스의 IoU 기준을 달리해가면서, 기존 하나의 RCNN 모델로는 놓치기 쉬웠던 "의미가 있을 수 있는 부분"을 잡아내기에 굉장히 좋은 모델입니다. k-fashion 프로젝트에서 해당 모델을 구현하는 것을 옆에서 직접 봤는데, 구현을 잘 하신 영향인지 레이블링이 이상한 부분들에 대해서도 모델이 잘 잡아내는 것이 인상 깊었습니다. 또한 그러한 과정에서 의아했던 부분들을 세미나를 통해서 명료하게 설명해 주셔서 좋았는데, 특히 Roi-align은 글로는 이해하기가 어려운 내용이었는데 그림을 곁들여서 굉장히 잘 설명해 주셔서 좋았습니다. 좋은 발표 감사합니다.

최근 동기들과 함께 컴퓨터 비전에 대해 공부를 하고 있기에 더욱 흥미롭게 세미나를 들을 수 있었습니다. 동기들과 함께 Faster RCNN까지만 공부하고 아직까지 Mask RCNN과 Cascade-RCNN은 공부하지 못하여 궁금해하던 차에 듣게 되어 너무 값진 세미나 시간이었던 것 같습니다. Mask RCNN은 쉽게 말해 Faster-RCNN 모델에 mask head를 추가하여 실제 bounding box속의 masking task까지 고려하여 loss를 계산해줌으로서 좀 더 성능을 높여줄 수 있었고, 거기에다가 Faster RCNN을 여러 층으로 쌓고 출력되는 bounding box의 IoU 기준을 달리해가면서, 기존 하나의 RCNN 모델로는 놓치기 쉬웠던 "의미가 있을 수 있는 부분"을 잡아냄으로써 좀 더 성능을 이끌어 낸 것이 Cascade Mask RCNN이라고 할 수 있습니다. 너무 좋은 발표와 자료로 차근차근 설명해주셔서 너무 잘 들었습니다. 감사합니다.

이번 세미나는 object detection 모델인 Cascade RCNN에 관한 발표였습니다. Object detection의 경우, 작년 컴퓨터 비전 수업 이후 연구동향을 따라가고 있지 못했는데 오늘 RCNN부터 Mask RCNN까지 선행 연구의 흐름을 발표자분께서 잘 짚어주셔서 이해하기 수월했습니다. 특히 ROI pooling이나 align의 경우 매우 상세한 시각자료로 설명된 점이 인상깊습니다. 오늘 주제였던 Cascade RCNN은 여러 층의 Mask RCNN을 활용하여 모델의 false negative를 감소시킬 수 있는 모델입니다. 개인적으로 각 층마다 loss, gradient 가중치를 다르게 주는 휴리스틱이 기억에 남고, 여러 구조에 관한 실험을 통해 해당 방법론의 유효성을 검증한 부분에서도 배울 점이 많았습니다. 요즘 많은 연구에서 적은 데이터를 효율적으로 활용하기 위한 아이디어를 다양하게 제시하고 있는데, 오늘 개인연구에서 언급하신 cascade 모델을 활용한 방법론 또한 합리적인 연구 아이디어라는 생각이 들어 앞으로의 결과가 기대가 됐습니다. 발표 감사합니다.

본 세미나는 Faster RCNN, Mask RCNN 모델이 발전한 Cascade Mask RCNN에 대한 발표였습니다. IOU가 낮은 Box에 대한 학습을 먼저 진행한 후, 그 사이즈를 늘려가면서 훈련을 연속적으로 진행하는 것과, 이전 단계의 Prediction Box를 다음 모델의 Proposal로 사용하는 특징을 갖고 있었습니다. 또한 본 목적인 Object Detection 이외에 Annotation의 수단으로의 가능성도 있어 흥미로웠습니다. 매우 단순한 생각으로, 연산이 많아짐에 성능이 좋아지는 것은 당연한 것 아닌가라는 생각이 가장 먼저 들었지만, 그 연산을 어떻게 효율적으로 운용함에 따라 성능이 달라짐을 느꼈습니다. 비전 분야 중 특히 RCNN의 복잡한 알고리즘 대한 이해가 매우 힘들었는데, 그에 대하여 목적과 달성방법에 대하여 순차적으로 설명해주시고 프로젝트라는 실제 문제에 직접 적용하여 성과를 보여주심에 감사드립니다.

이번 세미나에서는 Object detection에 있어서 사용되는 model 중 cascade R-CNN을 소개해주셨습니다. Fast R-CNN부터 Fater R-CNN, Mask R-CNN 그리고 Cascsde R-CNN까지 자세히 설명해주셔서 어떤 부분이 이전에 제안된 model보다 개선되었는지 잘 알 수 있었습니다. Cascade R-CNN은 IOU가 낮아 이전 model에서는 고려되지 않은 박스의 정보도 이용해 학습합니다. 실제로 실험하신 결과를 보여주셨는데, labeling이 잘 되어있지 않은 data에 대해서도 label보다 더 정확하게 detection하는 점이 인상깊었습니다. 자세히 설명해주셔서 이해에 큰 도움이 되었습니다. 좋은 발표 감사합니다.

오랜만에 진행된 object detection에 관련된 세미나였습니다. 이번 세미나를 통해 object detection의 기초적인 내용을 다시 훑을 수 있어서 좋았습니다. 세미나의 주제인 Cascade R-CNN은 매우 직관적인 구조를 가졌습니다. Cascade R-CNN은 작은 IOU를 잘 맞춘 다음 조금 더 큰 IOU를 맞추는 모델을 재귀적으로 학습해가는 방식을 사용하며 이러한 과정은 마치 pretraining과 fine tuning을 반복하는 deep learning에서 매우 흔하게 볼 수 있는 과정을 연상케 합니다. 물론 논문에 나와있는 모델의 결과 표를 보면 연산량대비 성능의 향상이 benchmark dataset에서는 크지 않아 비판의 대상이 될 수 있다고 생각합니다. 하지만 real world data에서 좋은 성능을 보였다는 프로젝트 결과는 산업공학 측면에서는 매우 유용한 것 같습니다.
또한 논문의 아이디어를 본인의 개인연구에 접목하는 능력은 연구의 성과를 떠나서 꼭 배워야겠다는 생각을 하였습니다.

김동화 석박통합과정의 세미나 발표를 들었습니다. 오늘 발표는 Object Detection, Segmentation 관련해서Faster RCNN, Mask RCNN, Cascade RCNN 모델에 대해서 설명을 해주셨습니다. 컴퓨터 비전 분야에 대해서 공부를 하지 않은지 오래되서, 해당 분야에 대해서 아는 것이 많이 없었는데 모델 아키텍쳐에 대해 설명해주실 때 convolution 연산을 포함해서 전반적으로 tensor의 shape을 함께 넣어주셔서 발표를 따라가면서 이해하는 것이 매우 편하고 도움이 됐습니다. 개인적으로 나중에 한번 구현해보고 싶다는 생각이 들 정도로 발표와 슬라이드 구성이 매우 재밌었고, 마지막에 개인연구 부분에서 Cascade RCNN을 텍스트 등의 다른 도메인에 label annotation에 적용 가능하지 않을까? 라고 말씀해주신 부분도 공감하고 한번 사용해보고 싶다는 생각이 들었습니다. 발표 잘 들었습니다. 감사합니다.

항상 동화형의 발표를 들을 때 관련 주제에 대해 실험하고 고민한 것을 논문 발표와 녹여내어 현실적으로 이해하기가 더 좋았습니다. Object detection 테스크를 더 잘하기 위해 대부분의 모델에서는 FPN(피쳐 피라미드 구조)를 활용하는 것을 볼 수 있습니다. Resolution의 크기를 다양하게 하여 효율적인 Receptive field로 Anchor box 크기를 효율적으로 조정할 수 있으며 feature도 다양하게 뽑을 수 있기 때문에 해당 분야에서 일반적으로 쓰지 않나 싶습니다. Anchor box에서 해당 클래스가 겹칠 때 IOU, 같은 영역인지 다른 영역인지 등을 고려하여 하나를 뽑아야 할 것 같은데, 어떤 알고리즘을 별도로 썼는지 찾아봐야겠습니다. 현재 K-패션을 동화형이 주도적으로 하고 있는데, 옆자리에서 보면 현재의 데이터 label은 부족하게 달리거나 경계가 맞지 않는 경우가 많았습니다. 그럼에도 학습된 모델이 기존의 GT label보다 사람이 보기에도 더 잘 맞추고 맞는 표시를 하는 것을 보았습니다. 이에 pre-trained model을 이용하여 튜닝하는 것이 강력한 툴임을 다시 한번 증명하였으며, 텐서나 토치의 hub에 계속해서 멋진 개발자들이 공유해주길 기도합니다.

이번 세미나는 김동화 박사과정의 Object Detection의 모델인 Cascade Mask R-CNN과 관련한 발표였습니다. Cascade Mask R-CNN은 기존에 모델들은 IOU > 0.5 인 Bounding Box를 사용하였는데, 본 논문에서는 IOU < 0.5인 박스에서도 다양하고 풍부한 정보를 가지고 있다고 주장하면서 이를 반영해 주기위한 모델이라고 할 수 있습니다. Computer Vision 특히, Object Detection에 대해서는 경험이 거의 없던 저한테는 어려운 주제였지만, 동화형께서 Cascade Mask R-CNN이 제안된 흐름부터 차근차근 예시를 들어 설명해 주셔서 이해가 잘 되었습니다.

금일 세미나에서는 object detection 방법론인 cascade mask rcnn 에 대한 리뷰로 진행되었습니다. Cascade mask rcnn 은 IOU 가 낮은 bbox 에도 여러 정보를 갖고 있음을 주장하며 faster rcnn 와 mask head 를 여러 번 하고, bbox 의 IOU 기준을 달리하여 학습하는 모델을 의미합니다. 먼저 faster rcnn은 물체가 있을법한 후보군을 먼저 선정한 후, bounding box 의 좌표와 box 내의 object의 class 에 대한 예측을 진행합니다. Mask RCNN 은 region proposal network 이후 bounding box 의 예측을 할 때에 mask head 를 붙여서 학습을 진행하게 됩니다. Faster rcnn 과 mask rcnn 을 종합적으로 활용하여 기존에 고려되지 않던 낮은 IOU bbox 도 학습에 활용하여 성능을 높였다는 점이 인상적이었습니다. 좋은 발표 감사합니다.

이번 세미나는 object model인 cascade Mask RCNN에 대한 세미나였습니다. cascade Mask RCNN은 loss와 gradient가 다른 Faster RCNN을 3번 반복한 후, mask head를 적용하는 방법으로, IOU가 0.5보다 작은 bounding box에서도 유용한 정보를 가져올 수 있는 모델입니다. 개인적으로 Segmentation에 대한 성능도 mask-RCNN에 비해 더 성능이 좋게 나온 것이 인상적이었고, 발표 앞에 Faster R-CNN, Mask R-CNN에 대해 자세히 짚고 넘어가주셔서 그의 후속 모델인 cascade Mask RCNN가 나오는 흐름과 장점에 대해 더 잘 이해할 수 있었습니다. 감사합니다.

금일 발표는 "Cascade R-CNN"이라는 주제로 진행되었습니다. 본 발표의 초반부에는 object detection의 전반적인 부분을 잘 설명해주셔서 오랜만에 청취하는 object detection 관련 세미나임에도 불구하고 잘 따라갈 수 있었습니다. 개인적으로는 Mask RCNN까지만 object detection을 follow-up 했었는데, 그 뒤에 제안된 Cascade R-CNN에 대해 들을 수 있어서 좋았습니다. Object detection 방법론들을 접하면서 이전에 제안된 방법론들에 조금의 변화를 준 방법론들이 다른 분야에 비해 많다고 느꼈었는데, 금일 소개된 방법론도 그 중 하나였습니다. 기존의 Mask RCNN이 Faster RNN에 Muti-head를 접목한 방법론인데, Cascade R-CNN은 3개의 Faster RNN에 Muti-head를 접목한 방법이었습니다. 이와 같이 굉장히 간단한 아이디어로 좋은 결과를 도출한 모델을 보며, object detection 분야의 특징을 다시 한 번 느낄 수 있었고, 항상 복잡한 아이디어만이 좋은 결과를 도출하는 것은 아니라는 것도 다시 한 번 깨달을 수 있었습니다. 좋은 발표 감사합니다.

mask rcnn 의 개념은 faster rcnn 의 픽셀 level 에서의 활용을 추가한 방법론입니다. 여기서 roi align 이 상당히 중요한 역할을 수행하는데 해당 개념을 예시로써 매우 쉽게 설명해 주셔셔 이해하기 편했습니다. 이를통해, Bounding box 뿐만아니라 segmentation 영역까지 해당개념을 접근 할수 있었고, mask rcnn 을 개선한 cascade rcnn 이 오늘의 발표 주제였습니다. 이전방식에서 IOU 값이 0.5 이상인 것들을 FALSE Positive 를 줄이기 위해 사용했는데, 이렇게됬을때 버려지는 정보가 많았습니다. 객채검출, segmentation 등을 최근 직접 해보면서 더 다양한 방법들에 대해 관심을 가지게 되었고, 실제로 제대로 예측이 될 때 상당한 만족감을 얻을 수 있었습니다. 좋은발표 감사합니다.

이번 세미나는 Cascade R-CNN를 주제로 진행되었습니다. 여러가지 모델을 통해 Object detection의 흐름을 정리하였고, 프로젝트와 연계된 예시를 보여주셔서 쉽게 따라갈 수 있었습니다. 특히 모델링 과정을 하나씩 풀어서 설명해주셨는데, 발표의 흐름과 구성이 탄탄하여 다음 발표시 참고해야겠다는 생각을 하게되었습니다.

개인적으로는 NLP 공부에 집중하다보니 비전 분야에 대한 공부가 부족했는데, 대표적인 모델은 부지런히 공부해야겠다는 다짐을 하게되었습니다. 세미나를 계기로 관련 개념들을 찾아보고 공부하게 되었는데, 연구실에서 다양한 주제의 세미나를 들을 수 있다는것이 큰 장점으로 느껴졌습니다.

Object detection 관련 지식이 짧아 scratch부터 간단히 정리해보았습니다. 제가 정리한 바에 의하면 object detection은 이미지에서 특정 물체의 class를 구별해내고, 그 좌표를 얻는 task입니다. 즉 classification과 localization을 함께 진행하며, 대부분 이 과정에서 여러개의 loss term을 활용 하여 학습을 진행하는 모습을 보입니다.

Object detection에서 자주 등장하는 용어들이 있습니다. 미리 정리해보자면 아래와 같습니다.

1) RoI: Region of Interest. ( detection 대상의 영역을 의미 , 전체 이미지에서 RoI 영역을 골라내는것이 첫번째 작업)

2) bounding box (bbox라고도 부르며 박스 형태로 물건의 위치를 나타냄 )

3) Region proposal: 물체의 위치를 찾는 과정을 의미함 (물체의 카테고리는 신경쓰지 않음), Region proposal network를 줄여 RPN으로 부름

4) Region classification : 물체가 어떤 카테고리에 속하는지 분류하는 과정을 의미함

5) IoU: Intersection over union, 두개의 bounding box가 얼마나 겹치는지 비율을 나타내는 지표. RCNN에서 GT와 proposed region 사이에서 IoU를 계산하여 특정 threshold가 넘을 때 (대부분 0.5로 설정) 객체로 판단한 후 GT와 같은 class로 분류함

6) FPN: Feature Pyramid Network. (이개념은 2017년 'Feature Pyramid Networks for Object Detection' 논문에서 제안된 방법론인데 정확한 이해를 위해서는 논문을 읽어보는것이 좋았음. 이 개념이 제안된 이유는 detection에서 물체의 크기가 매우 작은경우 detection 성능이 현저하게 떨어지기 때문인데, 문제점을 해결하기 위해 다양한 스케일의 이미지나 feature map으로부터 정보를 추출하는 과정이 필요했음 ) 신경망을 통과하면서 각 단계별로 featuremap을 생성하고 가장 추상화된 상위 레이어 정보부터 top-down 으로 내려오며 feature를 합쳐준 후 detection을 진행하는 방법

object detection 분야가 발전함에 따라서 이미지로부터 집중할 부분을 미리 추출하는 RPN 를 통해 RCNN모델이 집중할 부분을 캐치하고, RCNN은 제안된 부분에서 detection을 진행하는 방식으로 진행됩니다. 오늘 소개해주신 Cascade RCNN은 기존의 Faster RCNN*3 에 mask head를 결합한 형태를 가지는 모델입니다. 즉 이 모델을 이해하기위해서는 Faster RCNN, Mask RCNN의 개념이 필요합니다. 위에서 설명한 것 처럼 대부분 IoU는 0.5를 기준점으로 잡습니다. 하지만 이 논문같은 경우는 낮은 IoU를 가지더라도 유용한 정보를 가질 수 있기때문에 IoU기준을 바꿔가며 여러개의 Faster RCNN을 쌓아 cascade 하여 prediction을 높였습니다. 꼼꼼하게 발표를 준비해주셔서 큰 도움이 되었습니다. 감사합니다.

(관련 개념을 공부하는 과정에서 소규성, 이윤승 석사과정의 유튜브 동영상도 많이 참고했습니다. 두분께도 감사드립니다! )

이번 세미나에서는 Cascade Mask RCNN에 대해 소개해 주셨습니다. 해당 모델을 설명하기 위해 Faster RCNN, Mask RCNN을 우선적으로 설명해 주시어 이해에 큰 도움이 되었습니다. 개인적으로는 Faster RCNN을 소개해 주시는 과정에서 상세히 설명해 주신 Feature Pyramid Network에 관심이 있었는데, 세미나를 통해 해당 부분에 대한 지식을 얻을 수 있었습니다. Cascade Mask RCNN에서는 IOU에 따라 예측된 Bounding Box가 Ground Truth Box와 얼마나 겹치는지 실험하고, IOU에 따라 예측된 모델의 Loss와, 성능지표를 분석하여 IOU가 낮은 박스에서도 다양한 정보가 포함되어 있음을 정의합니다. 결론적으로 Cascade Mask RCNN은 Faster RCNN 3개와 Mask Head로 구성되어 있고, Loss, Gradient 가중치를 각 모듈에 다르게 주는 방식으로 구성됩니다. 이 과정에서 다양한 IOU를 가진 Box들이 예측되고, 다음 모듈에 적용됩니다. 발표의 흐름과 시각적 자료 모두 매우 이해에 도움을 주는 발표였습니다. 대단히 감사합니다.