우선 평소 인터넷으로만 정보를 접하던 NIPS 학회를 직접 참여할 수 있게 되어 굉장히 유익한 경험이었습니다.
다른 일정과 겹쳐 모든 발표를 듣지는 못했지만, 우선 세상은 넓고 똑똑한 사람은 많다는 점을 다시 한 번 느낄 수 있었고
제가 관심이 있는 분야, 그리고 궁금증이 있던 분야에 대한 발표를 접할 수 있어서 좋았습니다.

흥미로웠던 주제는 많으나 그 중 아래 두 가지 발표에 특히 관심이 많이 갔고, 해당 논문 또한 열심히 읽고 있는 중입니다.

1) A Ranking-based, Balanced Loss Function Unifying Classification and Localisation in Object Detection

Object detection 문제에 대해서 대부분의 경우 학습을 위한 목적함수로 Classification Loss + w(Localization Loss)를 사용합니다.
본 발표의 경우 위와 같은 loss에 대해서,
1. 두 task(classification/localization)의 관계를 적절히 설명하기 어렵고
2. w라는 하이퍼 파라미터에 대한 굉장히 세심한 조정이 필요하며
3. detection의 고질적인 문제인 class imbalance에 취약하다는 약점을 지적합니다.

그에 따라 average Localisation Recall Precision Loss (aLRP Loss)를 제안하는데, 여기서 LRP는 False positive, false negative, true positive의 비율에 대해 목적함수를 구축하되 TP의 경우 localization을 위한 IoU 기반의 좀 더 robust한 error term을 추가합니다. aLRP는 이들의 평균을 의미하며, 이는 ranking에 기반하여 앞선 통상적인 loss에 비해 하이퍼 파라미터 튜닝이 필요 없다는 강점을 갖습니다. 실험 결과 aLRP를 이용하는 경우 baseline 성능이 크게 향상된다고 합니다.

deep learning에 있어 loss function은 곧 목적 함수라고 할만큼 성능을 좌지우지하는 영향력을 지닙니다.  RetinaNet과 같이 모델 자체가 갖는 약점을 보완하기 위한 loss를 사용하는 경우에도 성능 향상을 추구할 수 있듯이, 위 발표가 제안하는 aLRP 또한 그러한 관점에서 굉장히 의미 있는 시도라고 생각합니다.

2) RelationNet++: Bridging Visual Representations for Object Detection via Transformer Decoder

마찬가지로 object detection에 관한 발표인데, transformer의 구조를 차용해 좀 더 효과적인 파이프라인을 구축했다는 점에서 굉장히 흥미로웠습니다.
Object detection은 주로 bbox를 통해 예측이 되나, 최근 centernet, cornernet 등 여러 feature를 활용한 detection 연구 또한 활발합니다. 다만 각 representation(anchor, center, corner 등)을 효과적으로 연결하기가 굉장히 어려운데, 본 논문은 흥미롭게 object의 center, corner를 key로 하고 anchor-based detection을 query로 하여 두 이질적인 특성을 잇는(bridging) 모델을 제안합니다 (BVR)

해당 모듈은 Transformer의 어텐션 메커니즘을 차용하여 key들이 query에 의한 이미지 표현을 좀 더 보완하는 역할을 하게 됩니다. 기존의 논문 <Relation networks for object detection, Hu, H et al., 2018>을 보완한 모델이라고 하는데, 듣는 내내 굉장히 재미있는 아이디어라고 생각을 하였으나 구조가 완벽히 이해가 되지 않아 현재 해당 논문을 읽고 내용을 숙지하고 있습니다.

다음에는 기회가 된다면 꼭 현장에서 진행되는 학회에 참여하고 싶다는 생각이 들었습니다.