이번 세미나는 이미지 내에서 Object-Predicate-Subject로 구성되는 Triplet을 탐지하는 Scene Graph Generation Task에서 On, And, Near 등 많은 정보를 포함하지 못하는 제한된 Relation에 대해서만 예측이 가능한 한계점을 해결하고자 데이터 Transfer를 통해 학습 데이터셋을 강화하는 “Fine-Grained Scene Graph Generation with Data Transfer”이라는 논문과, 외부 코퍼스에서 추출한 객체 관계에 대한 Knowledge를 통해 이미지와 문장을 연결하여 Unsupervised Image Captioning에서의 이미지와 텍스트 사이에서 Semantic Gap을 좁힌 “Relational Distant Supervision for Image Captioning without Image-Text Pairs”이라는 논문에 대한 발표를 중심으로 진행되었습니다. 많이 사용되지 않는 Predicate의 등장 횟수를 늘리기 위해 자주 사용되는 Predicate을 수정해주거나, Predicate이 누락된 경우에 이를 대체해주는 방법을 사용해 데이터셋을 강화합니다. 이를 통해 모델이 학습 과정에서 빈도 수가 낮은 Predicate에 대해서도 더 많이 마주칠 수 있도록 합니다. 해당 분야에서 인용 수가 높은 논문이니만큼 어떤 것을 목적으로 하고, 이를 어떻게 이루어낼지가 명확해서 이해하기 좋았던 것 같습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나에서는 "Fine-Grained Scene Graph Generation with Data Transfer"에 대해 소개해주셨습니다. 해당 연구는 이미지에서 주어, 술어, 목적어로 구성된 관계 triplet을 추출하는 scene graph generation 분야를 다룹니다. 특히, 데이터 분포의 불균형과 의미적 모호성으로 인해 빈번히 사용은 되나 정보량은 적게 담고 있는 술어로만 예측을 한다는 문제를 해결하려는 시도를 하고 있습니다. 이를 위해 internal 및 external data transformer 방법인 IETrans를 제안합니다. 이는 자동으로 향상된 데이터셋을 생성하여 모든 술어에 대해 충분하고 일관된 주석을 제공하는 것으로 데이터 분포 문제를 해결하는 아이디어입니다. 익숙하지 않은 분야였지만, 그럼에도 차근히 설명해주시어 이해해 많은 도움이 되었던 것 같습니다. 좋은 발표 감사드립니다.

해당 세미나는 Scene Graph Generation Task에서 Long-tail Problem와 Semantic Ambiguity 두 가지 한계점을 해결하는 프레임워크를 제안한 논문을 기반으로 진행되었습니다. 특히 해당 방식은 Plug-and-Play 방식으로 적용할 수 있으며 자동으로 향상된 학습 데이터셋을 생성할 수 있다는 특징이 있습니다. 구조적으로 Internal Transfer는 일반적인 술어에서 정보성 술어로 데이터를 전송하도록 설계, External Transfer는 NA 데이터의 레이블을 재라벨링하도록 설계하여 각 측면에 적합한 방식을 적용시켰다는 점이 흥미로웠습니다. 세미나를 들으면서 드는 생각은 술어에 주석 편중으로 인해, 많은 비중을 차지하는 술어들만 표현될 수 있다는 점입니다. 해당 문제점을 해결하기 위해 많은 vocab간 관계가 학습되어 있는 LLM을 적용시키는 것이 어떨까 고민해보았습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 Scene Graph Generation에서 Long-tail Problem과 Semantic Ambiguity를 해결하기 위한 프레임워크를 제안한 “Fine-Grained Scene Graph Generation with Data Transfer” 논문을 중심으로 진행되었습니다. 특히, IETrans(Internal-External Transfer) 방식을 통해 데이터 분포의 불균형과 술어의 의미적 모호성을 해결하고자 한 점이 인상적이었습니다. Internal Transfer는 빈번하지만 정보량이 적은 술어 데이터를 정보성 술어로 전환하고, External Transfer는 NA 데이터에 대해 적절한 레이블을 재부여하는 과정을 통해 데이터셋 품질을 높이는 방식으로 구성되어 있어 매우 체계적이고 실용적인 접근이라 느껴졌습니다. 추가로, 빈도수가 낮은 술어 데이터를 강화하기 위해 자주 사용되는 술어를 수정하거나 누락된 술어를 대체하는 방식은 데이터셋을 자동으로 개선함으로써 모델이 다양한 술어를 학습할 수 있도록 돕는다는 점에서 뛰어난 아이디어라 생각됩니다. 이러한 방식은 특히 Plug-and-Play로 쉽게 적용 가능하다는 점에서 실무에서도 유용할 것같다고 생각이 들었습니다. 향후, 이 접근법을 확장하여 Large Language Models(LLMs)의 사전학습된 관계 표현을 활용하거나, 멀티모달 학습을 통해 술어 간의 의미적 연결성을 더욱 강화하는 연구가 병행된다면 Scene Graph Generation의 성능을 한층 더 높일 수 있지 않나 생각이 들었습니다. 좋은 발표 준비해주셔서 감사합니다!

이번 세미나에서는 "Fine-Grained Scene Graph Generation with Data Transfer" 논문이 소개되었습니다. Scene Graph Generation(SGG)은 이미지 내 객체 간의 관계를 Triplet(Subject-Predicate-Object) 형태로 탐지하는 중요한 작업입니다. 그러나 기존 SGG 모델들은 Long-tail 문제와 Semantic Ambiguity 문제로 인해 일부 관계(predicates)에 대한 학습이 어려웠습니다. 본 논문은 이를 해결하기 위해 Internal Transfer와 External Transfer라는 두 가지 데이터 전송 방법론을 제안했습니다. Internal Transfer는 일반적인(predicate) 관계를 더 정보성(predicate-rich) 있는 관계로 전환하여, 더 다양한 predicate를 학습할 수 있도록 하였고, External Transfer는 누락되었거나 잘못 주석된(NA) 데이터를 재라벨링하여 데이터셋을 보완하는 방법론입니다. 실험 결과, VG-50 및 VG-1800 데이터셋에서 성능이 크게 향상되었으며, 특히 mean Recall(mR@K)과 F@K에서 기존 SOTA 모델을 능가하는 결과를 보였습니다. 이를 통해 데이터 전송을 활용한 Scene Graph Generation의 가능성을 확인할 수 있었습니다​. 오늘날 image captioning분야의 연구들에서 많이 보이는 문제점을 지적하며 적절한 방법론으로 잘 보완한 좋은 연구였다고 생각합니다. 재미있는 연구 소개해주셔서 감사합니다.

이번 세미나에서는 "IETrans: Fine-Grained Scene Graph Generation with Data Transfer"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 논문은 Scene Graph Generation(SGG) 작업에서 자주 나타나는 Long-tail Problem과 Semantic Ambiguity 문제를 해결하기 위해 새로운 데이터 전송 기반 프레임워크인 IETrans를 제안합니다. IETrans는 학습 데이터셋의 품질을 자동으로 향상시키는 두 가지 주요 데이터 전송 방법을 포함합니다. 첫 번째는 Internal Transfer 방식으로, 일반적인 술어를 정보가 풍부한 술어로 변환하여 데이터의 다양성을 확장합니다. 예를 들어, 단순한 "on"을 "standing on"으로 대체하는 방식으로 학습 sample을 증대시킵니다. 다음은 External Transfer 방식으로, 주석이 누락된 데이터(NA 샘플)를 재라벨링하여, Positive 및 Negative 관계를 재정의합니다. 이를 통해 기존에 탐지되지 못한 정보성 데이터를 발굴하여 데이터셋의 완성도를 높입니다. 이 논문에서는 Visual Genome 데이터를 기반으로 한 대규모 벤치마크인 VG-1800을 통해 제안한 방법론의 성능을 검증하였으며, Mean Recall 및 F-Score 지표에서 기존 방법들을 능가하는 결과를 보여주었습니다. 본 연구의 Task는 저에게 생소한 분야였지만, 이번 세미나를 통해 새로운 Task에 대해 이해하고 식견을 넓힐 수 있었던 좋은 시간이었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 "Fine-Grained Scene Graph Generation with Data Transfer" 논문을 중심으로 진행되었습니다. 해당 연구는 Scene Graph Generation(SGG)에서 발생하는 Long-tail 문제와 Semantic Ambiguity를 해결하기 위한 IETrans(Internal-External Transfer)라는 새로운 방법론을 제시합니다. 이 방법은 빈번한 술어를 더 정보성이 풍부한 술어로 변환하거나, 누락된 데이터를 재라벨링하여 학습 데이터셋을 향상시킵니다. 실험에서는 VG-1800 데이터셋을 사용하여 기존 모델들보다 우수한 성능을 보였으며, 이 방식이 실제로 모델 학습에 긍정적인 영향을 미친다는 것을 증명했습니다. 특히, 자동화된 데이터셋 강화 과정이 효과적이었고, Plug-and-Play 방식으로 실용적이어서 현업에서도 쉽게 적용할 수 있을 것으로 보였습니다. 세미나를 통해 SGG 분야에서 데이터셋 품질 향상과 성능 개선을 위한 새로운 접근법을 배울 수 있어 매우 유익한 시간이었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나에서는 "Fine-Grained Scene Graph Generation with Data Transfer"라는 논문을 중심으로, Scene Graph Generation에서 Long-tail Problem과 Semantic Ambiguity를 해결하기 위한 접근 방식을 다뤘습니다. 발표에서는 IETrans(Internal-External Transfer)를 활용하여 데이터 분포의 불균형과 술어의 의미적 모호성을 해결하는 방식을 설명하였으며, Internal Transfer로 자주 등장하지만 정보량이 적은 술어를 정보성 술어로 전환하고, External Transfer를 통해 NA 데이터에 적절한 레이블을 재부여함으로써 데이터셋의 품질을 향상시키는 과정을 소개했습니다. 또한, 학습 데이터의 부족한 부분을 보완하기 위해 술어를 수정하거나 누락된 술어를 대체함으로써 모델이 다양한 술어를 효과적으로 학습할 수 있도록 돕는 방식을 제안한 점이 인상적이었습니다. 이처럼 체계적이고 실용적인 접근은 기존의 제한된 Relation 예측 한계를 극복하고, 데이터셋 강화 및 모델 성능 향상에 크게 기여할 수 있을 것이라 생각됩니다. 좋은 발표 감사합니다.

본 세미나는 " Fine-Grained Scene Graph Generation with Data Transfer" 논문 주제로 진행되었습니다. Scene Graph Generation task에서 이미지의 Triplet(Subject-Predicate-Object)을 탐지하고 Vision Language에서 사용되기 위해서는 풍부한 자원이 뒷받침되어야 합니다. 기존 연구들은 정보가 풍부한 데이터로 학습하기 어려웠던 부분을 본 논문에서는 Internal transfer와 External transfer 방법을 제안하여 관계 정보를 충분히 학습하는데에 도움을 주는 데이터 생성 기법을 소개합니다. 이 모델의 목표는 자동으로 향상된 데이터셋을 생성하는 것이며, internal transfer단계에서는 일반적인 술어 클래스에서 정보성 술어 클래스로 데이터를 전송하도록 설계되었습니다. 유익한 술어는 빈번하게 나오는 일반적인 술어보다 덜 빈번하게 나타나는 경향이 있음을 이용합니다. 이를 위해 confusion pair discovery, transfer pair judgement, triplet transfer 등 3단계를 거쳐 후보 술어군을 추출합니다. External data transfer 에서는 주석이 없는 샘플을 재라벨링하여 누락된 relation triplet을 추출합니다. 이렇게 IE transfer로 구한 데이터들은 병합되어 사용됩니다. VL data의 품질을 향상시키기 위한 연구로 문장 관계를 더 풍부하게 하기 위한 방법을 제안하여 흥미로왔습니다. 좋은 발표 감사합니다.

이번 세미나에서는 "Fine-Grained Scene Graph Generation with Data Transfer" 논문을 중심으로 진행된 발표를 통해 Scene Graph Generation(SGG) 분야의 주요 한계를 해결하기 위한 새로운 접근법을 배울 수 있었습니다. 특히, IETrans(Internal-External Transfer) 방법론이 Long-tail Problem과 Semantic Ambiguity를 해결하기 위해 제안된 점이 매우 흥미로웠습니다. Internal Transfer는 빈번하지만 정보량이 적은 술어를 정보성이 풍부한 술어로 변환하여 데이터 다양성을 확장하고, External Transfer는 주석이 누락된 데이터를 재라벨링해 데이터셋 품질을 자동으로 향상시키는 방식으로, 기존의 데이터 분포 문제를 효과적으로 해결한 것으로 보입니다. 발표에서 소개된 "on"을 "standing on"으로 대체하는 방식처럼, 실제 데이터셋 강화 사례를 통해 구체적으로 이해할 수 있어 좋았습니다. 좋은 발표 감사합니다.

이번 세미나는 "Fine-Grained Scene Graph Generation with Data Transfer" 논문(ECCV 2022)을 중심으로 진행되었습니다. 본 연구는 장면 그래프(Scene Graph) 생성에서 객체 간의 세부적인 관계를 더욱 정밀하게 모델링하기 위한 새로운 접근법을 제안하였으며, 특히 데이터 부족 문제를 해결하기 위한 효과적인 데이터 전이 기법이 돋보였습니다. 장면 그래프 생성은 객체 탐지와 관계 추론을 결합한 작업으로, 복잡한 시각적 관계를 이해하고 표현하는 데 핵심적인 역할을 합니다.

이 논문은 데이터 전이 기법을 통해 기존의 데이터셋 간 관계 지식을 학습하여 Fine-Grained Scene Graph를 생성할 수 있도록 설계되었습니다. 특히, 관계 추론에서의 편향된 데이터 분포 문제를 완화하고, 일반화된 관계 표현을 학습하여 기존 방법론 대비 뛰어난 성능을 입증하였습니다. 다양한 시각적 관계를 표현하는 능력은 장면 이해와 같은 고차원 AI 작업에서 강력한 잠재력을 보여줍니다. 본 연구는 Fine-Grained Scene Graph 생성 분야에서 중요한 방향성을 제시하며, 복잡한 장면 이해를 위한 강력한 토대를 마련했다는 점에서 매우 인상 깊었습니다. 발표 준비해주셔서 감사합니다!

이번 세미나에서는 “Fine-Grained Scene Graph Generation with Data Transfer” 논문이 소개되었습니다. Scene Graph Generation(SGG)은 이미지 내에서 객체 간 관계를 탐지하는 작업으로, 일반적으로 Long-tail 문제와 Semantic Ambiguity 문제로 인해 일부 술어(predicates)에 대한 학습이 제한되는 한계가 있습니다. 본 연구는 이러한 한계를 해결하기 위해 Internal Transfer와 External Transfer라는 데이터 전송 기법을 도입했습니다. Internal Transfer는 자주 등장하지만 정보량이 적은 술어를 더 풍부한 정보로 전환하여 모델이 다양한 술어를 학습할 수 있도록 돕고, External Transfer는 잘못된 레이블이 부여된 데이터를 재라벨링하거나 누락된 술어를 보완하여 데이터셋 품질을 향상시키는 역할을 합니다. 이 과정에서 모델이 빈도 수가 낮은 술어를 더 많이 접하게 되어 균형 있는 학습이 가능해졌습니다. 실험 결과, Visual Genome 데이터셋에서 mean Recall과 F1 Score에서 기존 방법들보다 우수한 성능을 보였으며, 특히 데이터 전송 기법이 자동으로 데이터셋을 개선할 수 있어 실용적이라는 점에서 의의가 큽니다. 이 논문은 Scene Graph Generation의 데이터 불균형 문제를 효과적으로 해결하며, 향후 다양한 멀티모달 학습 연구로 확장 가능성을 보여준 유익한 연구였습니다. 좋은 발표 감사합니다.

이번 세미나는 Scene Graph Generation(SGG)을 주제로 진행되었습니다. 이는 이미지로부터 subject-predicate-object를 탐지하는 과업입니다. 이때 predicate이란 서술부를 의미합니다. 기존 연구들의 문제는 상위 몇 개 주요 술어들로 데이터가 집중되는 long-tail problem이 존재한다는 점이고, 생각보다 단순한 단어(ex. 전치사)들로 구성되어 있어 의미적 모호성을 띈다는 점입니다. 이와 같은 한계를 internal 그리고 external data transfer 방식을 통해 해결한 방법론이 소개되었습니다. 특히 external data transfer를 통해 주석이 없는 샘플에 라벨리을 하여 누락된 relation triplet을 찾아주는 것이 데이터의 활용성을 더욱 높여주는 것이 아닌가 싶습니다. VLM 향상에 있어 중요한 과업인 SGG에 대해 덕분에 잘 확인할 수 있었습니다. 감사합니다.