[Paper Review] Shape-Guided Dual-Memory Learning for 3D Anomaly Detection

Paper Review
작성자
Woongchan Nam
작성일
2024-07-29 08:01
조회
1715
1. 논문 제목
  • Shape-Guided Dual-Memory Learning for 3D Anomaly Detection (ICML 2023)
  • 링크: 바로가기
2. Overview
  • The 3D geometry-based 와 2D color-based information을 결합한 3D Anomaly Detection 방식을 제안
  • The 3D geometry-based Information을 추출하기 위한 (1) Shape Expert,
    2D color-based information을 추출하기 위한 (2) Appearance Expert 각각을 모델링
  • 각 Shape (SDF Features)를 특정 Memory Bank에 적재한 후,
    각 Shape에 대응되는 RGB Feature들을 다른 Memory Bank에 적재하는 Shape-Guided Dual-Memory 구조를 제안
3. 발표자료 및 발표영상

[1] 발표자료: 하단 첨부
[2] 발표영상: 추후 첨부
전체 13

  • 2024-07-29 10:53

    이번 세미나에서는 3D geometry-based 정보와 2D color-based 정보를 결합하여 3D 이상 탐지 방법을 제안한 “Shape-Guided Dual-Memory Learning for 3D Anomaly Detection” 논문에 대해서 발표해 주셨습니다. 해당 연구에서는 3D 형상을 모델링하기 위한 ‘Shape Expert’와 2D 외관을 모델링하기 위한 ‘Appearance Expert’를 도입하여, 각 형상과 색상 정보를 별도의 메모리 뱅크에 저장하는 새로운 구조인 Shape-Guided Dual-Memory 구조를 제안합니다. 특히, 이 구조는 SDF(Signed Distance Function) 기능을 활용하여 3D 데이터의 형상 정보를 추출하고, 이를 기반으로 RGB 특성을 매핑하는 방식을 채택하고 있습니다. 두 종류의 데이터를 독립적으로 처리하고 통합하는 방식으로, 각각의 데이터 유형에서 이상치를 더 정확하게 탐지할 수 있는 잠재력을 제시한 부분이 가장 인상깊었습니다. 다만, 복잡한 처리 과정과 시스템 요구 사항이 필요함에도 2D 기반 방법론만을 사용했을 때보다 뚜렷하나 성능 향상은 보이지 않아, 이 부분에 대한 추가 연구와 개선이 필요함을 느꼈습니다. 하지만 3D 이상 탐지 기술의 발전 가능성을 제시하며, 이상치 탐지 분야 성능이 포화되어있는 현 상황에서 향후 발전 가능성이 높은 연구라고 생각되었습니다. 흥미로운 발표해 주셔서 감사합니다.


  • 2024-08-02 19:56

    이번 세미나는 “Shape-Guided Dual-Memory Learning for 3D Anomaly Detection”라는 논문을 중심으로 진행되었습니다. 본 논문에서 제안하는 Shape-Guided는 기존 AST, BTF 등의 3D-Based 방법론들과 비교했을 때 3D Representation과 2D Representation을 단순히 Concat하는 것이 아닌, 각각 Shape Expert, Appearance Expert에서 추출한 feature를 적재하는 Dual-Memory Bank를 구축하는 방식을 사용합니다. 또한 기존에 3D Representation을 추출하는 과정에서 사전 학습된 모델이 아닌 단순 Feature Descriptor를 사용하는 것이 낫다고 주장하는 것과 다르게 사전 학습된 PointNet을 통해 Feature Vector를 추출하고, NIF Model을 통해 Input으로 3D Patch의 Feature Vector와 Query Point를 입력하여 객체 표면으로부터 얼마나 떨어져 있는지 거리 𝒔 를 예측하도록 학습하는 방식을 사용합니다. 3D Anomaly Detection 분야를 잘 몰라서 어떤 식으로 모델을 학습하고, 이를 통해 이상치 탐지를 진행하는지 궁금했는데 연구의 전체적인 흐름이 어떻게 진행되고 있는지 알 수 있어서 좋았습니다. 좋은 발표 해주셔서 감사합니다.


  • 2024-08-03 22:26

    이번 세미나에서는 "Shape-Guided Dual-Memory Learning for 3D Anomaly Detection" 논문을 중심으로 진행되었습니다. 이 연구에서는 3D 이상 탐지를 위한 새로운 방법론인 Shape-Guided Dual-Memory Learning을 제안하고 있습니다. 특히, 3D AD 관련 연구인 'Back To the Feature' (BTF) 방식과의 비교를 통해 새로운 방법의 장점을 설명해주신 점이 좋았습니다. BTF 방식은 주로 3D 데이터의 기하학적 특성을 단순하게 분석하는 데 반해, 제안된 Shape-Guided Dual-Memory Learning 방식은 3D 위치 정보와 2D 색상 정보를 통합적으로 활용하여 더욱 정밀하고 설명 가능한 이상 탐지를 목표로 합니다. 논문에서는 'Shape Expert'와 'Appearance Expert' 를 활용하여 각각의 정보를 별도의 메모리 뱅크에 저장하고, 이를 기반으로 보다 정확한 이상 탐지를 수행합니다. Shape-Guided Dual-Memory Learning은 각 데이터 유형의 독립적 처리와 통합을 통해 더욱 향상된 이상 탐지 능력을 제공합니다. 이미지 이상치 탐지는 2D로 처리하는 것이 익숙한데, 최근 3D 정보를 활용한 연구들을 소개받으면서 굉장히 흥미로웠습니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2024-08-12 03:30

    이번 세미나에서는 "Shape-Guided Dual-Memory Learning for 3D Anomaly Detection" 논문을 소개해주셨습니다. 이 논문은 3D 이상 탐지를 위해 3D 형상 정보와 2D 색상 정보를 결합하는 Shape-Guided Dual-Memory 구조를 제안하고 있습니다. 특히, 'Shape Expert'와 'Appearance Expert'를 통해 3D 형상과 2D 외관 정보를 각각의 메모리 뱅크에 저장하고, 이를 기반으로 보다 정밀한 이상 탐지를 수행하는 방식을 채택하고 있습니다. SDF(Signed Distance Function)를 활용하여 3D 데이터의 형상 정보를 추출하고, 이를 RGB 특성과 매핑하는 과정이 인상적이었습니다. 3D와 2D 데이터를 독립적으로 처리하면서도 통합하여 이상 탐지의 정확성을 높이는 접근법이 흥미로웠습니다. 다만, 복잡한 처리 과정에도 불구하고 기존 2D 기반 방법론과 비교했을 때 성능 향상이 뚜렷하지 않았다는 점은 추가 연구가 필요해 보였습니다. 그럼에도 불구하고 3D 이상 탐지 기술의 발전 가능성을 잘 보여준 연구였습니다. 좋은 발표 감사합니다.


  • 2024-08-12 14:41

    이번 세미나에서는 "Shape-Guided Dual-Memory Learning for 3D Anomaly Detection" 논문을 중심으로 진행되었습니다. 특히, 3D AD 관련 연구인 'Back To the Feature' (BTF) 방식과 비교하여 새로운 방법론의 장점을 명확하게 설명해 주신 부분이 인상 깊었습니다. 제안된 Shape-Guided Dual-Memory Learning 방식은 3D 위치 정보와 2D 색상 정보를 결합하여 더욱 정밀하고 설명 가능한 이상 탐지를 가능하게 한다는 점에서 Contribution을 가집니다. 또한, 'Shape Expert'와 'Appearance Expert'의 개념을 통해 각 정보를 별도로 저장하고 처리하는 방식이 흥미로웠습니다. 3D 정보를 활용한 연구를 세미나를 통해 접하며 그 흐름을 정리할 수 있어 좋았습니다. 좋은 발표 감사합니다.


  • 2024-08-13 00:19

    이번 세미나에서는 "Shape-Guided Dual-Memory Learning for 3D Anomaly Detection" 논문을 소개해주셨습니다. 이 연구는 3D 형상 정보와 2D 색상 정보를 결합하여 이상 탐지를 수행하는 새로운 방법론을 제안하며, 'Shape Expert'와 'Appearance Expert'를 통해 각각의 정보를 독립적으로 저장하고 처리하는 Dual-Memory 구조가 인상적이었습니다. SDF를 활용해 3D 형상을 정밀하게 모델링하고, 이를 RGB 특성과 매핑하는 방식은 3D 데이터의 복잡한 특성을 잘 반영한 것으로 보입니다. 본 연구가 3D 이상 탐지 분야에서 새로운 가능성을 보여준 것이라는 점에서 큰 의의가 있다고 생각합니다. 좋은 발표 감사합니다.


  • 2024-08-13 15:27

    이번 세미나에서는 "Shape-Guided Dual-Memory Learning for 3D Anomaly Detection" 논문에 대해 소개해주셨습니다. 저번 이우준 석사과정의 세미나에 이어서 3D를 통한 이상치 탐지와 관련된 연구였습니다. 해당 연구에서는 3D 데이터의 형상 정보와 2D 색상 정보를 결합하여 보다 정밀한 이상 탐지를 수행하는 방법을 제안하였습니다. 논문에서 소개된 두 가지 주요 구성 요소인 'Shape Expert'와 'Appearance Expert'는 각각의 정보를 별도의 메모리 뱅크에 저장하고 이를 기반으로 이상 탐지를 수행합니다. 이 방법은 3D 형상 정보를 활용한 세밀한 분석과 RGB 색상 정보의 통합을 통해 3D 객체의 이상 탐지를 보다 정밀하게 수행할 수 있습니다. 해당 연구는 3D 및 2D 데이터의 통합을 통해 기존 방법들보다 높은 이상 탐지 성능을 달성한 점입니다. 반면, 일부 복잡한 처리 과정은 기존 2D 기반 방법론과 비교했을 때 성능 향상이 뚜렷하지 않다는 점에서 추가적인 연구가 필요해 보입니다. 좋은 발표 감사드립니다.


  • 2024-07-29 07:06

    금일 세미나는 Shape-Guided Dual-Memory Learning for 3D Anomaly Detection를 바탕으로 진행되었습니다. 해당 연구에서는 Point cloud로 구성된 3D geometry-based data와 2D color-based information을 결합하여 3D anomaly detection 방식을 제안하고 있습니다. 이에 3D geometry-based data에 맞는 이상 탐지를 진행할 수 있는 Shape expert 모델과, 2D color-based information에 맞는 이상 탐지를 진행하는 Appearance expert 모델을 제안하며, 각 Shape를 특정 memory bank에 적재한 후, 각 Shape에 대응되는 Appearance feature를 다른 memory bank에 적재하는 Shape-guided dual-memory 구조를 제안합니다. 먼저 Shape expert 모델에서는 각 Point 별 Signed distance 값을 예측하기 위하여 MLP layer로 이루어진 모델을 제안하여, 각 Point가 객체 표면으로부터 얼마나 떨어져 있는지를 의미하는 Signed distance를 예측하는 함수를 사용합니다. Appearance Expert는 각 shape에 위치한 RGB 정보를 추출하는 모델로, SDF feature에 따른 RGB feature들을 매핑하는 것을 목적으로 모델링 됩니다. 즉, 어떤 shape 위치에 어떤 RGB 정보가 있음을 알려주는 역할이라고 볼 수 있겠습니다. Inference 과정에서는 Test 이미지에 대하여 SDF Feature를 동일하게 추출한 후, 가까운 K개의 이웃을 탐색하는 식으로 진행됩니다. 이후, K개의 SDF/RGB feature들에 Sparce coding을 적용하여 좀 더 Lightweight한 방식으로 재구축 Feature를 생성하고, NIF model로써 최종 SDF Anomaly score map을 도출합니다. 마지막으로, Reconstruction 기반의 RGB anomaly score를 계산함으로써 최종 Anomaly score를 도출합니다. 최근 이런 Embedding space 상에서의 계산을 통한 이상탐지 방법에 관심이 많았는데, 배울게 많은 논문이었던 것 같습니다. 좋은 발표 정말 감사드립니다.


  • 2024-08-14 15:15

    금일 세미나는 이상치 탐지 과업을 위해 3D 데이터와 2D 데이터를 어떻게 Fusion해야 하는지에 대한 방법론을 제시하였던 "Shape-Guided Dual-Memory Learning for 3D Anomaly Detection" 논문을 중심으로 진행되었습니다. Pointcloud는 기존 2D Image와 정보를 표현하는 방식이 아예 다르기 때문에 모델이 이를 잘 활용하게 하는 것은, 그 자체로 Challenging한 과업입니다. 이에 따라, 오히려 기존의 3D 이상치 탐지 방법론은 2D 방법론에 비해 낫지 않은 경우도 많았으며, 그렇기 때문에 두 Modality의 Fusion 방법론에 대한 많은 논문들이 나오고 있었는데, 본 논문은 정작 Fusion에만 너무 신경을 쓰다보면 궁극적인 Objective인 이상치 탐지를 잘 하지 못할 수 있다는 문제를 제기합니다. 이를 해결하기 위해, 각 모달리티를 담당하는 Shape Expert, Appearance Expert를 두고, 이들간의 Mapping을 시키되, Patch-Core방식으로 Memory Bank를 운용하며 이상치 탐지를 수행하고자 하였습니다. 생소한 개념이 많았는데, 정말 알기 쉽게 풀어서 설명해주셔서 감사합니다. 좋은 발표였습니다!


  • 2024-08-14 17:08

    금일 세미나는 point cloud와 RGB에 대한 개별적은 memory module을 이용하여 3D anomaly deteciton 태스크를 수행하는 "Shape-Guided Dual-Memory Learning for 3D Anomaly Detection"을 중심으로 진행되었습니다. BTF 논문에서 point cloud에 대해 전통적인 feature extractor를 적용하는 것이 3D AD에서 높은 성능을 달성한다고 보고하였지만, 이는 실제 직관과 다소 격차가 있습니다. 이에 본 연구에서는 객체 정보와 RGB 정보를 각각의 메모리에 저장하고, sparse coding을 통하여 활용하는 프레임워크를 제안하고 있습니다. 특히 point cloud 정보에 대한 self supervised learning을 적용하거나, point cloud와 RGB 정보를 맵핑하는 방법론들이 기존에도 이미 존재하는 방법이었지만 AD에 적용하는 방식이 인상적이었습니다. 다양한 도메인에서 3D 데이터가 수집되기 시작하면서 RGB 외의 정보를 이용한 AD 방법론이 점차 등장하고 있는 가운데 유의미한 학습 및 예측 프레임워크를 제안한 연구인 것 같습니다. 좋은 발표 감사드립니다.


  • 2024-07-29 15:37

    이번 세미나에서는 3D 이상 탐지를 위한 새로운 접근 방식인 Shape-Guided Dual-Memory Learning을 제안합니다. 핵심 아이디어로는 3D 형상 정보와 2D 색상 정보를 결합하여 이상을 탐지하는 방법이며, 각 특성을 포함하는 특징들을 두 개의 memory bank에 나누어 저장하는 것이 특징이라 할 수 있겠습니다. 하지만, 복잡한 처리 과정과 시스템 자원 요구 사항에도 불구하고, 기존 2D 기반 방법과 비교하여 뚜렷한 성능 향상이 나타나지 않는 점은 아쉬웠습니다. 그럼에도 불구하고, 본 연구는 3D 이상 탐지 기술의 가능성을 보여주며, 이 분야의 발전을 위한 중요한 기여를 했다고 생각합니다. 좋은 발표 감사합니다.


  • 2024-07-29 19:00

    이번 세미나에서는 “Shape-Guided Dual-Memory Learning for 3D Anomaly Detection” 논문을 중심으로 진행되었습니다. 본 연구는 3D 형상 정보와 2D 색상 정보를 결합한 이상 탐지 모델을 제안하며, 각각의 정보를 처리하기 위해 Shape Expert와 Appearance Expert라는 두 가지 전문가 모델과 이를 연결하는 Shape-Guided Dual-Memory 구조를 활용합니다. Shape Expert는 Signed Distance Function(SDF)를 기반으로 3D 포인트의 형상 정보를 학습하며, Appearance Expert는 해당 형상 정보에 매핑된 RGB 특성을 학습합니다. 두 Expert는 각자의 메모리 뱅크에 정보를 저장하며, 이를 통해 3D와 2D 데이터를 독립적으로 처리하면서도 상호 보완적으로 통합합니다. 모델은 K-Nearest Neighbor 탐색과 Sparse Coding 기법을 활용하여 입력 데이터의 재구축 오류를 기반으로 Anomaly Score를 산출합니다. 해당 논문은 3D와 2D 데이터를 효과적으로 융합하는 방법을 제시하면서도 각각의 특성을 별도로 처리하여 이상 탐지 성능을 높이려는 접근법이 인상적이었습니다. 특히, 복잡한 Fusion 전략 대신 Memory Bank를 활용해 효율성을 높이고자 한 점이 주목할 만했습니다. 다만, 기존 2D 기반 방법론 대비 성능 향상이 제한적이라는 점은 추가 개선의 여지가 있어 보였습니다. Point Cloud 기반 3D 이상 탐지라는 도전적인 주제를 흥미롭게 풀어낸 연구였으며, 발표를 통해 이해가 더욱 수월했습니다. 유익한 발표 준비에 감사드립니다!


  • 2025-01-30 12:23

    이번 세미나에서는 "Shape-Guided Dual-Memory Learning for 3D Anomaly Detection" 논문을 다뤘습니다. 이 연구는 3D 형상 정보와 2D 색상 정보를 결합하는 독창적인 방법인 Shape-Guided Dual-Memory 구조를 제시했습니다. 특히, 'Shape Expert'와 'Appearance Expert'를 통해 3D 형상과 2D 색상 데이터를 독립적으로 저장하고 처리하는 방식이 인상적이었으며, 이를 통해 이상 탐지 정확도를 높이려는 접근이 흥미로웠습니다. SDF를 활용해 3D 데이터를 다루는 방식도 새로운 시도로 주목을 받았습니다. 발표 중에는 기존 2D 기반 방법론과 비교하여 성능 차이가 크지 않다는 점도 언급되었으며, 이에 대한 추가 연구가 필요하다는 의견도 있었습니다. 그럼에도 불구하고, 3D 이상 탐지 분야에서 새로운 가능성을 열어준 연구였고, 세미나를 통해 관련 기술과 흐름을 잘 이해할 수 있었습니다. 좋은 발표 감사합니다.


전체 556
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 15458
관리자 2020.03.12 0 15458
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 14186
관리자 2020.03.12 0 14186
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 15162
관리자 2020.03.12 0 15162
553
[Paper Review] Why CLIP fails at Dense Prediction Task? (3)
Jinwoo Jang | 2026.04.06 | 추천 0 | 조회 75
Jinwoo Jang 2026.04.06 0 75
552
[Paper Review] Dynamic Large Concept Models (8)
Jaeyong Ko | 2026.03.30 | 추천 0 | 조회 147
Jaeyong Ko 2026.03.30 0 147
551
[Paper Review] Programming Refusal with Conditional Activation Steering (15)
Sunmin Kim | 2026.03.10 | 추천 0 | 조회 413
Sunmin Kim 2026.03.10 0 413
550
[Paper Review] Towards a General Time Series Anomaly Detector with Adaptive Bottlenecks and Dual Adversarial Decoders (9)
Sunghun Lim | 2026.03.01 | 추천 0 | 조회 337
Sunghun Lim 2026.03.01 0 337
549
[Paper Review] Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspective (9)
Suyeon Shin | 2026.02.25 | 추천 0 | 조회 248
Suyeon Shin 2026.02.25 0 248
548
[Paper Review] Recent Research Trends Foundation Model for Visual Anomaly Detection (10)
Jaehyuk Heo | 2026.02.12 | 추천 0 | 조회 503
Jaehyuk Heo 2026.02.12 0 503
547
[Paper Review] Vision-based and Multimodal Approaches for Time Series Analysis (9)
Hyeongwon Kang | 2026.02.10 | 추천 0 | 조회 488
Hyeongwon Kang 2026.02.10 0 488
546
[Paper Review] Introduction to Neural Operator (10)
Hankyeol Kim | 2026.02.03 | 추천 0 | 조회 595
Hankyeol Kim 2026.02.03 0 595
545
[Paper Review] Enhancing Time Series Forecasting through Selective Representation Spaces: A Patch Perspective (13)
Sieon Park | 2026.01.29 | 추천 0 | 조회 594
Sieon Park 2026.01.29 0 594
544
[Paper Review] ELFS: Label-Free Coreset Selection with Proxy Training Dynamics (13)
Subeen Cha | 2026.01.28 | 추천 0 | 조회 394
Subeen Cha 2026.01.28 0 394

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 김재희: jaehee_kim@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호