금일 세미나는 Memory-guided anomaly detection을 주제로 두가지 논문을 소개해주셨습니다. 해당 세미나 서두에서 Does basic assumption in anomaly detection always hold?라는 질문을 던지고 있는데, 저는 해당 논문과 조금 다른 생각을 가지고 있습니다. 이상치탐지가 어려운 가장 큰 이유는 비정상 데이터가 극히 적으며, 이 비정상 또한 정상과 유사한 모양을 가지므로 정확히 선별하는것이 어렵기 때문입니다. 따라서 다양한 논문들이 reconstruction error를 모두 사용하지않고 abnormal score의 극단치 (min, max, topk)를 사용하고있다고 생각합니다. (하지만 reconstruction error만으로 좋은 이상치 탐지 모델을 만들기 어렵다는 것은 완벽히 동의합니다)

소개해주신 논문들은 모두 memory module을 통해 정상 데이터의 특징을 저장하며 이를 통해 기존 AE기반의 모델보다 높은 성능을 보였습니다. 저는 그중에서도 두번째 논문인 “Learning memory guided normality for anomaly detection” 연구에 관심이 갔습니다. test 과정에서도 정상을 지속적으로 업데이트하고 학습하는 과정을 가지는데, online anomaly detection이 가능하다는 측면에서 활용성 높은 모델이라 생각됩니다. 좋은 발표 감사합니다.

오늘 소개된 논문은 AE 계열의 방법론에서 Memory network 를 이용한 두가지 논문입니다. 첫번째 논문에서는 메모리에 저장된 이미지 feature 와 query 의 유사도 weight 를 활용하여 가중합을 통한 representation 을 생성합니다. 특이한 점은 w를 생성할때 hard shrinkage sparse addressing 이란 방법을 통해 많은 memory 중 상당히 유사한 것을 선별하여 사용하는 점이였습니다. 이 과정이 없으면 결국은 선형결합을 통한 weight 학습으로 인해 reconstruction loss 에 악영향을 끼치는 것으로 생각했습니다. 두번째 방법론은 첫번쨰 방법론과 목적자체는 유사해 보였고, 이를 해결하는 과정에서 추가되는 loss 가있었습니다. feature separateness loss 를 통해 feature 가 가지는 특성이 다른 feature 와 도드라지게 달라지게 하는 효과가 있지않나 생각했습니다.
우선 두 논문에서 수행하고자 했던 접근이 Disentangled representation 에서 수행하고자 하는 것과 상당히 유사하다는 생각을 받았었고, 두번째 논문에서 마지막에 memory 와 query feature 를 concat 해서 사용하는데, 유사 연구들 중에서 두개의 조합을 concat 하는것보다, element-wise 곱으로 수행해서 separated loss 와 같은 효과를 더 증진시키는 연구들이 있습니다. 혹시 ablation study 에서 진행했는가하고 찾아봤는데, 그 부분이 없어서 개인적으로 궁금하기도 하고, 오늘 소개해주신 방법론과 비교해서 연구해보면 좋은 주제가 될 것 같습니다. 좋은발표 감사합니다.

오늘 세미나에서 소개한 내용은 Memory-guided Anomaly Detection 입니다. 세미나에서는 2019년 ICCV에서 소개된 Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detectionr과 2020년 CVPR에서 소개된 Learning Memory-guided Normality for Anomaly Detection에 대해 순차적으로 memory를 활용한 Anomaly Detection에 대해 소개해주셨습니다. 기존 Auto-Encoder를 통해 Anomaly Detection을 수행하는 방법은 정상 데이터를 학습하는 방식은 비정상 데이터가 입력 데이터로 들어올 때 정상 분포를 생성한다는 가정하고 있습니다. 그러나 첫 번째 논문에서는 이러한 가정이 실제로는 잘 작동하지 않다고 주장하고 그에 대한 예시 그림으로서 본 논문에서 제안하는 방법과 비교하여 memory를 활용하면 이러한 문제를 해결할 수 있음을 보였습니다. 이어서 두 번째 논문에서는 여기에 정상 데이터를 보다 잘 반영할 수 있는 loss 제안하였습니다. 이번 세미나에서는 보편적으로 믿고 있던 내용에 대해 다시 한 번 생각해보게되는 시간이 되었고, 앞으로 연구 방향에 있어서 한 번 쯤 믿고 있던 가정을 확인해봐야 겠다는 생각이 들었습니다. 오늘도 좋은 내용 소개해주셔서 감사합니다.

본 세미나에서 정의하는 문제는 Reconstruction Error를 활용한 이상 탐지의 당연하게 여겨지던 결과인, 비정상 입력 값을 넣으면 복원이 잘 되지 않아 RE가 크다는 것이 사실은 옳지 않다는 것입니다. 가정과는 달리 AutoEncoder가 비정상 데이터에 대해서도 복원을 잘하며 정상 데이터의 에러와 비교해 차이가 나지 않는다는 것을 주장합니다. 따라서 Autoencoder 내부에 메모리 모듈을 추가하여 입력 표상과 가장 유사한 정상 메모리를 찾아 정상 패턴으로 복원되도록 하며, 비정상 데이터가 제대로 복원 되는 것을 메모리와 Sparse Addressing으로 방지하고자 합니다. 소개한 두 논문 중 첫번째 논문에서는 인코더, 디코더에 더해 정상 프로토 타입을 저장하고 쿼리와 유사한 메모리를 Addressing하는 Memory Module을 중간에 구성합니다. 이를 통해 쿼리와 가장 유사한 메모리 아이템들로 중간 표상 z를 구성할 수 있어 정상과 비정상 데이터를 명확히 구분할 수 있습니다. 두 번째 논문은 첫 번째 논문이 구성한 정상 데이터의 Feature가 Single로 되어 있는 반면 Multi Prototypical Feature로 표현함을 주정하며, Memory Item별로 Discriminative한 특성을 포함시킬 수 있는 Loss를 사용해 더 적은 메모리를 사용하도록 합니다. 즉, 기본적으로 두 논문 모두 메모리 네트워크를 사용하며 이를 통한 정상 / 비정상 데이터의 명확한 구분을 가능하게 합니다. 많은 것을 배울 수 있었던 시간이었으며 좋은 발표 감사드립니다.

이번 세미나에서 소개된 논문은 2개로, AE 모델로 비정상 이미지를 복원할 때 error가 크지 않을 수 있다는 점을 지적하며, memory 모듈을 사용해 정상 데이터만을 잘 표현할 수 있도록 보완했습니다. 첫번째 논문에서는 MemAE라는방법론을 제안하였고 encoder output인 feature map이 query가 되어 memory item과의 attention score를 구하고 그 score를 바탕으로 memory item을 가중합하여 representation을 도출합니다. 즉, 메모리 내에 존재하는 정상 데이터와 관련된 item을 활용하여 representation을 구성한 것입니다. 특히, 비정상 데이터의 특성이 representation에 담기는 것을 방지하기 위해 shrinkage function을 사용하여 sparsity한 memory weight를 사용해 representation에 반영되는 메모리 item 개수를 제한하였습니다. 두번째 논문은 정상 데이터를 single feature가 아닌 multiple-prototypical feature로 표현할 수 있도록 feature compactness & separateness loss를 추가하였고, 이를 통해 앞선 MemAE보다 더 적은 메모리 사용이 가능하도록 했습니다. 본 논문의 주요 특징은 k개의 query와 m번째 memory item과의 유사도를 반영해 memory item m번째를 update한 것이고 query와 memory item간에 매칭되는 것끼리는 최소화하면서 memory item 개별적인 거리는 멀게 하여 distinct한 특징을 유지하고자 한 것입니다. 최근에 vision에서 memory encoder를 쓴 MoCo라는 논문과 문서요약에서 contrastive한 특성의 loss를 사용한 SimCLS라는 논문을 읽고 이상치 탐지 분야에 어떻게 활용할지에 대한 고민이 있었는데, 이와 유사한 컨셉의 논문이라 흥미롭게 발표를 들었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Memory-guided Anomaly Detection과 관련된 논문을 2개 소개해 주셨습니다. CNN 모델은 정상 feature를 조합하여 비정상 feature를 만들어낼 수 있는 상황이 존재하여 비정상 input에 대해서도 어느 정도 잘 복원해낸다는 특징을 갖고 있고, 이러한 특징은 이상치 탐지 성능에 좋지 않은 영향을 끼치게 됩니다. 이러한 한계점을 보완하고자 memory module 포함된 Encoder-Decoder 구조 제안한 논문들은 아래와 같습니다.

[1] Memorizing Normality to Detect Anomaly (ICCV, 2019)
기존 Autoencoder 방식에 Memory Module을 추가하여 정상 패턴을 추출하고 이를 저장하고자 하였습니다. 이때 Attention기법을 통해 Memory Addressing을 수행하게 되고, representation 구성 시, query와 좀 더 연관된 item만을 활용하기 위해 사용 메모리 개수를 제한합니다.

[2] Learning Memory-guided Normality for Anomaly Detection (CVPR, 2020)
앞의 논문의 memory module은 정상 데이터를 single prototypical feature로 임베딩하지만, 본 논문에서는 Feature compactness loss와 separateness loss를 통해 각 memory item별로 discriminative한 특성을 포함시켜, 더 적은 memory 사용으로 multiple-prototypical feature로 표현이 가능하도록 합니다. 또한, test time에서 정상과 비정상을 구분하여 추가적으로 모델이 업데이트될 수 있도록 하였습니다.

메모리 네트워크라는 개념이 생소했음에도 불구하고 친절하게 설명해주셔서 재밌게 들을 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나는 Anomaly Detection을 위한 Auto-encoder에 메모리 네트워크 활용한 방법론과 그의 후속 연구에 대해 소개되었습니다. 통념상 데이터를 Auto-encoder에 입력하였을 때 decoder로 복원된 결과물과 입력값의 차이를 통해 이상치를 확인하게 됩니다. 허나 이는 Auto-encoder가 정상 데이터의 분포를 따른다는 가정이 뒷받침 되어있는 것인데 금일 소개한 두 편의 논문 중 첫 번째 논문에서 이에 대해 반박하였고 이를 memory 네트워크를 활용하여(MemAE) 해결할 수 있음을 주장하고 있습니다. 두 번째 논문에서는 MemAE에서 활용하는 loss를 변형하여 reconstruction loss를 비롯해 feature compactness loss와 feature separateness loss를 이용하여 정상 데이터를 잘 반영할 수 있는 개선점을 보여주고 있습니다. 개인적으로는 메모리 네트워크의 활용성에 대해 그렇게 크게 생각하고 있지 못했는데 처음 제안 되었던 자연어처리 분야 이외로도 이상치탐지 분야에 활용될 수 있는 것이 흥미로웠습니다. 한편, 역시나 loss를 어떻게 설정하느냐에 따라 모델이 발전 될 수 있음을 다시 한 번 확인할 수 있었습니다. 유익한 내용 준비해주신 발표자 분께 감사드립니다.

금일 세미나에서는 "Memory-guided Anomaly Detection"이라는 주제를 가지고 두 가지 논문을 살펴보았습니다. 우선 두 논문 모두 기존의 autoencoder 구조로는 anomaly detection을 수행하기 어렵다고 주장합니다. 사실 이러한 주장은 예전부터 존재했는데, encoder의 bottleneck 부분을 생각한다면 직관적으로 이해할 수 있습니다. 세미나에 소개된 두 논문 모두 이러한 문제를 memory module을 통해 해결하고자 합니다. Encoder에서 생성된 latent code를 query로 사용하게 되는데 사실 이 부분이 매우 신기했습니다. 개인적으로는 encoder가 bottleck 구조를 띄고 있기 때문에 abnormal, 즉 정상과 크게 다르지 않은, 이미지를 인풋으로 넣었을때 정상 데이터와 비슷한 부분에 dominant 되어 abnormal data 또한 normal data와 유사하게 encoded 되며 이러한 이유로 인해 decoding 결과가 유사하다 라고 이해를 하고 있습니다. 하지만 이런식으로 이해를 한다면 세미나에서 다룬 논문들에서 제안한 방법론을 사용하더라도 유사한 memory item에 대한 attention score가 함께 높아지지 않나? 라는 생각이 들었습니다. 실질적으로 latent code에 대한 분포 차이를 함께 보여주었다면 좋았을 것 같고, 이러한 연구를 진행하는 것도 매우 의미 있을 것이라는 생각이 들었습니다. 발표 감사합니다.

인코더-디코더 구조의 이상치탐지 모듈에서는 입력 데이터와 복원 데이터 간 차이가 높을수록 이상치로 간주하는 가정을 가지고 있습니다. 소개해주신 논문에서는 이 가정을 공격하며 비정상 데이터 역시 복원력이 뛰어난 상황을 보입니다. 그리고 autoencoder 내 별도의 memory module을 두어 입력 데이터의 임베딩을 메모리에 저장한 후, 다른 입력이 들어오면 메모리 내 유사한 임베딩을 retrieve하여 가중합하는 방법을 제안합니다. QA와 attention 기반 알고리즘에 관한 선행연구들이 이 분야를 발전시키는 데 도움이 많이 될 것 같았습니다. 비정상 데이터가 우연히 정상 데이터와 특성이 겹쳐 복원이 잘 되는 상황을 대비하여 적용하는 hard shrinkage 기법도 저자의 의도를 잘 구현한 형태라는 생각이 들었습니다. 메모리 모듈이 도입되었다면 자연스레 이전 연구들에 의해 확인된 메모리 모듈의 한계점에 대한 분석 역시 이루어질텐데 순차적인 발전이 이루어질 수 있을지 기대됩니다. 발표 잘 들었습니다.

이번 세미나는 Memory-guided Anomaly Detection을 주제로 진행되었습니다. 이상치 탐지 task는 주로 encoder를 활용하여 정상 패턴을 추출하고 decoder로 잠재벡터를 복원하며, 원본과 복원 데이터 간의 reconstruction error를 최소화하는 방식으로 학습이 진행됩니다. 이때 정상 input은 복원이 잘 이루어져 RE가 작을 것이라는 가정과는 달리, 오토인코더의 경우 비정상 input에 대해서도 잘 복원해내는 특징을 가집니다. 따라서 본 논문은 오토인코더 내부에 memory module을 추가하여 input representation과 유사한 memory를 찾아 정상 패턴으로 복원되도록 구성함을 통해 memory module과 sparse addressing으로 비정상일 때의 복원을 어렵게 하자는 의도를 담고 있습니다. 이상치 탐지 task와 더불어 각 방법론들을 이해하는데에 한계가 있었지만, 발표자분께서 발표 초반 명확한 문제 세팅과 더불어 이를 해결하고자 등장한 방법론들에 대해 명확하게 설명해주셔서 이해하는데 도움이 되었습니다. 개인적으로 아직 연구 분야로 두고 있지는 않지만 이상치 탐지에 관심을 가지고 있기 때문에 발표를 더욱 흥미롭게 들을 수 있었습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나는 Memory network를 사용한 anomaly detection 두 논문을 주제로 진행되었습니다. Memory-guided Anomaly detection은 정상 패턴을 잘 반영하고 있는 representation을 memory에 저장하고 있다가 enoded input을 query로 하여 memory 내에 저장된 representation을 추출하여 사용하는 방법입니다. 기존의 reconstruction 기반의 이상탐지의 경우 비정상 input에 대해서도 정상 데이터의 local 특징을 잘 조합하여 비정상 데이터를 복원하는 문제점이 있었습니다. 따라서 memory module과 sparse addressing으로 비정상일 때 복원을 어렵게 하겨 문제점을 해결하고자 하였습니다. 첫번째 방법론인 MemAE의 경우 sparsity addressing을 통해서 memory module 기반의 autoencoder를 제안하였습니다. Sparse addressing을 이용한 이유는 정상 memory item을 여러 개 사용했을 때, 비정상 데이터와 겹치는 특성을 통해 복원 될 우려가 있어 더 관련된 item들만 활용하게 하기 위해서 입니다. 두번째 방법론은 정상의 다양한 패턴 임베딩을 위해 fearue compactness loss와 feature separateness loss 2개를 추가하여 더 적은 메모리 사용이 가능하도록 하고, test time에서 정상패턴을 계속 학습하게 하였습니다. memory network에 대해서는 잘 알지 못하였는데 이번 세미나를 계기로 새로운 분야에 대해서 알게된 계기가 된 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 anomaly detection에 대해 다루어주셨습니다. 오늘 소개해주신 논문에서는 기존 reconstruction 기반의 anomaly detection의 문제점을 지적하고 이를 메모리 네트워크를 통해 해결하였습니다. 이상치 탐지를 수행할 때 정상 데이터로 학습했으니, 비정상 데이터는 잘 복원하지 못할거야라는 가정이 무조건 맞지는 않을거라는 생각을 원래부터 하고 있었습니다. 정확하게 말하면 그 가정은 성립할 확률이 높은거지 무조건 성립한다는 것은 불가능하다고 생각했는데, 이번 세미나에서는 그 문제점을 지적하고 이 가정의 부족한 점을 해결하기 위해 메모리 네트워크를 도입하였습니다. 메모리 네트워크는 정상 데이터를 학습하면서 그 데이터가 갖고 있는 feature representation을 기억함으로써 비정상 데이터에 대해 더욱 복원하지 못하도록 제한하는 역할을 합니다. 최근 접했던 연구중에서 가장 참신했고, 메모리 네트워크라는 구조가 여러 방면에서 활용될 수 있다는 생각을 하였습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Memory-guided Anomaly Detection 을 주제로 두 가지 논문에 대해 소개되었습니다. 오토인코더 기반 anomaly detection 모델은 불량 이미지를 입력으로 사용했을 때 복원 성능이 양품보다 떨어진다는 것을 가정합니다. 하지만 소개된 두 연구에선 AE가 비정상 이미지에 대해서도 어느 정도 복원이 가능하다는 점을 지적하며 양품만 복원할 수 있도록 모델을 제약하기 위한 방법론들을 제시합니다. memory 모듈을 사용한다는 점이 두 연구의 공통점이고, 이는 VAE 기반 생성모델의 성능을 GAN 수준으로 끌어올렸던 VQ-VAE에서 착안한 것으로 생각됩니다. 복원 이미지를 정상 샘플로 제한하기 위해 두 논문에선 추가적인 loss 가 사용되는데, 특히 정상 샘플들을 multi-prototypical feature 로 매핑하려 시도하며 loss에 memory item 별로 discriminative한 특성을 반영한 두 번째 연구가 task에 맞게 objective function을 잘 설계했다는 생각이 들었습니다. 관심분야인 Image anomaly detection의 다양한 연구에 대해 소개해주셔서 재밌게 들을 수 있었던 세미나였습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Memory-guided Anomaly Detection을 주제로 두개의 논문에 대해 소개해주셨습니다. 먼저 소개해주신 내용에서는 신기하게도, 정상 데이터로 학습된 encoder가 나름대로 비정상 데이터에 대해서도 잘 복원을 하고 있다는 점을 말씀해주셨습니다. 다만 교수님께서 질문하신대로 이게 복잡한 데이터에 대해서도 동일하게 적용이 되는가 에 대해서는 의문이 있었지만, 어쨌든 소개해주신 논문은 이러한 점을 지적하면서 memory network의 사용을 제안합니다. Memory network는 말그대로 정상 데이터를 학습 시 해당 표상을 미리 저장을 해두는 공간으로서, 이후 데이터가 입력될 때 retrieval을 수행하여 이를 기반으로 복원을 진행하게 됩니다. 즉 비정상 데이터가 입력될 때에는 메모리 모듈 상에서 유사한 표상을 retrieve 할 수 없기 때문에 앞서 말한 한계점이 어느 정도 해결되는 것으로 보입니다. 또한 이에 더해 두번째 논문은 Feature compactness & separateness loss 개념을 추가적으로 적용해, memory module 상에서 정상 데이터의 표상 학습을 보다 고차원적으로 수행합니다. 간단한 아이디어이면서 굉장히 참신하다 생각이 든 방법론이었습니다. 좋은 발표 감사합니다.

금일 세미나는 "Memory-guided Anomaly Detection"라는 주제로 진행되었습니다. 본 발표에서는 encoder-decoder 구조를 기반으로 한 기존의 image anomaly detection 방법론들의 한계점을 개선하기 위해 memory 모듈을 도입한 2개의 논문이 소개되었습니다. 일반적으로 encoder-decoder 구조를 사용한 이상치 탐지 모델에서는 정상 데이터에서 학습된 encoder-decoder 구조가 정상 데이터에서 낮은 복원 에러를 가지는 반면 비정상 데이터에서는 복원 에러가 크다는 가정을 기반으로 이상치를 탐지합니다. 하지만, 본 논문에서는 autoencoder가 비정상 데이터도 잘 복원할 수 있다는 것을 보여주면서 기존의 가정이 잘못되었음을 지적하였습니다. 매우 당연하게 고려하는 가정의 문제점을 지적한 점이 참신했고, 이러한 문제점을 지적한 것 뿐만 아니라 이를 해결하기 위해 memory module과 sparsity weight addressing 기법을 추가한 새로운 방법론을 제안한 점이 좋았습니다. 먼저 anomaly detection에 memory network를 접목시킨 MemAE가 소개되었고, 해당 모델에 loss 및 scoring function을 추가한 발전 모델도 소개되었습니다. 발전된 모델에서 feature compactness loss와 separateness loss를 추가하는 간단한 방식을 통해 모델이 정상 패턴을 더 잘 반영할 수 있도록 개선된 것을 통해 역시 loss의 역할이 중요하다는 것을 다시 한 번 확인할 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 Memory-guided Anomaly Detection에 대해 진행되었습니다. 본 연구는 기존에 진행되어온 방법론들의 한계를 지적하고, 이에 대한 개선 방안으로서 memory 모듈을 도입하는 접근을 제안합니다. 개인적으로 이상치 탐지에 관심을 갖고 있었는 데, 좋은 발표 감사드립니다. AutoEncoder 계열의 이상치 탐지 방법론들은 abnormal이라 하더라도, normal과 조금이라도 유사하다면, reconsturction loss가 낮지 않은 탓에 이 부분에 대한 anomaly dection 성능이 다소 낮아지는 문제점을 보이곤 합니다. 이러한 부분을 보완 하고자 memory module을 추가하는 것이 첫 번째 연구입니다. 결국, Normal pattern에 대한 정보를 온전히 제대로 전달하고자 memory network를 활용하는 것으로 보입니다. 정상 데이터에 대한 패턴을 다시 복구해낸다는 점에서 비교적 간단하고 직접적인 접근이지만, memory network를 적극 활용한다는 점에서 기존의 AutoEncoder 방법론에 보조적인 network가 필요해, 학습 부담이 더해지는 것은 아닐 까 생각했습니다. 두 번째 논문은 첫 논문을 개선한 부분이 눈에 띕니다. Feature compactness, separateness loss 부분을 활용해 보다 적은 memory의 사용이 가능하게 했습니다. 이는 보다 효율적인 접근을 가능케 하는 부분이라 생각합니다. 이번 세미나를 통해 memory network라는 모듈의 활용가능성에 대해 다시 한 번 생각해보게 되었습니다. Normal pattern에 대한 정보를 계속 유지해낸다는 점은 향후 anomaly detection task에서 꽤나 유용하게 회자될 수 있을 것 같습니다. 좋은 발표 감사드립니다.

오늘 세미나에서는 이미지 이상치 탐지를 위해 memory 모듈을 사용하는 방법론 2가지를 소개해주셨습니다. 이들은 autoencoder를 이용한 기존의 재구축 기반 이상치 탐지 방법론이 의도와 달리 비정상에 대해서도 잘 복원하고 있다는 점을 지적하고, memory module, sparsity weight addressing을 사용하여 이러한 문제점을 개선하고자 하였습니다. MemAE는 AE 구조에 memory module을 추가하여 새로운 example의 representation과 가장 유사한 memory 내 item을 선택하여, 이들로 representation을 다시 구성하였습니다. 학습을 위한 loss는 기존 AE의 reconstruction error에 memory addressing weight에 대한 entropy를 추가하여 weight의 sparsity를 고려하도록 하였습니다. 두번째 논문에서는 MemAE의 loss에 feature conpactness, separateness loss를 추가하여 각 memory item이 redundant한 정보를 가지지 않도록 하였습니다. 이상치 탐지를 위해 memory network 개념을 도입하고자 한 아이디어가 굉장히 참신하다고 생각되어 흥미로웠습니다. 좋은 발표 감사합니다.