이번 세미나에서는 Vision과 Time-Series 분야에서 Masking과 Siamese Net 구조를 사용해 성능 향상을 시킨 “Siamese Masked AutoEncoder”, “SimMTM: A Simple Pre-training Framework for Masked Time-Series Modeling” 논문에 대해 발표해 주셨습니다. 첫 번째 논문은 Siamese Network 구조를 활용하여 이미지내 객체의 정보를 전파시키고자 한 방법론으로, Video 데이터를 활용한 테스크에서 SiamMAE 구조를 제안하였습니다. 특히 Video 데이터에서 Frame 단위로 학습하여, Cross Attention을 이용한 시간적인 정보도 같이 학습 가능하도록 하였다는 점이 인상깊었습니다. 또한 서로 다른 관점에서 인코딩을 하기 위해 첫 번째 인코더는 원본 이미지에 대한 인코딩, 두 번째 인코더에서는 마스크가 있는 상태에서 인코딩해 서로 파라미터 공유를 하지 않았다는 점이 기존의 방법론과는 다른 차이점이라고 생각했습니다. 두 번째 논문은 Original Image의 정보를 받아 자신이 집중해야 할 부분을 찾고 Cross Attention을 활용해 Original 정보를 Masking해 예측 시 활용하는 방법론을 제안하였습니다. 여러 개의 Masked Series로부터 Aggregation된 결과를 활용하여 값을 예측하는 새로운 관점을 제시하였으며 이를 통해 시계열적인 특성을 더 잘 파악할 수 있었습니다. 그 결과, 시계열 데이터의 마스킹은 중요한 정보를 손실할 수 있기 때문에 매우 까다로움에도 불구하고 Classification, Forecasting 테스크에서 좋은 성능을 기록했다는 점이 인상깊었습니다. 두 논문 리뷰를 들으며 향후 Vision, Time-Series뿐만 아니라 다양한 테스크에서 활용될 수 있을 것이라고 생각했고 추후 활용 가능성이 매우 높은 방법론이라고 생각했습니다. 좋은 발표 해주셔서 감사드립니다.

금일 세미나는 최근 활발히 연구되고 있는 Masked Auto Encoder 구조에서 Masking 기법을 중심으로 진행되었습니다. 크게 두가지 논문을 중심으로 진행되었는데, 첫번째 논문인 "Siamese Masked Autoencoder에서는 이미지 도메인에서 원본 이미지와 대부분의 Patch에 대해 Masking을 진행한 이미지를 Encoding한 후 Self Attention Module을 담고 있는 Decoder를 통해 원본 이미지를 복원하는 전략을 취하고 있습니다. 특히 이 과정에서 동일한 이미지를 사용하는 것이 아닌, 시점 차를 두고 Masking할 이미지를 선택하여 이미지 데이터의 위치 정보를 최대한 활용하면서도 Semantic 정보를 이용하도록 모델의 학습을 강제하는 모습이 인상적이었습니다. 두번째 논문인 SimMTM은 시계열 데이터에서 입력된 배치에 대해서 Masking을 반복하여 수행하여 여러 데이터를 생성하고, 본인의 Masking 데이터와 다른 데이터의 Masking 데이터를 구분하도록 Contrastive Learning을 수행하고 있습니다. 이를 통해 Masking 기법이 기존 데이터의 분포에서 벗어나는 점을 극복하고, Masking을 Multi-view로 사용할 수 있게 됩니다. 두 방법론 모두 NLP에서 널리 활용되는 Masking을 이용하고 있지만, 각 도메인에 적합하도록 전략을 변경하는 모습이 인상적이었습니다. NLP에서도 극단적으로 Masking 비율을 높이는 것이 모델의 수렴 속도 및 성능에 도움이 된다는 보고가 있는만큼, Masking이 단순하지만 강력한 전략으로 당분간 연구될 수 있을 것 같습니다. 좋은 발표 감사드립니다.

금일 세미나에서는 Masking strategy라는 주제를 바탕으로 2가지 논문을 소개해 주셨습니다. Masking 전략은 효과적으로 Data의 Representation을 학습할 수 있는 방법으로 CV의 MIM, NLP의 MLM 등 다양한 분야에서 사용되는 기법으로, 제가 연구하는 Time-series 분야에서도 줄곧 사용되는 전략이기에 더욱 흥미롭게 들을 수 있었습니다. 먼저 소개해주신 “Siamese Masked AutoEncoder” 논문에서는 Siamese network 구조와 Masking 전략을 사용하는 기존 연구들에 비하여, Representation을 복원하는 것이 아닌 Input으로 들어오는 Image 자체를 복원하는 Task를 수행하면서, 추가적인 loss에 대한 설정 없이 SOTA 성능을 달성하고 있습니다. 이때 기존 Siamese 구조와 달리 Encoder의 Parameter를 sharing하지 않고 있고, Decoder에서는 두 Encoder의 Output을 Cross attention해준 후, Self-attention을 추가로 수행해주는 Cross-self decoder를 사용하고 있었습니다. 두 번째로 소개해주신 ”SimMTM: A Simple Pre-training Framework for Masked Time-Series Modeling” 논문에서는 시계열 데이터에서의 Masking 전략에 대해서 다루고 있습니다. 시계열 데이터는 Vision pixel에서 중복적인 값이 많은 것과는 달리, 각 데이터 포인트가 중요한 특징을 나타낼 수 있기에 Masking 전략에 신중해야 하는 분야입니다. 이때, 해당 논문에서는 이러한 문제점에 입각하여 여러 개의 Masked series 로 부터 Aggregation 된 결과를 활용하여 값을 예측하는 새로운 관점을 제시하고 있습니다. 저 역시도 개인 연구에서 Masking 전략을 사용하고 있기에, 해당 세미나에서 많은 부분을 배울 수 있었습니다. 좋은 발표 정말 감사드립니다.

본 세미나에서는 Masked AutoEncoder 구조를 활용한 이미지 관련 논문 1편과 시계열 관련 논문 1편에 대한 리뷰를 진행하였습니다. 먼저 이미지 관련 논문인 "Siamese Masked Autoencoders"의 경우 비대칭적인 구조의 MASK 를 사용하여 Temporal 정보를 전달하는 구조를 제안하였습니다. 또한 Cross self attention 방식의 decoder 와 siam 구조의 encoder 의 구조를 활용하였습니다. 시계열 관련 논문인 "SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling"의 경우 MASK Series 를 data augmentation 관점에서 이웃의 정보로 활용하였습니다. 생성되는 이웃의 정보들과 다른 샘플의 Series 정보를 바탕으로 자신의 representation 을 생성하였고, 온전한 자신의 정보를 바탕으로 유사한 sample 찾고 이를 aggregation 하는 방식으로 masking 을 사용하는 새로운 방법을 제시하였습니다. 2편의 논문과 더불어 발표자분의 연구 도메인이 그래프와 연결시켜 아이디어를 설명하신 부분이 인상적이었습니다. 교수님께서 늘 하시던 말씀 중 하나인 "도메인이 다르더라더라도 딥러닝이라는 핵심은 연결되는 부분이 많다" 라는 말이 떠올랐습니다. 리뷰한 논문들의 아이디어를 그래프 도메인에 접목시켜 좋은 연구로 발전하기를 기대합니다. 좋은 발표 감사합니다!

본 세미나는 이정호 발표자님께서 "Siamese Masked Autoencoders"와 "SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling"라는 2개의 논문을 중심으로 진행해주셨습니다. 먼저 "Siamese Masked Autoencoders" 논문은 비디오 데이터를 활용한 Task에서 Siamese Network 구조와 비대칭적인 구조의 마스크를 결합하는 방법론을 제안했습니다. 특히 프레임 단위의 학습을 통해 시간적 정보를 포착하고, Cross Attention 메커니즘을 통해 보다 정밀한 데이터 처리를 가능하게 했습니다. 기존 방법론과 비교해 볼 때, 원본 이미지와 마스크가 적용된 이미지를 다른 모델로 인코딩함으로써, 파라미터 공유를 하지 않는 점에서 차별화된다고 할 수 있습니다. 두 번째 "SimMTM" 논문은 시계열 데이터에서의 마스킹 전략에 중점을 두었습니다. 기존 방법론과 다르게, 생성된 이웃의 정보들과 다른 샘플의 시리즈 정보를 기반으로 자신의 representation을 만들어내는 방식을 제안했습니다. 특히, 자신의 정보를 바탕으로 유사한 샘플을 찾아내고, 이를 aggregation하는 새로운 방식을 도입하여, 시계열 데이터의 마스킹이 어려움에도 불구하고 분류와 예측 작업에서 우수한 성능을 보였습니다. 두 논문은 Masking과 Siamese Net 구조가 Vision과 Time-Series 분야에서 적용 가능성을 보여주었습니다. 특히 그래프와 연결하여 다양한 활용 가능성이 있다고 느꼈습니다. 마지막으로 Time Series에서 해결하기 힘든 문제점을 Masking과 Siamese Network 구조의 적용을 통해 해결한 점이 매우 인상 깊었습니다. 좋은 발표 준비해주셔서 감사합니다.

본 세미나에서는 Masked Auto Encoder 구조와 Masking 기법에 초점을 맞춘 두 논문인 Siamese Masked Autoencoders와 SimMTM을 다뤘습니다. 첫 번째 논문은 이미지 도메인에서 시점 차이를 두고 Masking을 진행하는 독창적인 접근으로 이미지의 위치 정보와 의미 정보를 효과적으로 활용하는 전략을 제시했습니다. 두 번째 논문인 SimMTM은 시계열 데이터에 Masking을 적용하여 다양한 시점에서의 데이터를 생성하고, 이를 통한 Contrastive Learning 접근법으로 모델을 사전학습하는 방식을 제안합니다. SimMTM은 mask reconstruction은 생각하는 것 이상으로 난이도가 높은 task이기 때문에 masking된 input을 여러 개 생성하여 reconstruction 과정에서 참고할 수 있는 정보를 더욱 풍부하게 활용할 수 있는 이점을 가집니다. Mask Reconsturction은 단순해보이지만 매우 직관적으로도 효과적인 representation learning을 위한 사전 학습 방식입니다. 두 개의 다른 domain에서 masking 전략을 다르게 적용하는 방식을 살펴 볼 수 있어 매우 유익했습니다. 좋은 발표 감사합니다.

본 세미나에서는 Masked Auto Encoder를 중심으로 Vision 쪽에서의 SiamMAE와 Time-Series 쪽에서의 SimMTM이라는 2개의 논문을 소개해 주셨습니다. 먼저, SiamMAE는 Video data를 활용하고 있으며 전체적으로 Siamese net 구조를 활용하고 있습니다. SiamMAE는 Video data 내에서 random하게 2개의 Frame을 선택한 후 미래의 시점에만 Masking을 하는 전략을 통해 과거의 Frame을 기준으로 미래의 Frame과의 관계를 학습시키고자 하며 Transformer의 decoder와 유사하게 SiamMAE의 decoder도 cross attention + self attention을 수행하였을 때 성능이 제일 좋음을 보이고 있습니다. 해당 연구를 통해 기존의 연구의 흐름이었던 모든 Frame들을 대상으로 동일한 Masking 방식을 적용했던 것과 달리 비대칭적으로 Masking을 적용하고 temporal 정보를 학습하였다는 점에서 많은 연구적 의의를 가지는 좋은 논문이라고 생각하였습니다. 두 번째로 소개해주신 논문은 Original Series를 예측하기 위해 Masked Series를 aggregation하는 전략을 제안하는 SimMTM을 소개해주셨습니다. 해당 방식은 Original Series에 Masking을 한 Series들뿐만 아니라 기존 다른 Original Series들도 포함하여 유사도를 기반으로 aggregation하여 representation을 생성한 뒤 Contrastive learning 방식으로 Pre-training하는 방식을 제안하고 있습니다. 소개해주신 2개의 논문 중 개인적으로 SiamMAE를 보면서 저 또한 model이 좋은 representation을 학습하기 위해서는 Video data가 풍부한 정보를 포함하고 있다고 생각하였기 때문에 masking 전략, frame extraction 전략 모두 흥미로웠던 것 같습니다. 끝으로 Video data, Time-Series를 다루기 위해서 고려해야하는 점들에 대해 더 많이 배워갈 수 있도록 좋은 논문을 자세하게 설명해주셔서 감사드리며, MAE가 적용된 두 개의 다른 domain으로부터 어떠한 생각을 가지고 이를 엮어 발표자분의 개인 연구에 어떻게 적용해볼 예정인지에 대해 또한 들을 수 있어 너무나 유익한 시간이었습니다. 좋은 발표 준비해주셔서 정말 감사합니다.

이번 세미나에서는 Masking Strategy(Models)를 주제로 총 2편의 논문을 소개해 주셨습니다. 첫번째 논문인 Siamese Masked Autoencoder에서는 비디오 데이터를 기반으로 하는 task에 있어 Siamese net 구조를 활용하여 이미지 내 객체의 정보를 전파시키고자 하였습니다. 해당 모델에서는 과거(unmask)를 기준으로 미래 Frame간의 관계를 학습시키기 위해 미래의 시점에만 masking을 한다는 특징이 있습니다. 또한 비대칭적인 구조의 masking 전략을 이용하여 masking 전략의 효율성을 입증하고 있습니다. 두번째 논문에서는 SimMTM에서는 다수의 Masked series로부터 자신의 이웃들로부터의 데이터를 aggregation한 결과를 활용하여 값을 예측하는 새로운 관점을 제시하고 있는 부분이 인상적이었습니다. 발표에 있어 SimMTM에서 데이터 구성부터 시작하여 유사도 산출, 최종 loss를 산출하기까지의 과정을 상세히 설명해주셔서 이해에 많은 도움이 되었습니다. 좋은 발표 감사합니다!

이번 세미나는 Masking Strategy를 사용한 방법론들로 SiamMAE와 SimMTM에 대해서 발표해주셨습니다. 보통 Contrastive learning(CL)과 masking strategy가 비교되는 경우가 많습니다. masking 전략은 CL의 pair구성에 대한 제약 조건이 없으며 직접적인 pixel 또는 시계열 또는 graph에서는 node에 대한 예측을 하기 때문에 상대적으로 더 좋은 성능을 보이고 있습니다. SiamMAE는 cross attention을 활용하여 시간적 관계를 학습하고 이미지 자체를 복원하는 task를 통해 SOTA 성능을 달성했습니다. 해당 방법론을 제안한 저자는 기존 방법론들은 이전 시점의 이미지와 미래 시점의 이미지 모두 동일하게 masking을 하기 때문에 시간적 관계를 학습하기 어려워진다는 점을 통해 과거시점의 이미지는 masking하지 않고 미래 시점만 masking을 하는 전략을 사용하고 있습니다. 단순한 방법이지만 성능 저하의 중요한 원인을 찾아내고 효과적인 성능을 보여주고 있습니다. 두번째 SimMTM은 시계열 모델링과 관련한 것으로 여러개의 masked series로 부터 aggregation된 결과를 활용하여 값을 예측하는 새로운 관점을 제시하고 있습니다. 해당 방법은 최근에 비즈니스애널리틱스 수업에서 배운 LLE의 이웃들로부터 중심 포인트를 최적화시키는 방법과 유사하다고 느껴졌습니다. encoder와 projection layer를 통해 나온 output으로 cosine similarity를 사용하여 유사도를 구합니다. 유사도 스코어를 기반으로 가중합을 이용하여 자기 자신의 representation을 생성하고 decoder를 통해 reconstruction을 하고 loss를 통해서 업데이트 됩니다. 이번 세미나를 통해서 비전과 시계열 부분에서 masking strategy가 어떻게 활용되고 장점이 무엇인지에 대해서 배울 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Siamese Masked Autoencoders와 SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling이라는 두 가지 논문을 다루었습니다. 먼저, SiamMAE는 Siamese net 구조를 활용하여 이미지 내 객체의 정보를 전파시키는 방법론으로 cross attention을 통해 시간적인 관계성을 학습합니다. 이전 방법론들은 모든 frame에 동일한 masking을 적용하기 때문에 시간적 관계를 학습하기 어렵다고 지적하면서 저자들은 미래의 시점에만 masking함으로써 과거 시점을 기준으로 미래의 frame과의 관계를 학습시키는 방법론을 제안합니다. 또한 cross-self decoder를 통해 성능을 더욱 향상시켰습니다. 다음으로, SimMTM은 여러 개의 masked series로부터 aggregation된 결과를 활용하여 값을 예측하는 관점을 제시함으로써 시계열적 특성을 더욱 효과적으로 파악할 수 있는 방법론을 제안했습니다. 이는 먼저 생성되는 이웃의 정보들과 다른 샘플의 series정보를 통해 representation을 생성하고 해당 샘플의 정보만으로 유사한 샘플을 찾아 두 샘플을 aggregation하는 방식으로 masking을 사용하는 방법입니다. 이를 통해 뛰어난 성능을 달성했습니다. Masking 기법을 어떤 방식으로 다른 도메인과 모델 구조에 적용할 수 있는지 알 수 있었던 유익한 시간이었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Auto-Encoder 구조를 기반으로 Masking 기법을 활용한 방법론을 주제로 두 편의 연구를 소개해주셨습니다. BERT에서의 MLM Training 방법이 대표적이라 할 수 있는 Masking 방법을 이용한 Representation Learning 방법은 Contrastive Learning과 달리 Positive/Negative Pair를 구성할 필요가 없다는 장점이 있습니다. 첫 번째로 소개해주신 방법론인 SiamMAE는 Siamese Network 구조를 활용해 이미지 내 객체의 정보를 학습시키고자 했습니다. 또한 Cross Attention을 이용해 동영상과 같이 여러 프레임으로 존재하는 데이터를 대상으로 하여 Task의 난이도를 적절히 높이기 위해 바로 이웃한 프레임을 Masking하고 복원하는 방식이 아니라 일정 간격 떨어진 프레임을 선택해 Masking 및 복원하도록 하여 모델로 하여금 Non-trivial한 Solution을 학습하도록 했습니다. 두 번째로 소개해주신 방법론인 SimMTM은 이전에 소개해주신 방법론과 달리 시계열 데이터를 대상으로 Masking하는 방법론입니다. 자신과 이웃한 데이터들을 Masking한 후 Masked Sample들을 이용해 최종적으로 Contrastive Learning을 수행하고 있습니다. NLP에서는 Masking을 Representation Learning을 위해 사용한 방법론들은 익숙했지만 이미지 분야와 시계열 분야에서 사용한 연구에 대해서 접할 수 있어서 신선했습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 Masking Model과 관련하여 최근 공개된 두 논문 “"Siamese Masked Autoencoders” 와 "SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling” 에 대해 다뤄 주셨습니다. Masking Model이란 Representation Learning 방법 중 하나로 최근 Contrastive Learning보다 더 많이 활용되고 있습니다. 첫번째 논문에서는 Video Representation을 위해 Siamese net 구조를 같이 활용하여 이미지 내 객체의 정보를 전파 시키고자 하며 비대칭적인 구조의 Masking 전략의 효율성을 입증했습니다. 두번째 논문은 Time series에 Masking model을 적용하는 방법론을 제시하고 있으며 Masked를 함으로써 augmentation 결과들의 series에서 시계열적 특성을 더 파악할 수 있도록 하고자 했습니다. 첫번째 논문의 경우 별개로 생각되어 왔던 Siamese net 구조와 Masked Auto Encoder 구조를 혼합해 하나의 더 나은 representation learning 방법론을 제안한 점이 인상적이었다 라는 생각이 들었습니다. 좋은 발표 감사합니다!

이번 세미나에서 소개된 "Siamese Masked Autoencoders"와 "SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling" 두 논문은 Masking 기법과 Siamese Net 구조를 활용하여 각각 Vision과 Time-Series 분야에서 뛰어난 성능 향상을 보여주었습니다. SiamMAE는 비대칭적인 Masking 전략과 Siamese Network 구조를 결합하여, Video 데이터의 시간적 관계를 학습하는 방식을 제안했습니다. SiamMAE에서 바로 인접한 frame을 바탕으로 복원하는 것이 아닌 어느 정도 떨어져 있는 frame을 기반으로 복원하게끔 학습되기 때문에 trivial problem으로 학습하는 것을 방지 했다는 점이 쉬우면서도 흥미로웠습니다. 반면, SimMTM은 Masked Series의 Aggregation을 통해 시계열 데이터의 중요 특성을 효과적으로 포착하는 방법을 제안했습니다. 이미지 및 비디오 기반의 방법론을 먼저 보여주신 다음 시계열 데이터에 적절히 접목하는 방법을 소개해주셔서 더욱 이해하기 쉬웠습니다. 좋은 발표 감사드립니다.

이번 세미나는 비전과 시계열 분야에서 Masking 전략과 Siamese Net 구조를 활용한 두 편의 논문으로 진행되었습니다. 첫 번째로 진행된 논문인 Siamese Masked Autoencoders는 비디오 데이터에서 프레임 단위로 학습을 하여 temporal한 정보를 학습할 수 있는 SiamMAE 구조를 제안하였으며, 두 번째로 진행된 논문인 SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling은 여러 개의 masked series로부터 aggregation된 결과를 활용하여 값을 예측하도록 해서 시계열적 특성을 더 잘 파악할 수 있는 방법을 제안했습니다. Masking 전략과 siamese net 구조가 각기 다른 분야에서 어떻게 적용될 수 있는지, 마지막엔 그래프에도 적용되는 사례를 함께 설명해주셔서 흥미롭게 들을 수 있었습니다. 감사합니다.

이번 세미나에서는 Masked Auto encoder(MAE)를 사용하여 Video 도메인에서 SOTA 성능을 낸 방법론 Siamese Masked Auto encoders와 시계열 도메인에서 MASK Series를 data augmentation 관점에서 이웃의 정보로 활용한 SimMTM를 소개해 주셨습니다. 두 논문은 모두 NLP 분야의 masked auto encoder 구조의 masking 기법을 적절히 활용했다는 공통점을 가지고 있어, 서로 다른 도메인에 Masking 기법을 적용하기 위해 적절한 변형을 가한 부분이 인상적이었습니다. 특히 전자의 연구에서는 비디오 도메인 특성을 살려 masking 된 이미지를 복원할 때, 동일 시점의 이미지를 활용하는 것이 아니라, 시점의 차이를 두고 이미지를 복원하도록 한 것이 매우 인상적이었습니다. 이번 연구를 통해 단순히 타 분야에서 좋은 성능을 보이는 방법론을 적용해 보는 수준이 아니라, 방법론의 본질을 분석하고, 해당 기법이 목표 도메인에서 어떻게 특화될 수 있는지 생각해 봐야 한다는 것을 알게 되었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Vision과 Time series 분야에서의 Masking과 Siamese Net 구조에 초점을 맞춘 두 가지 논문을 소개해주셨습니다. 첫 번째 논문인 "Siamese Masked AutoEncoder"에서는 Siamese Network 구조와 비대칭적인 마스크를 결합하는 것으로 성능 향상을 이끌어내고 있습니다. 비디오 데이터를 활용한 task 수행 시, frame 단위의 학습을 바탕으로 시간 정보를 함께 학습하도록 제안하였습니다. 두 번째로 논문 "SimMTM: A Simple Pre-training Framework for Masked Time-Series Modeling"은 시간적 특성을 잘 파악할 수 있도록 입력 정보에 masking 기법을 적용하고 있습니다. 여러 masked series를 Aggregation한 결과로 예측을 수행하고 있으며, 매우 우수한 성능을 기록하였습니다. Siamese Net에 대해서는 잘 알지 못했는데 두 논문을 엮어서 전반적으로 상세한 설명을 해주셔서 조금이나마 흐름을 이해해볼 수 있었던 것 같습니다. 좋은 발표 감사드립니다.

이번 세미나에서는 영상 데이터를 다룸에 있어 Masked Auto Encoder를 사용한 연구와 역시나 Masking을 이용하였으며 시계열의 특성을 좀 더 가미시킨 연구에대해서 소개해주셨습니다. Masking이란 것이 어찌보면 unsupervised 상황에서 여전히 굉장한 강점을 지닌 테크닉이라 생각이 됩니다. Masking이 더욱이 시계열 혹은 순차적 특징이 있는 데이터에서도 효과가 있음을 확연히 보여준 연구들이었습니다. 특히 masking을 적용함으로써 데이터 증강으로부터 본 데이터를 예측하도록 하는 시도 자체가 합리적이라 생각이 들었으며 충분히 납득가능한 시도였던 것 같습니다. Masking에 대한 좀 더 깊은 탐색의 필요성을 느낄 수 있었던 좋은 시간이었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Masked Auto Encoder (MAE) 관련 연구들에 대해 소개해주셨습니다. 두 논문은 각각 video와 시계열 데이터를 다루었는데, 자연어 처리 분야에서 성능 향상을 기대할 수 있는 MAE 기법을 각 데이터에 어떻게 응용하고 있는지 알 수 있었습니다. Video 데이터에서는 masking된 이미지를 복원하는데 있어 동일 시점의 frame을 사용하는게 아니라 약간의 시간 차이를 두고 이미지를 복원하도록 하였는데, 이를 통해 시간 흐름에 따른 영상의 변화 정보를 더 잘 반영하게 되어 성능이 향상된다는 점이 흥미로웠습니다. 또한 시계열 데이터에서는 masking을 할 경우 다른 시계열 데이터가 된다는 점을 고려하기 위해 특정 시계열로부터 masking된 여러 개의 데이터를 만들고 다른 시계열로도 마찬가지로 masking된 시계열 데이터 여러 개를 만든 후에 이를 구분하도록 contrastive learning을 실시하는 점이 인상 깊었습니다. 두 논문 모두 결국 각 데이터 특성에 맞게 MAE를 변형했다고 볼 수 있는데 각 데이터가 가지는 특성에 따라서 좋은 기법이라도 알맞게 적용해야 올바르게 작동할 수 있다라는 것을 다시 한 번 느낄 수 있었습니다. 좋은 발표 감사드립니다.

이번 세미나는 masked autoencoder를 주제로 이미지에서는 SiamMAE를 시계열에서는 SimMTM에 대해서 소개해주셨습니다. masked autoencoder는 input의 일부를 마스킹하고 이를 복원하는 task 입니다. 이를 통해서 original dat와 유사한 정보를 바탕으로 유의미한 정보를 얻어내는데 목적을 두고 있습니다. 첫번째 논문인 SiamMAE에서는 영상에서 2개의 frame을 선택하고 하나의 frame에만 masking해서 masking된 frame을 재구축하도록 합니다. 이때, 시간적 관계를 학습하기 위해 미래 시점의 frame에 masking을 하여 과거를 기준으로 미래 frame의 관계를 학습하고자 하였습니다. 두번째 논문인 SimMTM에서는 하나의 input sequence에 대해 m개의 masked augmentation 샘플들을 생성하고 다른 sequence와 그에 대한 masked series들과의 유사도를 통해 score를 산출, 가중합하여 representation을 도출하는 방법을 사용하였습니다. 개인적으로 SiamMAE의 방식보다 SimMTM 방식이 참신하다고 느꼈으며, 서로 다른 도메인의 연구이지만 비슷한 전략이 어떻게 다르게 쓰이는지를 확인하며 인사이트를 얻을 수 있었던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 이정호 박사 과정께서 Masked Auto Encoder 구조와 Masking 기법에 초점을 맞춘 두 논문인 Siamese Masked Autoencoders와 SimMTM을 주제로 세미나를 진행하였습니다. 첫 번째 논문인 Siamese Masked Autoencoders는 이미지 처리 분야에서 새로운 접근 방식을 제시하며, 특히 Masking 기법을 통해 이미지의 중요한 특성을 더욱 강조하는 방법을 제안하였습니다. 이러한 방식은 이미지 인식 및 처리에 있어서 중요한 발전을 의미하며, 특히 고유의 이미지 특성을 보다 정확하게 포착할 수 있는 장점을 가지고 있습니다. 두 번째 논문인 SimMTM은 시계열 데이터 분석에 Masking 기법을 적용하여, 데이터의 시간적 변화를 보다 효과적으로 분석할 수 있는 새로운 방향을 제시합니다. 이 논문은 특히 시계열 데이터의 중요성을 인지하고 이를 통해 보다 정밀한 분석을 가능하게 하는 점에서 주목할 만합니다. 이정호 박사 과정의 세미나를 통해 Masked Auto Encoder 구조와 Masking 기법이 어떻게 다양한 데이터 분석 분야에 적용될 수 있는지에 대한 심도 깊은 이해를 얻을 수 있었습니다. 좋은 발표 감사합니다.

해당 세미나 시간에는 현재 이미지 및 자연어, 시계열에서 그래프 까지 다양한 분야에서 활용되고 있는 MASKING strategy를 주제로 세미나를 다루었습니다. 첫 번째로 소개된 "Siamese Masked AutoEncoder" 논문에서는 Siamese network 구조와 Masking 전략을 결합하여 이미지 자체를 복원하는 Task를 수행함으로써 SOTA 성능을 달성했습니다. 이 논문은 기존의 Siamese 구조와 다르게 Encoder의 Parameter를 공유하지 않고, Decoder에서는 두 Encoder의 Output을 Cross attention한 후, Self-attention을 추가로 수행하는 Cross-self decoder를 사용했습니다. 다음으로 소개된 "SimMTM: A Simple Pre-training Framework for Masked Time-Series Modeling" 논문에서는 시계열 데이터에서의 Masking 전략을 다루었습니다. 시계열 데이터의 특성 상 중복 값이 적고 각 데이터 포인트가 중요한 특징을 나타낼 수 있기 때문에 신중한 Masking 전략이 필요하다고 강조했습니다. 논문은 이러한 문제에 대응하여 여러 개의 Masked series로부터 Aggregation된 결과를 활용하여 값을 예측하는 새로운 관점을 제시했습니다. 최근 Contrastive Learning(관계대조학습), Masking Strategy이 우수한 data의 representation 성능으로 인해서 다양하게 활용되고 있는 시점에서 매우 의미있는 세미나 시간이었다고 생각합니다. 특히 시계열에서의 Masking은 다양한 관점에서 더욱 연구가 진행 가능한 분야라고 생각이 됩니다. 특히, 이상치 탐지에서도 해당 아이디어들은 의미있는 결과를 제시 할 수 있을 것 같아. 앞으로 후속연구가 기대가 되었습니다. 유용한 주제로 세미나를 이끌어준 발표자에게 감사의 인사 전합니다.