이번 세미나에서는 “Learning To Remember Patterns: Pattern Matching Memory Networks For Traffic Forecasting”을 다루어 주셨습니다. 본 논문은 수집된 데이터가 공간적 특성과 시간적 특성이 동시에 반영되어야 하는 spatial temporal task를 다루고 있습니다. 교통 데이터를 예시로 기존 연구들의 한계를 지적해 주셨는데요. 도로 교통을 예시로 들자면, GCN을 활용하여 spatial 정보를 받아올 수 있지만, 시간에 따라 변화하는 temporal한 도로 교통의 상황을 반영하기 힘들게 됩니다. 이번 세미나에서 말씀해주신 방법은 spatial temporal 정보를 함께 반영한 attention을 pattern memory라는 방식으로 해결하고자 합니다. 본 논문에서는 sliding window를 통해 패턴을 추출하고, 이를 memory set과의 유사도를 측정하여 k개의 유사 패턴을 추출하고 이를 embedding matrix를 통해 hidden representation으로 변환합니다. 그리고 이렇게 나온 memory representation은 자신과 유사한 sensor를 기반으로 생성된 것이므로 attention score로서 해석하게 됩니다. Memory Network를 사용하여 유사 패턴을 구하고 이를 활용하여 attention score처럼 사용한 것이 개인적으로는 참신했다고 생각합니다. 좋은 발표 감사합니다.

이번 세미나에서는 LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING 논문을 다루어 주셨습니다. 본 논문에서는 spatial temporal task 중 traffic forecasting 태스크을 해결하기 위한 PM-MemNet이 소개되었습니다. 기존의 STGCN에서는 1) 고정된 adjacency 사용으로 인해 시간에 따라 달라지는 spatial importance를 반영하지 못한다는 한계점과 2) temporal , spatial, temporal의 순차적인 구조로 인한 정보의 cascading 효과가 있을 수 있다는 한계점이 있었습니다. 반면 PM-MemNet에서는 memory slot에 필요한 pattern을 저장해두고 input을 통해 필요한 메모리를 선별하고 업데이트하는 memory network를 이용하고, pattern memory slot을 이용해 attention 계산시 graph structure 정보가 반영되는 score를 계산하도록 합니다. 결국 spatial temporal 정보가 attention에 반영되어 기존의 한계점을 어느정도 해결했다고 볼 수 있습니다. 잘 알지 못하는 분야이지만 흐름을 잘 정리해 주신 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 데이터의 공간적 특성과 시간적 특성을 동시에 고려하는 spatial temporal task를 다룬 “Learning To Remember Patterns: Pattern Matching Memory Networks For Traffic Forecasting” 논문으로 진행되었습니다. Traffic Forecasting 태스크는 현재 교통 상황을 통해 앞으로의 교통 상황을 예측하는 태스크를 뜻하는데, 도로에서 발생하는 다양한 사건으로 인해 속도 변화 등과 같은 복잡한 도로 환경을 고려해야 하기 때문에 어려운 문제로 여겨지고 있습니다. 해당 문제를 해결하기 위해 해당 논문에서는 기존의 방법론이었던 STGCN의 한계점을 극복한, key-value 메모리 구조를 이용해 input data와 representative pattern을 매칭시키는 PM-MemNet(Pattern-Matching Memory Network)란 모델을 제안합니다. 가장 먼저 memory에서 key의 역할을 하는 대표적인 traffic pattern을 추출 및 클러스터링하고, 이렇게 추출된 key를 input과 매치시킴으로써 PM-MemNet은 traffic pattern으로부터 필요한 정보를 얻어 이를 예측에 사용할 수 있습니다. 또한, 시/공간적 특성의 상관관계를 모델링하기 위해 attention 구조와 graph convolution 구조가 결합된 GCMem이라는 메모리 구조도 제안했습니다. memory network에 대한 이해가 부족하여 다소 어렵게 느껴졌지만, 처음 접하는 태스크의 논문이라 재미있게 볼 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING 연구에 대해 진행되었습니다. 패턴을 기억하는 메모리 네트워크를 다룬다는 점에서 흥미를 갖고 들을 수 있었습니다. 기본적으로 백그라운드로 설명해주신 ST-GCN이 기억에 남았습니다. Pose estimation task 데이터를 토대로 말씀해주셨듯, temporal한 정보와 spatial 정보는 함께 고려되어야하는 경우가 많습니다. 그래프 네트워크 모델에서도 마찬가지로 이러한 점을 고려해 ST-GCN 모델이 있다는 것을 알 수 있었습니다. 그래프 모델 관련 사전지식이 많지 않아 잘 알지 못했는 데, 매우 중요한 구조의 모델임을 알 수 있었습니다. 그리고 본 연구에서 다루고자 하는 데이터인 교통량 데이터 역시 이처럼 시간적, 공간적 정보가 매우 중요한 데이터이기 때문에, ST-GCN 구조가 기본이 되어야 함을 알 수 있었습니다. 굉장히 신선했던 부분이 바로 pattern matching입니다. 입력 데이터를 그대로 활용하는 것이 아니라, 기존에 갖고 있던 memory set에서 유사한 패턴을 찾아 그 패턴을 입력 데이터로 활용한 다는 것은 처음 보는 접근이었습니다. 말씀해주신 것처럼 memory set에는 존재하지 않는 이상치의 데이터가 입력될 경우, 모델의 예측 정확성에 의문을 가질 수 있는 부분이라 생각했습니다. 그래프 모델의 경우 수식과 그 복잡함에 먼저 겁을 먹기 마련이었는 데, 자세한 설명과 그림 예시로 보다 쉽게 이해할 수 있었습니다. 좋은 발표 해주신 발표자님께 감사드립니다.

이번 세미나는 LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING 논문을 중심으로 spatial, temporal 한 정보를 반영하는 Spatial temporal task를 소개해 주셨습니다. 특히 논문에서는 교통데이터가 공간적인 정보를 가지고 있다는 점에 주목하여 해당 데이터를 활용해 Spatial temporal task를 전개합니다. 기존의 spatial 정보를 활용하는 GCN 등의 연구들은 graph structure를 가지며 정적인 가중치를 사용하기 때문에 같은 도로라면 모든 시점에 같은 가중치를 가지게 됩니다. 그러나 변화하는 도로 교통상황을 반영할 필요가 있으므로 본 논문에서는 pattern memory를 사용해 공간과 시간의 정보를 동시에 고려할 수 있도록 하였습니다. 가까운 시점에서는 현재와 유사한 pattern이 발견되기 때문에 이를 temporal 정보로 활용할 수 있습니다. 이렇게 얻은 pattern memory를 GCN과 함께 사용하여 Spatial temporal task를 수행하게 됩니다. Pattern Matching, Memory Networks, Traffic Forecasting 중 어색하지 않은 분야가 없었지만 발표를 듣고 매우 흥미로운 분야라는 생각을 하게 되었습니다. 좋은 발표 감사합니다.

이번 세미나에선 LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING 에 대한 내용이 소개되었습니다. 일반적으로 traffic data의 spatial 한 정보는 graph structure 를 통해 반영되는데, 이 경우 시간에 따라 변하는 교통 상황을 반영하기 힘들다는 단점이 있습니다. 논문에선 이러한 traffic forcasting task 를 풀기 위해 memory network 사용하여 이전 pattern 중 현재와 유사한 pattern 을 찾고 이를 temporal 정보로 활용합니다. Attention 관련 연구는 모델이 데이터의 어느 부분에 집중할 지를 학습을 통해 찾게하여 inductive bias 를 낮추는 것이 핵심이라고 생각해왔었는데, 이번 세미나를 통해 오히려 유의미한 bias를 모델에 주입하는 형태로도 활용될 수 있다는 것을 알게된 것 같습니다. 좋은 세미나 발표 감사합니다.

금번 세미나에서는 "LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING"라는 논문을 주제로 진행해주셨습니다. 개인적으로 굉장히 흥미로웠던 spatial temporal task에 대해서 소개해주셨는데, 이는 실생활에서 교통 분야에 활용이 가능한, 공간 + 시간적 특성을 반영하는 task가 됩니다. 기존에 활용되는 GCN 구조는 adjacent matrix가 고정되거나 정보를 시간 흐름에 따라 반영하기 어렵다는 점을 지적하면서 본 논문은 temporal과 spatial한 정보를 순차적으로 인코딩하여 모델을 구축하게 됩니다. 또한 메모리를 사용하여 시간 정보와 공간 정보를 함께 반영하는 방법론을 제안하였습니다. 시계열 task에 공간적 정보를 반영하는 것이 굉장히 어려운 것 같은데, 앞으로 해당 분야에서 좋은 논문들이 많이 발표될 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 traffic forecasting task를 위해 제안된 pattern matching memory network에 대한 내용으로 진행되었습니다. 해당 task는 시간과 공간을 모두 고려하는 spatial temporal task에 속하며, 시공간을 모두 고려해야 하는 행동인식 과업 등도 이에 포함됩니다. 기존 방법론은 adjancency matrix를 고정하여 사용하고, 시간과 공간 정보를 동시에 이용하지 못한다는 한계점을 가졌기에, 해당 방법론에서는 memory network를 사용하여 시간에 따라 변하는 공간 정보를 모두 반영하고자 하였습니다. memory slot에 pattern을 저장해두고 현재와 유사한 pattern을 찾아 temporal information으로 활용합니다. QA 분야에서 attention 이전에 memory network가 좋은 성능을 낸 적이 있는데, 교통 데이터는 QA 보다는 적은 pattern을 가질 것으로 예상돼 충분히 좋은 성능을 낼 수 있었던 것 같습니다. 좋은 발표 감사합니다.

노드(센서 등)들의 local, spatial한 상관관계를 기반으로 downstream task를 수행하는 연구에 대해 소개해주셨습니다. 대표적으로 traffic forecasting task를 예시로 들 수 있고, 시간의 변화에 따른 spatial info를 dynamic하게 변화시키는 것이 특히 중요함을 알게 되었습니다. 본 논문인 STGCN 방법론에서는 GLU 기반의 temporal GCN과 축 변환 기반의 spatial GCN을 번갈아 수행하며 시간/공간 정보를 반영하려 하지만 시간이 변함에도 고정된 adjacency matrix를 사용한다는 한계가 존재합니다. 다음 논문인 PM-MemNet에서는 센서 별 대표 패턴을 추출 후 구간을 나누어 서브패턴을 구축합니다. 다만 cluster-based undersampling의 경우 approximated index를 사용하여 유사도를 구하는 과정이 너무 느슨한 가정이 아닌가 생각이 들어 이후 개선되어야 한다고 생각했습니다. 이후 memory 모듈로 추출한 representative memory와 기존 hidden vector와의 self-attention을 수행합니다. Dialogue 분야에서의 활용 방안에 대해서도 첨언해주셔서 유익하게 잘 들었습니다.

이번 세미나는 LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING을 주제로 진행되었습니다. 공간적 특성과 시간적 특성이 동시에 반영되어야 하는 spatial temporal task를 다루고 있습니다. 해당 방법론은 기존의 연구였던 STGCN이 고정된 adjacency matrix를 사용하고 temporal, spatial의 순차적인 구조로 인해 정보의 cascading 효과가 있을 것이라는 한계점을 해결하고자 하였습니다. 본 논문에서는 memory network를 사용하여 유사패턴을 추출하여 input을 표현하였습니다. 센서별 대표 패턴을 추출하고 sliding window 기준으로 짧은 패턴을 추출합니다. input과 memory set의 패턴들과의 거리를 계산하여 유사 패턴을 추출하고 추출된 패턴은 embedding matrix를 통해 hidden representation으로 변환됩니다. 이렇게 생성된 representation은 자신과 유사한 센서를 기반으로 생성된 벡터이므로 자신과 가장 유사한 센서를 고려한 attention score로 볼 수 있습니다. 새로운 연구에 대해서 들을 수 있어 유익했으며, 메모리 네트워크를 사용하여 유사 패턴을 사용한다는 점과 이를 attention score 처럼 사용한 점이 인상 깊었습니다. 좋은 발표 감사합니다.

금일 세미나는 "LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING" 논문에 대해 소개해 주셨습니다. 본 논문은 교통 체증과 같이 traffic forecasting task를 해결하기 위한 방법을 제안합니다. 본 논문에서 사용되는 방법은 graph network를 활용한 방식인데, 기존 방법에서는 temporal 한 정보를 학습하기 힘들다는 점을 고려하여 spatial한 정보와 temporal한 정보를 함께 학습할 수 있는 방법을 제안하였습니다. 금일 발표에서 인상깊게 본 점은 memory network를 활용했다는 점인데, 최근들어서 다시 memory network를 활용하는 연구사례가 보이고 있는 것 같았습니다. 오늘도 재밌는 논문 소개해 주셔서 감사합니다.

금일 세미나에서 소개해주신 LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING 연구는 시간이 지남에따라 attention score가 변해야 하는 도메인에서는 static한 weight를 가지는 선행 연구들이 한계를 지닌다는 점을 지적하고 있습니다. 본 연구에서는 이러한 문제를 해소하기 위하여 기존의 attention을 그대로 사용하는 것이 아니라 메모리 네트워크를 사용합니다. 해당 분야에서 메모리 네트워크를 사용하는 논문은 본 연구가 처음이기에 구조상 개선의 여지들이 많겠지만 문제를 정의하고 그를 풀기위한 접근은 매우 신선했습니다. 메모리 네트워크가 시간축에 대해 다이나믹한 어텐션을 가져야 하는 분야에서 de facto가 될지 알 수 없으나, 다른 분야에서 핫한 구조를 가지고 와서 문제를 해결하고자 시도하는 것이 아니라 정말 문제를 풀기위한 방법을 고민한 것 같아서 배울 점이 많았습니다.

이번 세미나에서는 시간과 공간 변화에 따른 모델링이 가능한 PM-MemNet을 소개해주셨습니다. 교통량 데이터는 시간적 특성과 공간적 특성이 모두 고려되어야 하는 대표적인 Spatial Temporal Task라고 할 수 있습니다. 위치 상으로 가까운 센서끼리, 시간 상으로 가까운 관측치끼리 높은 상관관계를 보일 수밖에 없기 때문입니다. 이러한 특성은 그래프 구조를 통해 공간적 특성을 반영하고, 해당 그래프를 시계열 모델링을 통해 시간적 특성을 반영하여 모델링될 수 있습니다. PM-MemNet은 사전에 정의한 패턴을 저장하고, 현재 데이터와 가장 가까운 패턴들을 가중평균하여 representation으로 사용하고 있습니다. 이를 통해 noise가 많은 데이터에 강건한 모델링이 가능해집니다. 사전에 정의한 메모리를 사용하는 것이 과연 최선의 방법일지 의문이 들었지만, 데이터 특성을 잘 알지 못하기 때문에 좀 더 공부가 필요할 것 같습니다. 시계열 데이터에서 지속적으로 변수 간 관계와 시간 간 관계를 포착하려는 연구들이 진행되고 있는 것 같은데, 해당 연구들이 다른 분야에도 이용될 여지가 많은 것 같아 흥미로운 것 같습니다. 감사합니다.

이번 세미나는 spatial temporal task를 주제로 한 Learning to Remember Patterns: Pattern Matching Memory Networks for Traffic Forecasting이란 제목의 논문이 소개 되었습니다. spatial temporal task는 이름에서 알 수 있듯이 데이터의 공간적 특성과 시간적 특성이 동시에 반영되는 것을 의미합니다. 가령 공정 센서 데이터와 교통 정보 데이터가 대표적인 데이터일 것입니다. 특히 Traffic Forecast Task는 현재의 교통 상황을 통해 단기 및 장기 예측을 하는 과업을 의미합니다. 해당 Task를 위한 모델로ST(Spatial temporal)GCN이 등장하였는데 해당 모델은 시간의 흐름이 반영됨에도 graph의 adjacency matrix가 고정되어 있는 문제점이 있고, spatial feature와 temporal feature가 순차적으로 update되는 점이 한계점으로 해석되고 있습니다. 이에 금일 소개된 PM-MemNet (Pattern Matching Memory Network)이 STGCN의 한계점을 극복해주는 모습을 보여주고 있습니다. Memory slot을 활용해 필요한 pattern을 저장해두고, 저장된 pattern에서 대표 패턴을 추출하고 해당 패턴들을 클러스터링 하여 key가 되는 값을 샘플링하게 됩니다. 결국 입력값과 key 값의 matching을 통해 필요한 정보를 얻게됩니다. 모델의 구조가 많이 복잡하기에 이해하는데 어려웠지만 그래프와 시간적 요소를 함께 고려하는 아이디어 속에 memory network 구조를 적용했다는 점이 놀라웠습니다. 지난 세미나에서도 memory network가 적용된 연구가 소개되었는데, memory network에 대해 다시 한 번 자세히 살펴봐야할 것 같습니다. 또한 GNN 및 GCN 등의 기본적인 내용을 정확히 학습해야할 필요성을 느끼고 있던 차였기에 틈틈히 공부해보고자 합니다. 재미있는 내용 발표해주셔서 감사합니다.

금일 세미나는 "LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING"라는 주제로 진행되었습니다. 본 발표에서는 공간적 특성과 시간적 특성을 동시에 반영한 데이터를 분석하는 spatial temporal task가 소개되었고, 해당 task에 속하는 traffic forecasting을 해결하기 위한 PM-MemNet이 소개되었습니다. PM-MemNet은 일반적인 graph convolutional network가 static한 가중치를 가지기 때문에 시간에 따라 변화하는 도로 교통의 상황을 반영하기 힘들다는 한계점을 해결하기 위해 제안되었습니다. 해당 모델은 pattern memory 방식을 통해 spatial temporal 정보를 attention에 반영하였으며, 이러한 pattern matching을 통해 유사한 시점의 pattern을 찾아 temporal 정보를 활용하였습니다. 시계열 데이터 분석에 관심이 많은데 새로운 task를 접하게 되어 흥미로웠습니다. 좋은 발표 감사합니다.

본 세미나를 통해 LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING 에 대한 리뷰를 진행하였습니다. 본 논문의 경우 제목에서 알수있듯이 PM-MemNet을 이용하여 Tracffic forecasting을 하는 연구를 진행하였습니다. 교통 데이터의 경우 정보를 graph structure로 구성할 수 있습니다. GCN을 통하여 정보를 받아올 수 있지만, 교통상황은 끊임없이 변화하고 있는 일종의 시계열 데이터 이므로, static한 가중치는 교통 상황을 반영하기에는 한계가 있습니다. 따라서 본 연구에서는 기존의 GCN의 위와 같은 문제를 해결하기 위해 spatial temporal 정보를 함계 반영한 attention을 pattern memory 방식을 통하여 해결하였습니다. 교통 상황 문제는 복잡한 graph structure와 time series data가 합쳐져있는 굉장히 어려운 task라고 생각합니다. 따라서 연구를 진행함에 있어서 많은 assumption들이 들어갈 것입니다. 본 연구에서도 대표적인 traffic pattern을 추출하고 계산함으로써 데이터를 사전에 정의된 패턴으로 분류하였습니다. 결국 적절히 pattern을 정의하는 부분이 중요한 task가 될 것이라고 판단됩니다. 처음 접하는 내용이라 이해하기가 쉽지는 않았지만, 꼼꼼하게 발표를 잘 해주셔서 어느 정도 흐름은 따라 갈 수 있었습니다. 좋은 발표 감사합니다.

데이터의 공간 / 시간 특성이 모두 동시에 고려하여 예측을 진행하는 Traffic Forcasting이라는 Task에 대하여 Pattern Matching Memory Network를 제안한 논문을 소개해주셨습니다. 해당 과제는 시간에 따라 공간 정보에서 각 지점의 중요도가 달라지는 고정된 Adjacency Matrix를 사용하는 연구 방향에서 GAT를 통해 Learnable Adjacency Matrix를 사용하여 발전해왔고, 또한 시간 / 공간 정보에 대한 순차적인 Fusion을 진행하면서도 발전했으나 이를 동시에 적용할 수 있는 모델의 필요성을 언급하며 본 세미나의 모델을 제안합니다. 시공간을 모두 반영하기 위해 패턴을 사용하며 이는 메모리에 저장해둔 현재 Input과 유사한 데이터를 위미합니다. 패턴을 활용하여 일반적인 GCN과 학습 가능한 Adjacency Matrix 그리고 Mem2Seq의 융합을 통해 학습하고 Graph -Wave Net에서 소개된 Node Embedding을 기반으로 한 인접 행렬을 구축합니다. Mem2Seq의 Memory Slot을 이용하고 Query의 확률 벡터로 표현되는 Attention Weight를 그래프 상에 이용하기 위해 행렬로 생성합니다. 그래프 요소가 적은 듯한 모델이었지만, 좋은 발표 감사합니다.

이번 세미나는 LEARNING TO REMEMBER PATTERNS: PATTERN MATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING을 주제로 진행되었습니다. Spatial Temporal Task라는 새로운 task를 소개해주셨습니다. spatial temporal task란 수집되는 데이터에 공간 및 시간적 특성이 동시에 반영되는 것으로 교통 예측 task나 행동인식 task가 이에 속합니다. 기존 연구들은 spatial temporal 정보를 통합하기 위해 temporal->spatial->temporal의 순차적 구조를 통해 모델링을 진행합니다. 다만 데이터 내 spatial 정보는 그래프 구조로 구성되어 있은데 일반적인 GCN 구조로는 시간에 따라 변화하는 정보를 반영하기 어렵다는 한계점을 가집니다. 따라서 본 논문은 공간 및 시간 정보를 함께 반영하는 attention을 단순 시퀀스 기반으로 사용하는 pattern memory slot을 제안합니다. 이를 통해 attention 계산 시에 그래프 구조 정보가 반영되는 점수를 계산하는 것을 목표로 합니다. 또한 패턴을 매칭하는 과정을 통해 가까운 거리의 패턴에 가중치를 부여하고 패턴들의 가중합을 통해 representation을 생성합니다. 발표를 들으면서 논문에서 다루는 task과 방법론이 실질적으로 적용 가능하고 범용성이 크다는 생각이 들었습니다. 그래프 기반의 구조로 풀어낼 수 있는 task를 발표자 분의 세미나를 통해 종종 접할 수 있었는데 항상 잘 듣고 있습니다. 유익한 발표 진행해주셔서 감사합니다.

이번 세미나에서 소개된 논문은 LEARNING TO REMEMBER PATTERNS: PATTERN ATCHING MEMORY NETWORKS FOR TRAFFIC FORECASTING입니다. 본 논문에서 다루는 task는 Spatial Temporal Task인데, 이는 교통체증 예측과 같이 시간과 공간적 정보를 모두 활용해야 하는 task입니다. 본 논문에서는 STGCN의 한계점이었던 고정된 adjacency matrix 사용과 시간, 공간 정보를 순차적으로 이용하도록 하는 구조의 한계를 해결하고자 했습니다. 특히 memory network를 사용하여 다양한 패턴을 담고자 하였고, input pattern과 메모리 슬롯 간의 attention을 계산할 때, 실제 도로간 거리정보를 기반으로 가까운 것에 가중치를 부여해 structure 정보도 반영하고자 했습니다. 시계열 input을 패턴화하고, 공간적 특성도 동시에 고려할 수 있는 네트워크를 구상한 것이 신선했던 것 같습니다. 좋은 발표 감사합니다.