본 세미나에서는 구글 리서치에서 진행하고 있는 일련의 TableMRC 연구들에 대해 살펴보았습니다. 매년 꾸준히 연구가 진행되고 있으며, 선행 연구의 단점을 꾸준히 보완하고 있었습니다. Logical form을 통해 QA를 진행하던 semantic parsing에서 데이터 구충 비용을 줄이기 위해 end-to-end 방식으로 변경한 TAPAS, TAPAS보다 큰 테이블을 처리하기 위해 효율적인 attention 방법론을 제안한 MATE, 그리고 table perturbation에 강건한 TableFormer까지 발전의 흐름이 좋다는 생각이 들었습니다. TableMRC에 대해 처음 접해보았는데 발표 구성이 좋아 편하게 따라갈 수 있었습니다.

이번 세미나는 현재 연구실에서 진행 중인 연구 프로젝트 중 하나인 Table MRC 분야와 이에 대한 연구들이 소개되었습니다. Table MRC(Machine Reading Comprehension)는 테이블 형태의 데이터에서 원하는 텍스트 정보를 찾아내는 Task라고 볼 수 있습니다. 달리 말하면 기존의 기계독해분야(Machine Reading Comprehension)의 응용으로 볼 수 있습니다. 기본적으로 데이터가 table 형태로 주어졌을 시 데이터를 처리할 수 있는 방안으로 SQL식의 search 방식이 될 것 같은데, Table 형태의 데이터를 일련의 과정을 거쳐 언어모델로 처리한다는 것이 신기하였습니다. 구글에서 해당 분야를 지속적으로 연구하고 있어 앞으로 해당 분야가 어떻게 발전할지 기대가 됩니다. Table MRC라는 Task에 대해서 한 번도 설명을 들은 적이 없기에 해당 내용에 대해서 궁금해 해왔던 터라 더욱 재밌게 들을 수 있었습니다. 감사합니다.

이번 세미나는 “TableMRC from Google Research“ 라는 주제로 소개해주셨습니다. 연구의 흐름에 맞게 세 가지 논문을 소개해 주셨고 방법마다 장점과 단점을 잘 짚고 넘어가서 쉽게 이해할 수 있는 시간이었습니다. 이전 연구실에서 수행한 연구와 유사한 주제여서 흥미있게 들었고 현재 TableMRC가 개선되어야할 방향 모두 공감되었습니다. 현실적으로 table이라는 구성은 단일 table이 아닌 관계형 데이터베이스와 같이 종속되어 DB로 구성된 경우가 많습니다. 현업에서 적용하기 위해서는 이러한 table 특징을 잘 반영할 수 있는 모델이 제안되어야 보다 활용성이 높아질거라 예상됩니다. TableMRC 가 앞선 문제를 해결하기 위해 Text-to-SQL에서 SQL을 생성하는 방향과 달리 앞선 문제들을 어떤방식으로 해결할지 기대가 됩니다. 첫 발표 인상깊게 들었습니다. 좋은 발표 감사합니다.

금일 세미나는 "TableMRC from Google Research (TAPAS, MATE, TableFormer)"라는 주제로 진행되었습니다. 본 발표에서는 구글에서 제안한 TableMRC 모델 TAPAS, MATE, TableFormer가 소개되었습니다. TableMRC는 모델이 주어진 table의 정보를 이해하고 이를 해석하여 질문에 대한 답변을 도출하는 task로 context 정보가 table인 machine reading comprehension입니다. 개인적으로는 해당 task에 대해 처음 접했는데 금일 소개된 세가지 모델 중에서는 TaPas가 가장 흥미로웠습니다. TaPas는 table에서 직접 정답을 찾아내는 end-to-end 모델로 pre-training을 통해 table parsing을 학습합니다. 그 후 fine-tuning을 통해 주어진 질문의 정답을 찾는데 TaPas에서 제안된 fine-tuning 방법은 매우 직관적이라는 생각이 들었습니다. TaPas는 질문을 분석하여 발생 가능한 정답의 범주를 나누고 각 범주마다 적합한 loss를 정의하고 이를 통합하여 fine-tuning loss로 활용하였습니다. 개인적으로는 TableMRC를 처음 접하는데 해당 task를 직관적으로 해결한 TaPas에 대한 설명을 통해 해당 task를 해결하는 과정을 잘 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에선 TableMRC를 주제로 TAPAS, MATE, TableFormer라는 세 가지 연구에 대해 소개되었습니다. TableMRC는 table이 포함된 문서에서 MRC를 수행하는 task이고 표가 포함된 문서를 주로 다루는 기업들에서 활발하게 연구되고 있는 주제로 알고 있습니다. 시간순으로 소개해주신 연구들을 보면 table 구조의 inductive bias를 모델에 어떻게 주입할지가 중요한 task이고 각 연구들에서 사용한 inductive bias 주입 방식이 각각의 contribution 이라 생각됩니다. TAPAS, MATE에선 row, column level 의 단순한 inductive bias가 사용된 것에 비해 마지막에 소개된 연구인 TableFormer 에선 table embedding에 사용되는 attention bias의 다양한 형태를 제안하고 이를 통해 성능을 개선할 수 있었습니다. 개인적으로는 생소한 task였는데 세미나를 통해 어느 정도 이해할 수 있었던 것 같습니다. 첫 세미나임에도 많은 시행착오를 거친듯한 슬라이드 구성과 적절한 figure 의 사용이 인상깊었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Google Research에서 나온 TableMRC 관련 논문 3편(TAPAS, MATE, TableFormer)을 다루어 주셨습니다. 우선 3편의 논문 중 가장 먼저 발표된 TAPAS에서는 tabular 구조를 나타낼 수 있는 추가적인 임베딩(row 임베딩, column 임베딩 등)과 pre-training, fine-tuning을 통해 table 데이터에 대해 logical form을 생성하지 않고도 question answering task를 수행하는 접근법을 제시하고 있습니다. 다음으로 MATE에서는 TAPAS에서 잘 다루지 못했던 큰 규모의 테이블을 처리하기 위해 table의 row, column에 대한 attention masking을 수행하고, 2 stage(cell selection stage, passage reading stage)로 이루어진 PointR 프레임워크를 이용해 fine-tuning을 진행합니다. 마지막으로 TableFormer에서는 구조적인 bias를 학습시켜 성능을 향상시키는 방법론을 제시하고 있습니다. Overview에서 어떤 점에서 각 연구들이 관련이 있고, 어떤 한계점을 보완하여 흐름이 진행되었는지 짚고 넘어가 주셔서 큰 흐름을 파악할 수 있었습니다. 또한 장표에 몇몇 설명 오류에 대해 저자의 발표 영상과 코드 등을 통해 직접 확인을 하고, 찾아내서 옳은 설명으로 수정한 점이 인상 깊었습니다. 첫번째 세미나 발표인만큼 많은 공을 들였다는 것이 느껴졌습니다. 좋은 발표 감사합니다!

이번 세미나에서는 Google Research의 TableMRC 연구 흐름에 대한 소개가 있었습니다. 기존 연구의 한계점을 지속적으로 보완하며 연구가 진행되었는데, TAPAS는 Logic form 없이 end-to-end로 학습 가능한 프레임워크를 제안하였고 MATE는 cell representation 생성 시 해당 행, 열의 정보를 잘 attend 할 수 있는 attention mask를 제안하며 큰 테이블을 효율적으로 처리할 수 있도록 PointR 프레임워크를 구축하였습니다. TableFormer의 경우, 데이터의 행이나 열의 순서를 바꾸면 성능 저하가 일어난다는 문제점을 바탕으로 embedding 구조의 변경과 Learnable Table-Text Attention Biases Matrix를 새롭게 제안했습니다. TableMRC에서 사용되는 데이터 본질의 특성을 잘 분석하여 선행 연구를 보완할 수 있는 아이디어를 효과적으로 제안한 것 같았고, 발표자분께서 연구 흐름 및 장단점을 명확하게 정리를 해주셔서 잘 따라갈 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나에서는 Google Research에서 나온 TableMRC 관련 논문 3편 TAPAS, MATE, TableFormer 을 주제로 진행되었습니다. TAPAS 를 소개하기 앞서 TableMRC 내용을 잘 정리해주었고, 각 모델별로 contribution 을 어떻게 가져가는지에 대한 요약이 좋았습니다. TAPAS 에서 Fine-tuning 되는 과정을 이해하기 쉽게 아주 잘 정리해 주셨습니다. 이후 MATE 방법론에서 큰 Tasble 을 다루기위해, 특정 cell 의 representation 생성 시 가장 중요한 건 같은 행, 열에 속하는 cell 임을 아이디어로 가지고 효율적인 row-column attention 을 진행하는데, 해당 아이디어는 직관적이고, 매우 합리적이라 생각하여, 개인적으로도 한번 더 살펴보게 되었습니다. 마지막으로 TableFormer의 경우, 데이터의 행이나 열의 순서를 바꾸면 성능 저하가 일어난다는 문제점을 바탕으로 transformer 의 attention biases 를 다루는 방식을 제안했습니다. 관련된 task 에 맞춰 연구가 진행한것이 매우 인상깊었습니다,.

이번 세미나에서는 구글 리서치에서 발표한 일련의 논문을 인용해 Table MRC 분야에 대해 설명해 주셨습니다. 순서대로 TAPAS, MATE, TableFormer 방법론을 제안한 3가지 논문을 다루었으며, 분야의 연구 발전 동향을 자세히 설명해 주셔서 task를 확실히 이해할 수 있었습니다. 기본적으로 Table MRC task는 table의 정보로부터 질문에 대한 답변을 생성하는 machine reading comprehension 과정으로 각 모델은 순서대로 결점을 보완하기 위해 제안되었습니다. 우선 TAPAS에서 Table 내용에서 직접 답을 찾아내는 End-to-end MRC 제안하였으며, MATE는 inductive bias를 더 학습하기 위해 Row- and Column-related Attention Masking을 추가하고 너무 커진 테이블을 처리를 효율적으로 하기위해 Sparse Attention을 사용합니다. 마지막으로 TableFormer는 앞선 두 모델 모두 행, 열 순서 변화에 민감한 것을 개선하기 위해 행, 열 embedding을 제외하고 position embedding에 해당 정보를 포함하도록 대체한 것입니다. 지금까지 표 형태의 정보를 활용하는 것은 당연하게 SQL을 사용하는 것으로 받아들여져 왔는데, 이를 MRC task로 접근한 것이 매우 인상적이었으며, 발표자께서 일련의 3가지 논문을 한 번에 소개해 주셔서 흐름을 파악하기 좋았던 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Google Research의 Table MRC를 주제로 Tapas, Mate, TableFormer, 총 3가지의 방법론을 소개해주셨습니다. Table MRC 공동연구를 수행하며 이미 몇몇 논문들을 살펴본 상황이라 큰 무리없이 이해할 수 있어 좋았습니다. 기존 Text2SQL 연구를 넘어 Table과 Text를 jointly하게 encoding하는 TableMRC 연구가 2020년부터 비교적 활발히 진행되고 있습니다. Google Research에서 해마다 이전 방법론들을 개선하여 새로운 논문으로 발표하고 있는 점이 특히 인상 깊고, 이번 세미나를 통해 각 방법론의 한계 및 개선점에 대해서도 정리해볼 수 있어 유익했습니다. Tapas의 경우 개인적으로도 스터디 발표 및 코드 구현을 진행하면서 살펴보았을 때, 임베딩을 제외하고서는 모델 구조 자체가 BERT와 동일하기 때문에 'tablemrc의 본격적인 시작'이라는 의미 외에는 크게 와닿지 않았는데, 뒤이어 등장했던 MATE나 TableFormer에서 다루고 있는 부분들은 TableMRC 연구의 발전에 있어 굉장히 중요한 점들을 시사하고 있는 것 같습니다. 특히, 결국에는 large table을 처리하기 위한 모델이 효용성이 있는 상황에서, sparse attention 기법을 적용하여 이를 풀어내고자 했던 MATE가 앞으로 tablemrc 연구의 발전 방향을 잘 제시하고 있지 않나 싶습니다. 익숙한 주제였기에 더욱 흥미롭게 들을 수 있었습니다. 유익한 세미나 진행해주셔서 감사합니다.

이번 세미나는 TableMRC from Google Research를 주제로 진행되었습니다. 구글에서 제안한 TableMRC 모델인 TAPAS, MATE, TabelFormer에 대해 설명해주셨습니다. 우리 연구실에서 TableMRC 관련 연구를 진행하고 있지만 해당 연구에 대해 잘 모르고 있었는데 이번 세미나를 통해 자세한 내용을 접할 수 있어서 좋았으며, Google에서 한 연구 분야에 대해 선행 연구의 단점을 보완하면서 점차 발전해나가는 흐름을 알 수 있어 좋았던 것 같습니다. 첫 발표에 대해 많이 부담감을 느꼈을 것 같은데 잘 준비해주신 것 같습니다. 좋은 발표 감사합니다.

금일 세미나는 TableMRC from Google Research (TAPAS, MATE, TableFormer)연구에 대해 진행되었습니다. Table MRC에 관해서 최근 연구실에서 프로젝트를 진행하고 있고, 지난 번 Text-to-SQL과 유사한 측면이 있어 흥미롭게 들을 수 있었습니다. 오늘 세미나는 Google research에서 진행된 TableMRC 연구들을 종합해 발표해주셔서 매우 유익한 세미나였습니다. 더불어 각 연구들이 어떠한 시각에서 출발되었는 지, 차별점을 갖는 지를 짚어주셔서 이해에 도움이 되었습니다. Test-to-SQL과의 큰 차이점은 Logical form 없이 진행하는 출발이었습니다. End-to-end로 풀어보겠다는 것 자체가 신선했습니다. 이처럼 logical form없이 진행하기 때문에, Text-to-SQL의 평가 메트릭(logical form accuracy, execution accuracy)까지 많은 부분에서 다른 점을 갖습니다. 기본적으로 logical form 없이 attention 기반으로 row와 column간 매칭을 인지해가는 과정이 조금 무지막지해보이지만, 트랜스포머 기반이기 때문에 또 그렇구나.. 이해할 수 있었습니다. cell과 row의 순서에 대해 robust한 모델을 만들기 위한 노력은 logical form을 벗어나 end-to-end를 가져가는 과정에서 자연스럽게 나타나는 문제를 해결하기 위함으로 이해했습니다. 여러모로 attention is all you need라는 표현이 다시 한 번 떠올라지는 시간이었습니다. 좋은 발표 감사드립니다.

이번 세미나는 2020년부터 2022년까지 3년 연속으로 Google Research에서 발표한 일련의 Table MRC 관련 논문들이었습니다. 우선 Table MRC란 주어진 정형 데이터에서 Query에 대한 정답을 찾는 태스크를 의미합니다. 이때 Google Research의 세 연구 모두 트랜스포머 모델을 기반으로 하고 있기 때문에 어떻게 테이블 형식의 데이터를 1차원 형식으로 변환하고, 이를 모델 내부에서 테이블 형식으로 처리하는지가 관건인 것 같습니다. 또한, 테이블은 행과 열로 이루어져 있기 때문에, 이를 1차원으로 Flatten 시키면 매우 긴 시퀀스를 이루게 되어 연산량을 효과적으로 다루면서 성능을 확보할 수 있는지가 중요하므로 Long Sequence를 다루는 Longformer 등의 모델과도 연관성이 높아보였습니다. 또한, 각 셀의 내용을 그대로 return하는 것이 아니라 셀들의 값을 덧셈, 뺄셈 등 일종의 Aggregation하여 현실적인 조건을 고려하는 것을 알 수 있었습니다. 특히 TableFormer는 테이블의 특징을 고려하기 위해 13가지의 embedding을 생성하고 이용하여 Perturbation에 강건한 모습을 보인 것이 인상적이었습니다. 지금은 테이블이 주어진 상태에서 정답을 생성하고 있지만, 향후 ODQA 분야와 같이 여러 테이블과 Passage로부터 복잡한 정답을 추론하도록 분야를 확장할 수 있을 것이라는 기대를 합니다. 방대한 분량을 이해하기 쉽도록 다뤄주셔서 감사합니다.

본 세미나에서는 Google Research에서 발표한 Table MRC와 관련된 논문들에 대한 리뷰를 진행하였습니다. Google에서 발표한 순서인 TAPAS, MATE, TableFormer 순으로 세미나가 진행되어 각각의 방법론에서 갖는 한계점이 무엇인지, 그리고 그 한계점을 어떻게 극복하였는지가 명확하게 이해되었습니다.
Table MRC란 table에 있는 정보를 추출하여 질문에 대답하는 task를 의미합니다. 가장 먼저 제안된 TAPAS의 경우 'End-to-End' 방식으로 table에서 답을 탐색하자는 아이디어에서 출발합니다. 기본적으로 pre-train을 진행하고, 그 후 fine-tuning을 진행합니다. 효과적인 Fine-tuning을 위해 정답이 숫자인지, 정답이 테이블 안에 존재하는지를 파악하고 이 정보를 fine-tuning 과정에서 사용합니다. 다음으로 제시된 방법론인 MATE의 경우, 더 큰 테이블을 효율적으로 처리하자는 아이디어에서 출발합니다. 큰 테이블을 효과적으로 처리하기 위해 특정 cell의 representation 생성 시 가장 중요한 건 같은 행, 열에 속하는 cell이라는 점이라는 부분에 주목하였습니다. 마지막으로 제시된 방법론인 TableFormer의 경우 TAPAS, MATE가 pertubation에 취약하다는 아이디어에서 출발합니다. TableFormer는 pertubation에 robust하기 위해 table의 구조적 bias를 학습할 수 있도록 Learnable Table-Text Attention Biases Matrix를 제안하였습니다. 약간은 manual한 방법이지만 Table MRC task에 적합한 방법이라는 생각이 들었습니다. 이번 세미나를 통해서 Table MRC task의 발전 과정을 알 수 있었습니다. 추가적으로 다음 방법론에 대한 예상까지 발표자님이 제시해주셔서 발표자님이 Table MRC task에 대한 통찰을 느낄 수 있었습니다. 좋은 발표 감사합니다.

금일 세미나는 TableMRC 논문 3가지를 정리하는 시간을 가졌습니다. 최근 새로운 프로젝트를 시작하며 TableMRC를 살펴보고 있는데, 구조화된 정보에서 정보를 찾아내는 해당 task가 점점 연구되고 있는것을 확인할 수 있었습니다. TableMRC에서 가장 중요한 부분은 Table을 어떻게 encoding할 것인가에 대한 내용입니다. 대부분의 방법론들은 table의 구조를 Input text가 표현하기 위해 관련 특징을 special token을 통해 해결하고 있습니다. 하지만 다음과 같은 방법론으로 문제를 풀이하게 될 경우 max length의 한계로 인해 더욱 큰 table을 효과적으로 다룰 수 없습니다. MATE는 TAPAS의 문제를 해결하기 위해 sparse attention을 활용하여 문제를 풀어가고 있으며, 최근에 제안된 TableFormer는 보다 robust하게 table을 처리하기위해 cell position id를 사용합니다. 또한 Attention bias를 통해 table의 Perturbation에도 Robust한 모델을 구축 합니다. 다만 TableFormer도 여전히 복잡하고 크기가 큰 table을 다루지 못한다는 한계를 가집니다. 향후 모델들은 table을 단순히 special token으로 분리하지 않고 효과적으로 encoding할 수 있는 방향으로 연구되면 좋겠다고 생각했습니다. 좋은 발표 감사합니다.