이번 세미나에서는 language model이 label이 없는 text corpus의 context로부터 무엇을 학습하는지와 BERT의 기하학적 measuring와 visualizing에 대한 두 편의 논문을 소개해주셨습니다. language model이 word의 representation에서 syntax를 찾는 것에 대한 구조적 probe을 위해 dependency parse tree가 사용됩니다. 이는 word 간의 dependency에 따른 거리를 계산할 수 있게 해주는 tree 구조로, 문법 규칙에 의해 dependency가 있을 때 연결되는 구조를 가집니다. 만약 language의 embedding을 dependency parse tree로 transform해주는 linear transform이 있으면, 그 language model은 text의 dependency relation 즉, Syntactic 정보를 임베딩합니다. 또한 embedding을 linear transform했을때, 그 transform된 space 상에서 노드들의 squared distance로 dependency parse tree에서의 distance를 근사할 수 있게됩니다. 구조적 특징 중 하나인 depth는 transform된 space상에서 각 node들의 norm, 다시 말해 원점에서의 거리제곱으로 측정됩니다. 실험 결과, language model은 이 dependency parse tree를 잘 학습하고 있음을 알 수 있었습니다.
다음은 syntax에 있어서 기하학적 의미를 해석하는 논문이 소개되었습니다. 실험 결과, 같은 단어라도 다른 word sense를 가지는 단어들은 각기 다른 공간에 mapping되었음을 확인하였습니다. 세미나 중, 단어를 continuous 하게 볼 수도 있다고 말씀하셨는데 이 것에 대해 다시 생각해보았더니 모든 단어는 문맥에 따라 서로 다른 의미를 가지기 때문에 그렇게 볼 수도 있겠다는 생각이 들었습니다. language model이 context를 학습했음을 논문에서 수학적으로 설명하고 있는 점이 흥미로웠습니다. 발표 정말 잘 들었습니다. 좋은 발표 감사합니다.

금일 세미나는 language model 이 다양한 task를 수행할 수 있는 요인으로서 language model represenation 을 분석하는 논문들로 진행되었습니다. 특히 unlabeled text corpora에서 어떤 정보를 학습하는지에 대해 알아보기 위해 임베딩 결과에 초점을 맞추어 그 요인을 알아보고자 하였습니다. 첫번째 논문에서 context embedding에 syntax 정보가 존재하는지 알아보기 위한 절차를 소개해주셨는데, 임베딩 공간에서 dependency parse tree 와 같은 트리 구조가 보존되지는 않지만, 임베딩 부분공간에서 dependency parse tree 구조가 나타는 것을 실험적으로 알 수 있었고, 이를 통해 언어모델이 텍스트에서 의미정보를 학습함을 유추해낼 수 있었습니다. 두번째 논문을 통해서는 단어토큰 간의 attention score에 dependency의 존재와 dependency의 종류 에 대한 정보가 포함되어 있음을 알 수 있었습니다. 또한 word sense에 따라 임베딩이 달라지는 결과를 시각화한 부분이 흥미로웠고, attention 기반 언어모델이 주변 이웃의 의미를 모두 흡수하여 생기는 한계점에 대해서 보완한 후속 연구에 대해 더 찾아볼 생각입니다. 좋은 발표 전달해주신 발표자님께 감사드립니다.

본 세미나는 Word Embedding을 Parse Tree와 연결시킬 수 있는 Linear Transformation이 존재한다는 주제로 진행되었습니다. 단순하게 생각했을 때, Word Embedding을 구성함에 있어, 당연히 주위의 단어들과의 관계를 살펴보고 반영하니 Tree의 형태와 같은 '관계'를 포함하고 있을 것이라는 생각이 들었지만, 그것을 입증 / 구현 / 실험을 해본 논문이었습니다. 이어 한 발 더 나아가, Word Sense, Parse Tree를 갖고 있는 'Subspace'를 갖고 있음이 놀라웠으며, 그것이 BERT의 우수성의 기반이라는 생각이 들었습니다. 세미나 후에 든 생각으로는, 왜 Language Model로 구성된 Word Embedding에만 실험을 진행했을까 입니다. 그 이전에도 Word2Vec이나 Swivel, 또는 기초적인 TF-IDF과 같은 Word Embedding도 해당 특징들이 발견될 수 있는 지 궁금해진 바입니다. BERT에 대한 또다른 시각을 제공해준 본 세미나 발표자에게 감사드립니다.

일반적으로 언어모델은 downstream task에 성능이 우수한 것이 우선시 되지만, 본 세미나에서는 잘되면 왜 잘 되는지 언어들간의 관계를 시각화와 함께 살펴보는 시간이었습니다. 언어임베딩이 연속적인가, 불연속적인가를 생각해 봤을때 일반적인 강의나 자료를 보면 딥러닝 모델은 연속적인 공간을 표현한다고 할 수 있습니다. 그러나 이러한 관계를 제대로 학습시키기 위해서는 언어의 모호성이 존재하기 때문에 완벽히 표현하는 공간을 찾기란 매우 어려울 것 입니다.(사람이 바도 잘 모르는 문장) 사람이 할수 있는 범위와 그렇지 않은 범위를 정해서 언어모델을 발전시키면 어는 task가 가능/불가능한지 앞으로 발전가능성을 알 수 있을 것 같습니다.

김명섭 석박통합과정의 세미나 발표를 들었습니다. 오늘 발표해주신 내용은 최근 BERT 기반의 모델을 필두로 하는 Language Model 이 Syntatic / Semantic 정보를 잘 학습하는지를 확인하고자 하는 과정에서 실험을 진행한 논문을 소개해주셨습니다. 첫번째 논문은 Context Embedding 내 특정 subspace 가 Syntatic 정보를 가지고 있다는 것을 실험적으로 발견했다면, 두번째 논문은 이에 대한 수학적 증명과 Semantic 정보를 잘 가지고 있다는 것을 Word Sense Disambiguation Task 를 잘 푸는지 확인하는 과정을 거쳤다고 합니다. BERT 가 좋은 성능을 보이는 이유에 대한 해석을 시도하는 여러 논문들이 있었는데 위 두개의 논문도 이와 같은 연구 흐름의 연장 선상에 있는 논문이라고 생각이 들었고 해당 연구 결과를 바로 적용해서 다른 연구로 이어가거나 application 에 활용은 좀 어렵겠지만 참고로 알고 있으면 좋은 정보라는 생각이 들었습니다. 좋은 정보 감사합니다.

금일 발표에서는 BERT기반의 모델에서 기존 Semantic정보와 더불어 Syntatic 정보를 학습이 가능함을 제안하는 A Structural Probe for Finding Syntax in Word Representation 논문을 통해서 보여주었습니다. 해당 논문에서는 context embedding에 syntax 정보를 보여주는 과정이 흥미로웠습니다. 이어서 소개한 두번째에서는 논문 단어토큰 간의 attention score에 dependency가 존재함을 보여주었습니다. 지금까지 다양한 BERT 연구들 가운데서 Syntatic & Semantic 시각으로 해석한 사례들을 접할 수 있던 좋은 기억이라고 생각됩니다.

매우 흥미로운 주제의 논문들이었습니다. 최근 발표자가 어떤 분야에 관심이 있는지를 아는 입장에서 봤을때는 해당 분야를 공부하기에 몇 없는 좋은 논문을 발견한 것이 아닐까 라는 생각이 들었습니다. 전반적으로 논문들은 LM이 어떠한 정보를 표상 할 수 있는지를 실험적으로 밝혀냅니다. 언어란 특성 자체가 정의 내리기 어렵고 사용하는 사람 입장에서도 모호함이 짙은 특성이 있기 때문에 어려움이 많겠지만 발표해주신 두 논문이 그 초석을 잘 닦아 놓았다는 생각이 듭니다. 지속적으로 follow-up하며 어떠한 후속 연구가 나올지 살펴보고싶습니다.

문장의 구조를 표현하는 효과적인 구조 중 하나가 dependency parsing tree 입니다. 발표하신 내용은 주로 embedding space와 관련된 이야기였는데, 해당 space의 특정 subspace가 parse tree의 거리정보를 잘 반영한다는 흐름이었습니다. Linear transformation 이후의 노드 간 distance와 context embedding vector 간의 거리가 비슷하게 측정된다는 것이 개인적으로 신기했습니다. 마지막으로 말씀해주신 word vector의 특성에 대한 아이디어는 생각해 볼 점이 많아 매우 흥미로웠는데, 결론으로 제시하기까지의 흐름만 완성된다면 좋은 연구가 될 것 같습니다. 발표 감사합니다.

이번 세미나에서는 Language Model Representation 내이 포함되어 있는 정보들에 대해 시각적 수치적으로 탐색한 논문 2가지를 소개해 주셨습니다. 논문에서는 Language Model로 부터 생성된 Embedding Space 안에 언어의 Syntax 정보가 잘 포함되어 있는지 여부를 다양한 실험을 통해 입증한 하였습니다. 다만 두 논문 다 BERT를 기반으로 실험하였기 때문에 다른 Language Model에도 보편적으로 실험할 수 있는 방법을 안내해 줬더라면 더 좋을 것 같다는 생각을 잠시 해 봤습니다. 비록 실용적인 논문은 아니지만 BERT와 같은 Language Model을 사용할 때 알아두면 좋은 지식이라고 생각합니다. 발표 감사합니다.

금일 발표는 "Syntax and Semantics in Language Model Representation"이라는 주제로 진행되었습니다. 본 발표에서는 language model이 대용량의 데이터로부터 어떠한 정보를 학습하고 다양한 task를 수행할 수 있는 language model representation은 어떤 정보를 포함하고 있는지를 파악하기 위한 방법론들이 소개되었습니다. 지금까지 연구실 세미나에서 다루어졌던 대부분의 논문들은 더 좋은 representation을 추출하기 위한 방법론들이었는데, 금일 발표에서는 이러한 representation이 어떠한 의미를 가지고 있는지 파악해보는 시간이라 개인적으로 신선하다고 느껴졌습니다. 그리고 해당 논문들을 발표하게 된 기저가 자연어가 continuous하다고 생각하기 때문이라는 점 또한 매우 흥미로웠습니다. 개인적으로 너무 당연하게 자연어는 discrete하다고 생각했왔는데, 금일 발표를 청취하며 자연어가 완전히 discrete하지는 않을 수도 있겠다라는 생각이 들었고 이와 관련해서 다양한 의견들을 나눌 수 있어 좋은 시간이었습니다. 건강한 토론의 장을 열어준 발표자께 감사드립니다.

이번 세미나의 첫번째 논문은 language model의 embedding을 dependency parse tree를 사용하는 아이디어를 담은 논문을 발표하는 세미나였습니다. Linear Transformation 에 통과시켜 k 차원의 space로 각 토큰을 표현해주고 이를 dependency parse tree 에 매칭시켜 토큰간의 관계(중의적인 표현 등)를 명확히 할 수 있는 방법입니다. 세미나에서 다뤘던 두번째 논문은 문장을 이루는 토큰의 attention score에 dependency의 존재 여부와 dependency의 종류에 대한 정보를 활용하여 토큰에 대한 정보를 더욱 자세하게 담아내는 방법을 다루고 있습니다. 이 기반에는 발표자가 주장하고 있는 "언어는 continous 한 space상에 존재한다."라는 가정이 깔려있습니다. 이 가정에 대해서 생각해봤을 때, 다의어가 2개로 존재하는 단어가 있다고 했을 때, 이 둘 사이의 의미를 담고 있는 토큰이 존재할 것이다라고 말할 수 있는데, 개인적인 의견으로 언어학적인 면에서 이는 무리가 있고, 2개의 discrete한 의미로 나뉘었을 때 토큰으로서의 의미가 있다고 생각합니다. 이렇게 discrete한지 continuous한지 고민해볼 수 있는 좋은 기회였습니다. 감사합니다.

이번 세미나를 통해 발표자분께서 "A Structural Probe for Finding Syntax in Word Representation", "Visualizing and Measuring the Geometry of BERT" 두 편의 논문을 소개해주셨습니다. 이 두 논문을 통해 Language Model이 대용량의 Unlabeled Text Corpus로 부터 어떠한 정보를 학습하고, 다양한 Task를 수행할 수 있지 차근차근 설명해주셨습니다. 아직 해당 분야에 대해 잘 몰랐지만, 선행연구와 후속연구로 발표를 진행해주셔서 연구의 흐름을 파악하기에 매우 좋았습니다.

첫번째 논문은 Context Embedding이 syntatic 정보를 가지고 있다는 것을 실험적으로 보여주는 과정을 소개해주셨고, 두번째 논문은 syntax에 있어서 이를 기하학적으로 해석하고, 실험을 통해 같은 단어라도 다른 word sense를 가지는 단어들은 각기 다른 공간에 mapping되는 것을 보여주셨습니다.

세미나 중간에 단어를 discrete하게 봐야할지 continuous 하게 봐야할지 토론의 장이 있었는데 한번도 그러한 관점으로 text를 바라보지 못했기 때문에 매우 흥미롭게 들을 수 있었습니다. 개인적인 의견으로는 continuous하게 표현할 수는 있지만 사람이 사용하는 문법이라는 rule에 과연 표현된 text들이 잘 맞아 들어갈까 라는 의문점이 들었습니다. 만약 문법을 무시하고 이를 공간 상에 continous하게 나타낼 수 있는 방법이 있다면, 어떤 언어든 적용이 가능할 것이므로 매우 흥미로운 주제(아이디어)라는 생각이 들었습니다.

이번 세미나에서는무엇보다 Language Model이 어떤 정보를 포함하고 있는지를 수학적으로 증명하는 연구를 소개해주셔서 굉장히 인상적이었습니다. 모델이 언어를 학습할 때 언어의 개체 간 관계가 궁금했는데, 선형 변환을 통해 Dependency Tree로 그러한 관계를 표현할 수 있다는 점에서 연구의 의미가 있다고 생각했습니다. , 라는 두 편의 논문을 소개시켜 주셨는데, 특히 두번째 논문에서 Language Model Representation 내 word sense information을 포함하고 있는 Subspace가 존재한다는 것을 증명한 것이 신기했습니다. 딥러닝이 단순히 성능 향상을 목적으로 하는 도구로 볼 수 있지만, 모델이 반영하는 데이터의 현실적인 특성을 연구하는 것 역시 굉장히 중요한 일이라고 생각합니다. 좋은 발표 감사합니다.

language model representation이 문법적인 정보를 얼마나 잘 담고 있는지를 밝힌 연구에 대해 소개해주셨습니다. 논문에서는 dependency parsing tree의 거리 정보를 임베딩 공간의 특정 subspace가 이를 잘 반영하고 있다는 사실을 다양한 실험을 통해 입증합니다. 저자가 이를 수학적으로 풀어가는 과정이 흥미로웠는데 pythagorean embedding이라는 개념을 정의하고 이를 통해 dependency parsing tree와 embedding간의 거리를 비교하였습니다. 해당 개념을 제약식으로 사용해 언어 모델을 학습하는 새로운 목적함수를 설계해보아도 재미있겠다는 생각이 들었습니다. 발표자께서 열심히 기초를 다져서 해당 분야에 기여하시길 응원하겠습니다

버트와 같은 Context Embedding이 문맥을 고려하여 토큰이 의미를 가지지만 Syntax적인 즉, 문법을 고려한 의미도 가지고 있는지에 관해 진행한 세미나입니다. 특히 첫번째로 소개한 논문에서 dependency parse tree로 간단하게 임베딩을 변화시키는 Linear transformation를 토큰 간의 거리가 dependency parse tree 상에서의 거리와 비슷하게 된다는게 신기하였습니다. 물론 Linear transformation할 수 있는 파라미터를 찾는 것도 문제이지만, 선형변환이기 때문에 궁극적으로는 버트와 같은 context embedding이 언어 구조와 문법적인 요소도 반영하는 것이 아닌가 싶습니다.
해당 분야의 연구들은 상대적으로 활발하게 일어나지 않고 있지만, 발표자께서 지속적으로 연구를 한다면 좋은 결실을 맺을 것 같습니다. 좋은 발표 감사합니다.

이번 세미나는 Syntax and Semantics in Language Model Representationd를 주제로 진행되었습니다. pretraining 과정에서 학습되는 context embedding이 어떤 정보를 담고있는지 포커스를 맞추어 두가지의 논문을 소개해주셨습니다. 첫번째 논문은 LM의 embedding을 dependency parsing 구조로 변경할 수 있는 Linear transformation 존재한다고 가정한 후 이를 증명해 나가는 흐름을 보이고있습니다. Context embedding을 linear transformation을 통해 나타내었을 때 Transformed space에서 node의 거리가 dependency parse tree의 거리와 거의 유사함을 알 수 있었습니다. 사실 좋은 성능을 내는 모델이 어떤 이유로 좋은지 알아가는 과정이 매우 중요하기때문에 다음과 같은 논문이 중요하다는것을 알 수 있으며 layer 별로 embedding의 변화를 볼 수 있어, 지난 세미나에서 제가 발표했던 contextual representation과도 비슷한 주제를 가지는 세미나라 생각하였습니다. 두번째 논문은 BERT의 기하학적인 보여줌으로서 앞선 논문에서 말한 context embedding뿐만 아니라 attention score도 언어의 중요한 정보를 담고있다는것을 알 수 있는 논문입니다. dependency parsing information을 concat해주지않아도 내부적으로 언어의 특성을 가진다는 여러가지 논문들이 있었지만 조금 더 정확하게 근거를 알 수 있는 좋은 논문이었습니다. 감사합니다.

이번 세미나는 김명섭 석박통합과정의 “Syntax and Semantics in Language Model Representation” 주제로 진행되었습니다. 이번 세미나에서는 Language Model(LM)이 Unlabeled 된 텍스트로부터 어떠한 정보를 학습하고, Specific Task에서 어떻게 LM이 representation 되는지를 파악할 수 있는 방법론에 대한 논문들이었습니다. 소개해준 논문은 LM의 임베딩 값이 Linear Transformation을 통해 Dependency Parsing과 비슷한 구조를 가진다는 것을 보여준 논문이었습니다. 이번 세미나를 통해서, LM의 representation에 대해서 의미를 파악하고, 연구하는 분야에 대해 알게되어서 좋았습니다. 발표 감사합니다.

이번 세미나에서는 문장을 TREE 구조의 정보가 있을 때, 이를임베딩시 기존의 임베딩 SPACE 는 적절하지 않음을 보이며, 새로운 임베딩 구조를 BERT 에 적용시켜 설명했습니다. 사실 저도 비슷한 개념을 Hyperbolic 임베딩 에서 접해 볼 수 있었는데, 이런 Tree 구조의 임베딩을 좀 더 특징을 보존하기 위해서는 Hyper space 에서 더 잘맞음을 보여 주었습니다. 해당 관련 논문도 한번 찾아보시면 좋을 것 같습니다 (해당 논문의 Reference로도 달려있는것 같네요). 전체적인 발표 내용에서 BERT 에대한 간단한 설명도 좋았고, Geometry 정보를 이용하는 흐름또한 좋았습니다.