[Paper Review] Unsupervised Open-domain Keyphrase Generation

Paper Review
작성자
Doyoon Kim
작성일
2024-04-10 07:06
조회
918
  1. 주제: Unsupervised Keyphrase Generation
  2. 논문명: Unsupervised Open-domain Keyphrase Generation
  3. 저자: Lam Do, Pritom Saha Akash, Kevin Chen-Chuan Chang
  4. 논문링크: https://aclanthology.org/2023.acl-long.592.pdf
  5. Venue: 2023 ACL(long paper)
  6. 내용  설명:
    - 비지도학습 상황에서 도메인에 상관없이 keyphrase generation을 수행하기 위한 방법론을 제시한 연구
    - 주어진 문서와 동일 데이터셋 내 다른 문서로부터 획득한 reference를 입력하는 Phraseness 모듈과 문서와 연관된 단어가 생성될 수 있도록 정보를 주입해주는 Informativeness module로 구성됨
    - 실험결과 기존의 다른 unsupervised keyphrase generation 방법론보다  domain이 다른 데이터셋 대상으로 높은 성능을 보임
    - 나아가 몇몇의 데이터셋에서는 지도학습 방법론보다도 나은 모습을 보임
  7. 발표자료: 첨부자료 확인
전체 19

  • 2024-04-16 13:46

    금일 세미나는 비지도 학습 방법론을 통해 키워드를 직접 생성하는 "Unsupervised Open-domain Keyphrase Generation"을 중심으로 진행되었습니다. 기존에 발표자분께서 다뤄주신 키워드 관련 연구들은 제시된 문서 내에서 Key Phrase를 직접 추출하는 방식으로 접근하고 있었습니다. 하지만 본 논문에서는 Encoder-Decoder 구조를 이용하여 직접 문서 내에 존재하지 않은 키워드도 생성할 수 있는 방법론을 제안하고 있습니다. 이를 위해 Pseudo Label을 이용한 Key Word 생성 과정에서 전체 문서 벡터와 유사한 단어 벡터들을 이용한 일종의 Copy Mechanism을 이용하고 있습니다. 실제 실험에서도 제안 방법론이 비지도 학습 기반 방법론임에도 지도 학습 기반 방법론과 일부 유사한 성능을 보이는 등 유의미한 성과를 거둔 논문인 것 같습니다. 다만 Keyword/Keyphrase가 실제로 제한된 레이블을 통해 평가될 수 있는지 궁금증이 생기는 발표였습니다. 또한, 복잡한 Copy Mechanism이 필요한 경우는 주로 모델의 생성 성능이 매우 저하되는 경우인데 사전 학습된 언어모델을 이용하여 더욱 단순화된 학습 역시 가능할 것으로 보입니다. 좋은 발표 감사드립니다.


  • 2024-04-21 13:11

    이번 세미나에서는 도메인에 구애받지 않고 키워드 생성을 가능하게 하는 비지도 학습 방법론을 제안한 'Unsupervised Open-domain Keyphrase Generation' 논문에 대해 발표해 주셨습니다. 해당 연구의 가장 돋보이는 점은 Phraseness 모듈과 Informativeness 모듈을 통해 주어진 문서와 연관성 높은 키워드를 생성할 수 있는 능력이었습니다. Phraseness 모듈은 문서의 명사구를 추출하고 다른 문서에서 유사한 명사구를 검색하여 입력으로 사용하는 반면, Informativeness 모듈은 문서와 관련된 정보를 키워드 생성에 활용하여 각 키워드의 정보성을 강화합니다. 실험 결과, 해당 방법론은 기존의 비지도 방법론들을 능가하는 성능을 보여주었으며, 몇몇 데이터 셋에서는 지도학습 방법론보다도 우수한 결과를 나타냈습니다. 이는 Phraseness와 Informativeness 모듈이 효과적으로 결합되어 고도의 컨텍스트 인식과 키워드의 정보적 가치를 높이는 데 성공했기 때문으로 보입니다. 다만, 해당 논문의 방법론이 다양한 도메인과 언어에 걸쳐 일관된 성능을 유지할 수 있는지에 대한 추가적인 연구가 필요하다고 생각했습니다. 또한, 복잡한 모듈 구성으로 인해 실제 적용 시 계산 비용이나 리소스 소모가 클 수 있다는 점을 고려해야 한다고 생각합니다. 특히, 비지도 방법론 특성상 정확한 레이블 없이 학습이 이루어지기 때문에 생성된 키워드의 정확성을 객관적으로 평가하기 어려운 문제도 해결해야 할 과제일 것입니다. 이번 발표를 통해 키워드 추출 및 생성의 기초부터 발전 과정까지 잘 알 수 있었습니다. 좋은 발표해 주셔서 감사합니다.


  • 2024-04-22 23:47

    금일 세미나는 별도의 학습없이도 다양한 분야의 텍스트들을 대상으로 Keyword를 제안한 방법인 'Unsupervised Open-domain Keyphrase Generation'라는 논문을 소개해 주셨습니다. 해당 논문에서는 먼저 후보 Phrase들을 획득하는 과정부터 시작됩니다. 후보 Phrase를 획득하기 위해 주어진 Text 내에서 Noun phrase인 Present phrase를 먼저 추출한 뒤 다른 문서 내에 존재하는 Present phrase를 retrieval하여 후보 Noun phrase를 획득합니다. 이후 FAISS를 기반으로 일정 threshold를 넘는 상위 k개의 phrase를 선택하여 References로 사용한뒤 주어진 Text와 References를 함께 Seq2Seq 모델의 Input으로 사용하게 됩니다. 이 때, Seq2Seq에서 Decoder에는 Copying mechanism 응용식이 적용되었고 추가적으로 Reference 중 랜덤하게 일부를 masking하여 이를 예측하는 Masked phrase prediction도 함께 진행함으로써 학습이 진행됩니다. 이 때, Decoder의 확률 Distribution에 별도로 Informativeness module을 적용하여 문서의 임베딩 벡터와의 유사도를 기반으로 각 Phrase의 정보력을 반영해줌으로써 최종 Keyphrase를 Generation을 진행하고 있습니다. 실험 결과로는 Supervised 방법론보다 좋은 성능들을 보여주며 특히 OOD Dataset에 대해서도 좋은 실험 결과를 보여주기도 하였습니다. 해당 방법론을 보면서 Supervised의 성능을 능가할 정도로 좋은 Component들을 제안해 주었다고 느꼈지만 한편으로는 임베딩 모델로 Sent2Vec만을 사용하였을 때 Bag of Words 기반 방식이기에 문장의 Context를 효과적으로 잘 포착할 수 있을지 의문이었던 것 같습니다. 즉, 더 많은 임베딩 모델을 활용할 수 없는 이유와 Sent2Vec이어야만 하는 이유에 대해 궁금했던 것 같습니다. 끝으로, 낯선 Keyphrase Generation이라는 분야를 발표자분의 언어로 듣게 되어 너무 감사했습니다. 좋은 발표 감사합니다!


  • 2024-04-14 12:57

    이번 세미나는 “Unsupervised Open-domain Keyphrase Generation” 주제로 진행되었습니다. 해당 연구는 도메인에 구애받지 않고 키워드를 생성하는 비지도 학습 방법론을 제안했습니다. 가장 돋보이는 점은 Phraseness 모듈과 Informativeness 모듈을 통해 주어진 문서와 연관성이 높은 키워드를 생성하는 능력이었습니다. Phraseness 모듈은 문서에서 명사구를 추출하고, 다른 문서에서 유사한 명사구를 검색하여 후보군을 형성합니다. Informativeness 모듈은 문서와 관련된 정보를 활용해 각 키워드의 정보성을 강화합니다. 이 두 모듈의 결합으로 고도의 컨텍스트 인식과 키워드의 정보적 가치를 높이는 데 성공했습니다. 실험 결과, 해당 방법론은 기존 비지도 학습 방법론보다 우수한 성능을 보였으며, 일부 데이터셋에서는 지도 학습 방법론보다도 뛰어났습니다. 하지만 다양한 도메인과 언어에 걸쳐 일관된 성능을 유지할 수 있을지에 대한 추가 연구가 필요하다고 생각됩니다. 또한, 복잡한 모듈 구성으로 인한 계산 비용과 리소스 소모가 큰 점도 고려해야 할 문제입니다. 비지도 학습 특성상 생성된 키워드의 정확성을 평가하기 어려운 문제도 해결해야 할 과제입니다. 발표를 통해 키워드 추출 및 생성의 기초부터 발전 과정까지 잘 알 수 있었습니다. 좋은 발표 감사드립니다.


  • 2024-04-23 22:25

    이번 세미나에서는 Unsupervised Open-domain Keyphrase Generation 라는 논문을 다루었습니다. 해당 논문은 keyphrase extraction이 아닌 generation에 집중하고 있습니다. 해당 논문의 모델은 seq2seq 구조로 크게 두가지 모듈로 구성되어 있습니다. Phraseness 모듈은 key phrase 생성에 주로 관여하며 의미있는 keyphrase를 생성할 수 있게 하는 역할을 수행합니다. Informativeness 모듈은 생성된 구문이 문장의 핵심 개념을 포함하도록 유도합니다. 해당 모델은 비지도학습 방식으로 구축되며 여러 데이터셋에서 좋은 성능을 보입니다. 특히 지도학습 방법론과의 성능 차이가 적다는 점이 인상깊었습니다. 이번 발표에서는 keyphrase generation 연구에 대해 알 수 배울 수 있었지만 LLM이 아닌 keyphrase generation 모델을 사용하는 것의 장점에 대해서는 의문이 생기는 것 같습니다. 좋은 발표 감사합니다.


  • 2024-04-24 01:25

    본 세미나는 "Unsupervised Open-domain Keyphrase Generation"이라는 논문을 바탕으로 진행되었습니다. 해당 논문은 Keyphrase Prediction이라는 task에서, 문서-정답 pair에 대한 학습 없이 진행되는 unsupervised 상황에서, open-domain 텍스틀ㄹ 대상으로 적용 가능한 방법론입니다. 해당 모델은 크게 2가지 모듈로 구성되는데, 첫 번째 Phraseness module은 POS-Tagging을 이용하여 명사구를 입력하는 retrieval-augmented seq2seq2 model이고, 두 번째 Informativeness는 문서의 임베딩 벡터의 유사도를 기반으로 각 pharse의 정보력을 탐지하는 seq2seq model입니다. 세미나를 들으면서 흥미로웠던 점은, 본 논문이 unsupervised open-domain keyphrase generation이라는 새로운 문제를 정의했다는 것과, 여러 데이터셋에 대해 범용적으로 적용 가능한 방법론임을 실험적으로 증명했다는 것입니다. 특히 다른 문서에서 존재하는 phrase를 미리 획득하여, phrase bank를 형성한 후 주어진 문서와 연관 있는 phrase의 retrieval(references)로 활용했다는 점이 성능을 높일 수 있는 중요한 방법이지 않았나 생각해봅니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2024-04-24 02:06

    금일 세미나에서 다룬 "Unsupervised Open-domain Keyphrase Generation" 논문은 주로 비지도학습 방법론을 사용하여 도메인에 구애받지 않고 키워드를 생성하는 기술에 중점을 두었습니다. 이 논문의 핵심은 문서 내에 명시적으로 존재하지 않는 키워드를 생성할 수 있는 능력에 있습니다. 문서와 연관된 키워드를 생성하는 새로운 방법론을 제시하며, 주요한 특징으로는 키워드의 'Phraseness'와 'Informativeness'를 평가하는 두 개의 독립적인 모듈이 포함되어 있습니다. Phraseness 모듈은 주로 명사구를 추출하고 분석하는데 활용되며, Informativeness 모듈은 생성된 키워드가 문서의 정보를 얼마나 잘 반영하고 있는지를 평가합니다. 실험 결과 기존의 지도학습 방법론 보다 경쟁력있는 성능을 보여주었고 다양한 도메인에서도 일관된 성능을 유지하고 있습니다. 다만, 이 방법론의 복잡성과 자원 소모에 대한 우려도 제기되어, 실제 환경에서의 적용 시 고려해야 할 점들이 있어 보입니다. 이러한 내용들을 종합적으로 고려한 좋은 발표였습니다. 감사합니다.


  • 2024-04-24 09:28

    오늘 세미나는 문서 내 중요 어절인 Keyphrase를 찾아내는 과업을 수행하기 위한 모델 및 학습 방법론을 제시한 논문 'Unsupervised Open-domain Keyphrase Generation'을 중심으로 진행되었습니다. Keyphrase를 찾아내는 방법론은 크게 Keyphrase Extraction과 Keyphrase Generation으로 나뉘고, 보통은 전자를 중심으로 한 연구가 많은 것으로 알고 있는데 이 방법론의 경우 후자에 대한 연구라는 점이 신선하게 다가왔습니다. Generation이라고 하더라도, 아예 자유롭게 생성하는 것이 아니라, Phrases가 될 수 있는 후보군을 Train set에서 추출하여 이들을 후보 Keyphrase로 사용합니다. Generation치고 제약이 많은 세팅이라는 생각도 들지만, 한편으로는 비지도학습 방식으로 Keyphrase Generation을 하기 위해서는 불가피한 선택이었다는 생각도 듭니다. Seq2Seq 구조를 사용하여 Phrases Bank로부터 현재 문서의 Present Phrases 근처의 위치한 Absent Phrases까지 고려하여 Keyphrases를 생성하기 때문에 현재 문서에 없는 Keyphrases또한 만들어낼 수 있습니다. 결국 어떤 정해진 Reference Phrases Bank에서 시작하지만, 후에 필터링을 진행해주는 것이 Edge Point라고 느껴지는 방법론이었고, 성능 또한 나쁘지 않아서 신기했던 논문이라고 생각했습니다. 하지만 여전히 Domain-Knowledge 기반의 페널티를 적용하고 Phrases Bank를 확보된 데이터셋을 통해 만드는 등 상황에 따라 일반화가 잘 되지 않을 수도 있는 연구분야라는 생각도 들었습니다. 좋은 논문 소개해주셔서 감사합니다!


  • 2024-04-24 13:39

    오늘 세미나에서는 "Unsupervised Open-domain Keyphrase Generation" 라는 이름을 갖고있는 논문에 대해 소개해주셨습니다. 특히, 이 연구에서 제안된 방법론은 문서에서 직접적으로 키워드를 추출하지 않고, 문서 내용을 근거로 새로운 키워드를 생성하는 능력을 갖춘 점이 흥미로웠습니다. 이는 Phraseness와 Informativeness 모듈을 통해 각각 키워드의 문구적 적합성과 정보성을 평가하여, 키워드가 문서의 핵심 내용을 잘 반영하도록 합니다. 실험 결과 이러한 방법론이 지도 학습 기반 방법론과 유사한 성능을 보인다는 것은, 비지도 학습이 지닌 잠재력을 새롭게 조명하는 계기가 되었습니다. 그러나 복잡한 모델 구조와 고려해야 할 계산 비용은 실제 응용 시 장애가 될 수 있으며, 이에 대한 효율적인 해결 방안 모색이 필요할 것으로 보입니다. 이번 세미나를 통해 키워드 생성의 최신 연구 동향과 방법론을 이해할 수 있어 매우 유익한 시간이었다고 생각합니다. 흥미로운 발표 감사드립니다!


  • 2024-04-24 13:57

    이번 세미나에서는 "Unsupervised Open-domain Keyphrase Generation"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 비지도학습을 활용하여 다양한 도메인의 문서로부터 핵심어를 자동으로 생성하는 방법론을 제시하였습니다. 특히, Phraseness 모듈과 Informativeness 모듈의 두 주요 구성 요소로 이루어져 있고, 이를 구분하여 설명합니다. Phraseness 모듈은 주어진 문서와 데이터셋 내 다른 문서들로부터 참조를 추출하여 명사구를 생성하는 모듈입니다. 또한, Informativeness 모듈은 문서에 관련된 정보가 풍부한 단어를 생성할 수 있도록 도와주는 모듈입니다. 해당 방법론을 통해 비지도 학습 방식으로 효과적인 핵심어 획득이 가능함을 증명하였고, 이러한 두 모듈을 통해 각각 문서의 문맥과 정보성을 강화하며, 이는 성능 향상으로 이어졌습니다. 실험 결과를 보면 일부 데이터셋에서 지도학습 기반 방법론들보다도 더 좋은 결과를 도출했다는 것이 흥미로웠습니다. 이번 세미나를 통해 키워드 관련 연구에서 키워드 추출이 아닌 키워드 생성 분야에 대해서도 지식을 쌓을 수 있어서 좋았습니다. 좋은 발표 준비해 주셔서 감사합니다.


  • 2024-04-24 14:17

    금일 세미나는 Unsupervised Open-domain Keyphrase Generation 주제로 진행되었습니다. 세미나를 통해 Keyphrase Prediction 개념에 대해 알게 되었습니다. Keyphrase prediction 과업은 keyphrase generation과 extraction으로 구분할 수 있으며, 오늘 소개한 논문은 Keyphrase generation에 관한 내용입니다. CopyRNN 논문에서 keyphrase generation을 처음 제안하였습니다. 딥러닝을 이용하여 문서의 내용이 충분히 담긴 phrase를 생성하는 지도학습 기반의 방법론이였으며, 이후 AutoKeyGen 논문에서 비지도기반 방법론을 제시하게 됩니다. 오늘 논문에서는 이런 비지도 기반으로 domain 상관없이 다양한 분야의 텍스트를 적용하기 위한 방법론을 소개합니다. 다른 문서에도 있을지 모르는 present phrase 후보들(unlabeled corpus) phrase bank에 noun phrase형태로 저장하여 retrieval로 활용되어 phraseness module과 informativeness module로 나뉘어 keyphrase generation을 향상시키려고 한 점이 흥미로웠습니다. 세미나에서도 언급 되었듯이 언어모델을 사용하지 않은 점이 아쉬운 부분이나 앞으로도 RAG에도 적용되는 등 연구가 지속될 것으로 기대합니다. 좋은 발표 감사합니다.


  • 2024-04-24 14:18

    이번 세미나에서는 Unsupervised Open-domain Keyphrase Generation 논문을 소개해주셨습니다. 이 논문은 문서에서 핵심 표현, 즉 Keyphrase를 추출하는 비지도 학습 방법에 초점을 맞추고 있습니다. 기존의 연구들이 주로 추출 방식을 사용하는 데 비해, 이 연구는 생성 방식을 택하고 있어서 흥미로웠습니다. 허나 이번 연구에서 제안된 생성 모델은 훈련 데이터 세트에서 가능한 Keyphrase를 뽑아 이를 사용하므로, 자유롭게 Keyphrase를 생성하는 것이 아니라는 점에서 제약이 따르기도 합니다. 이 모델은 Seq2Seq 구조를 활용하여 문서에 나타나지 않은 Keyphrase도 생성할 수 있는데, 이는 기존의 Keyphrase Bank에서 출발하여 필터링 과정을 거치는 방식으로 이루어집니다. 이 방식은 특정 도메인 지식에 의존적인 부분이 있어 완벽한 일반화는 어려울 수도 있으나, 제시된 성능 지표들은 인상적이었습니다. 좋은 발표 감사합니다.


  • 2024-04-24 14:43

    이번 세미나에서는 “Unsupervised Open-domain Keyphrase Generation”에 대해 소개해주셨습니다. Keyphrase extraction은 문서에서 phrase 단위를 추출하는 방법으로, 명사구 등이 후보 phrase라고 할 수 있습니다. 해당 논문에서는 문서에 직접적으로 드러나지 않은 phrase 자체를 생성하는 keyphrase generation을 수행합니다. 특히, 특별한 학습을 수행하지 않는 Unsupervised의 방법론으로, 이에 따라 다양한 분야의 텍스트를 대상으로 적용할 수 있다는 장점을 갖습니다. 모델은 Phraseness과 Informativeness 두 가지의 모듈로 구성됩니다. Phraseness는 present phrase를 기반으로 유사한 것을 다른 문서에서 retrieve하게 되고, 이를 후보로 구성하여 기준 문서 내용과 겹치는 정도를 기반으로 최종적인 absent phrases를 선정하는 프로세스를 가집니다. 입력 문장이 주어졌을 때, Phrase bank의 표현과 문서를 함께 고려하여 두 모듈의 결과를 합하는 것으로 최종적인 Keyphrase를 생성하는 방법론이라고 할 수 있습니다. 좋은 발표 감사드립니다.


  • 2024-04-24 16:50

    오늘 세미나는 'Unsupervised Open-domain Keyphrase Generation'논문을 중심으로 진행되었습니다. 해당 논문은 핵심 키워드를 자동으로 생성하는 새로운 방법론을 소개합니다. 특히, 문서에는 직접적으로 드러나지 않은 구절을 생성하여 문서의 내용을 보다 함축적으로 설명할 수 있는 장점을 가집니다. 특히, Phraseness과 Informativeness 두 가지의 모듈을 기반으로 다른 문서에서 관련된 정보를 retrieve 하여 absent phrases를 선정하는 프로세스를 거칩니다. 해당 연구는 특히 학습 과정이 비지도 방식으로 이루어지며 LLM을 활용하는 방안에 비해 사용하는 computation cost가 작기 때문에 LLM의 대유행에도 불구하고 좋은 contribution을 가진다 생각합니다. Keyphrase extraction 관련하여 항상 유익한 정보를 제공해주셔서 해당 주제에 대해 잘 파악할 수 있는 것 같습니다. 좋은 발표 감사합니다.


  • 2024-04-24 18:41

    금일 세미나는 Unsupervised Open-domain Keyphrase Generation 논문을 바탕으로 진행되었습니다. Keyphrase prediction이란 주어진 문서에서 주요한 단어 구를 예측하는 과업으로, 주어진 문서에서 실제로 존재하는 구를 추출하는 Extraction과 구를 생성하는 Generation으로 구분할 수 있는데, 최근 연구에서는 이들을 모두 생성하도록 Unified 하게 발전되어가고 있습니다. 해당 논문에서 제안하는 방법론은 문서-정답 쌍을 통한 학습 없이 Unsupervised learning 방법론으로, 다양한 분야의 텍스트 대상으로 적용 가능한 방법론이라고 볼 수 있습니다. 이는 Seq2seq 모델을 두 가지 하위 모듈로 구성하는데, 먼저 Phraseness module로, POS-Tagging을 이용하여 명사구를 입력 받는 Reterieval-augmented seq2seq model로 이루어집니다. 다음으로 Informativeness는 문서의 임베딩 벡터의 유사도를 기반으로 각 phrase의 정보력을 탐지하는 Seq2seq model로 이루어지고 있습니다. 결론적으로 Phraseness module은 다른 문서에서 존재하는 Phrase를 바탕으로 Bank를 형성한 후, 주어진 문서와 연관 있는 Phrase의 Retrieval로 활용하는 것을 목적으로 설계되었으며, Informativeness module은 주어진 문서와 연관있는 phrase가 형성되도록 유도하고 있습니다. 비지도 학습에서의 Keyphrase Generation이 신기하게 다가왔으며, 각 모듈에서의 중요한 점만 정확하게 말씀해주셔서 이해가 수월했습니다. 좋은 발표 정말 감사드립니다.


  • 2024-04-24 21:12

    이번 세미나에서는 “Unsupervised Open-domain Keyphrase Generation”라는 연구에 대해 소개해 주셨습니다. 해당 논문은 기존 대부분의 방법론이 Source Text로부터 키워드를 추출하는 NLU 접근법과 달리, Generation 방식으로 접근했습니다. 요약 과업에서와 동일하게 추출 방식의 요약은 원문에 존재하는 문장 단위를 그대로 추출하는 반면, 생성 방식은 원문에 존재하지 않는 텍스트라도 더 매끄러운 방식으로 결과물을 반환할 수 있습니다. 해당 연구에서는 Phraseness 모듈과 Informativeness 모듈을 이용합니다. Phraseness 모듈은 Present Phrase를 기반으로 유사한 Phrase를 다른 문서로부터 탐색하여 Absent Phrase를 선정합니다. Informativeness 모듈은 문서의 임베딩 벡터의 유사도를 기반으로 각 Phrase의 정보성을 측정합니다. 최종적으로 Phraseness 모듈은 다른 문서에 존재하는 Phrase를 바탕으로 후보 집합을 형성한 후, 주어진 문서와 연관 있는 Phrase를 찾아내고, Informativeness 모듈은 현재 문서와 관련된 Phrase가 형성되도록 유도합니다. 좋은 발표 감사합니다.


  • 2024-04-24 22:26

    이번 세미나는 "Unsupervised Open-domain Keyphrase Generation"이라는 논문을 중심으로 진행되었습니다. 먼저 Keyphrase Prediction이란 주어진 문서에서 주요한 단어 구를 예측하는 Task로, Keyphrase Generation과 Keyphrase Extraction으로 구분이 가능합니다. 이 중 Keyphrase Generation의 경우 문서에는 직접적으로 나타나 있지 않은 phrase를 생성하는 Task로 현재는 Absent, Present keyphrases 를 모두 생성하는 Unified 형태로 발전하고 있습니다. 이번 세미나에서 소개된 논문에서는 문서-정답 쌍을 통한 학습 없이 Unsupervised한 방식으로 Open-Domain Text에 대해 적용이 가능한 새로운 Unsupervised Open-domain Keyphrase Generation 문제를 정의하였습니다. 해당 문제를 해결하기 위해 본 논문에서는 POS-Tagging을 이용하여 명사구를 입력 받는 Retrieval-Augmented Seq2seq Model인 Phraseness Module과 문서의 임베딩 벡터의 유사도를 기반으로 각 Phrase의 정보력을 탐지하는 Seq2seq Model인 Informativeness에 해당하는 두 가지 모듈을 구성합니다. 이러한 방식을 통해 본 논문에서 제시하는 방법론은 Out-Domain Keyphrase Generation과 Absent/Present Keyphrase Generation과 같은 Task에서 기존 Supervised 방법론들보다 몇몇 데이터셋에서 좋은 성능을 보이는 결과를 만들어냈습니다. 해당 논문에서 Keyphrase Generation이라는 Task를 Unsupervised한 방식으로 해결하려 했다는 점에서 큰 의의가 있다고 생각하며, 해당 분야가 비교적 최근에 연구되기 시작한 분야인만큼 본 논문에 이어서 앞으로어떤 방향으로 연구가 진행될지 지켜볼 필요가 있다고 생각합니다. 좋은 발표 해주셔서 감사합니다.


  • 2024-04-25 01:17

    이번 세미나에서 소개된 'Unsupervised Open-domain Keyphrase Generation' 논문은 비지도 방법론을 통해 키워드 생성의 새로운 접근 방식을 제시하였습니다. 이 논문의 핵심적인 부분 중 하나는 Phrase Bank의 구성과 활용 방법입니다. Phraseness 모듈을 통해 추출된 후보 Phrase들은 다양한 문서에서 발견되는 명사구들을 포괄하며, 이러한 Phrase Bank는 후속 작업에서 중요한 역할을 합니다. 후보 Phrase를 활용하여 문서와 가장 관련성 높은 키워드를 도출하는 방식은 비지도학습의 한계를 넘어서는 창의적인 해결책을 제공합니다. 이러한 구조적 접근은 Phraseness와 Informativeness 모듈의 효과적인 결합을 통해 더욱 강화되며, 결과적으로 문서의 중요한 정보를 포착하여 더 정확하고 유의미한 키워드를 생성할 수 있게 됩니다. 발표자가 Phrase Bank의 중요성과 활용 방법을 상세히 설명해 주어 이해가 더욱 깊어졌습니다. 좋은 발표 감사합니다.


  • 2024-04-25 12:56

    오늘의 세미나에서 다룬 "Unsupervised Open-domain Keyphrase Generation" 논문은 주로 비지도 학습을 활용하여 도메인에 제한 없이 키워드를 생성할 수 있는 새로운 방법론을 제안했습니다. 특히, 두 가지 주요 모듈인 Phraseness와 Informativeness가 핵심적인 역할을 하는데, Phraseness 모듈은 문서에서 추출한 명사구와 유사한 다른 문서의 구문들을 참조하는 방식으로 구성되어 있으며, Informativeness 모듈은 문서의 임베딩 벡터를 활용하여 연관된 단어와 구문을 효과적으로 생성하도록 설계한 방법론 입니다. 이러한 구조는 문서 내에서 직접적으로 존재하지 않는 키워드를 생성할 수 있게 하며, 실제 실험 결과에서는 기존의 지도학습 방법론을 능가하는 성과를 보였습니다. 좋은 발표 감사합니다.


전체 512
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 10863
관리자 2020.03.12 0 10863
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 9502
관리자 2020.03.12 0 9502
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 10592
관리자 2020.03.12 0 10592
509
[Paper Review] Evaluation of Multilingual Image Captioning: How far can we get with CLIP models? (9)
Minjeong Ma | 2025.06.07 | 추천 0 | 조회 111
Minjeong Ma 2025.06.07 0 111
508
비밀글 [Rehearsal] 석사학위 논문심사 - 마민정 (19)
Minjeong Ma | 2025.06.02 | 추천 0 | 조회 36
Minjeong Ma 2025.06.02 0 36
507
비밀글 [Rehearsal] 석사학위 논문심사 - 정기윤 (20)
Kiyoon Jeong | 2025.06.02 | 추천 0 | 조회 33
Kiyoon Jeong 2025.06.02 0 33
506
비밀글 [Rehearsal] 석사학위 논문심사 - 남웅찬 (19)
Woongchan Nam | 2025.06.02 | 추천 0 | 조회 32
Woongchan Nam 2025.06.02 0 32
505
비밀글 [Rehearsal] 석사학위 논문심사 - 이상민 (21)
SangMin Lee | 2025.06.02 | 추천 0 | 조회 34
SangMin Lee 2025.06.02 0 34
504
[Paper Review] Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems (11)
Siyul Sung | 2025.05.31 | 추천 0 | 조회 196
Siyul Sung 2025.05.31 0 196
503
[Paper Review] Restructuring Vector Quantization with the Rotation Trick (16)
Woojun Lee | 2025.05.20 | 추천 0 | 조회 241
Woojun Lee 2025.05.20 0 241
502
[Paper Review] Battling the Non-stationarity in Time Series Forecasting via Test-time Adaptation (16)
Jinwoo Park | 2025.05.16 | 추천 0 | 조회 220
Jinwoo Park 2025.05.16 0 220
501
[Paper Review] SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning (18)
Hun Im | 2025.05.15 | 추천 0 | 조회 203
Hun Im 2025.05.15 0 203
500
[Paper Review] AA-CLIP: Enhancing Zero-Shot Anomaly Detection via Anomaly-Aware CLIP (18)
Junyeong Son | 2025.05.08 | 추천 0 | 조회 363
Junyeong Son 2025.05.08 0 363

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 허재혁 : jaehyuk.heo@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호