이번 세미나에서는 Sampling based decoding methods in Neural text generation 논문을 통해 text generation에 있어서 sampling을 기반으로 한 decoding method에 대해 발표해 주셨습니다. Directed generation의 경우 출력문장 길이에 대한 예측이 가능하기 때문에 beam search나 Greedy Search와 같은 deterministic 방식으로도 가능합니다. 하지만, 실제 사람이 생성하는 문장과 유사한 open ended generation에서는 stochastic한 샘플링 기반 문장 생성 방식이 많이 사용함으로써 일반적인 문장을 생성하는 것을 경계할 수 있다고 설명해 주셨습니다. 소개해주신 논문에서는 이러한 stochastical sampling 기법으로 nucleus sampling을 제안하였습니다. 이는 모델이 다음 단어로 등장할 확률을 내림차순으로 정렬한 뒤 이들의 누적확률분포에 의해 미리 설정한 hyperparameter p 안에 들어오는 단어들을 선택하고, 이들을 renormalization한 뒤 sampling을 진행합니다. 저자들의 수행한 다양한 실험들에 대한 시각적인 자료도 많이 넣어서 설명해 주셔서 이해에 큰 도움이 되었습니다. 좋은 발표 감사합니다.

이번 세미나는 Sampling based decoding methods in Neural text generation에 관한 내용으로, 저자들이 제안하는 Nucleus sampling은 다음에 등장할 단어에 대한 확률을 내림차순으로 정렬하고 이에 더해 누적 확률값이 하이퍼파라미터인 p를 넘는 시점까지 차례대로 선택합니다. 이후 단어들의 확률이 갖는 분포에서 sampling을 수행하는데, 이는 반복적인 단어가 출현하는 등 "인간 같지 않은" 머신의 단점을 보완하기 위한 방법론이라고 이해하였습니다. stochastic하기 때문에, 그리고 누적 확률에서 샘플링을 수행하기 때문에 좀 더 자연스러운 생성이 가능한 것 같은데 실제 퍼포먼스 예시가 상당히 자연스러운 것이 인상 깊었습니다. 요새 공부한 GAN, VAE 등 확률분포 기반의 이미지 생성 모델과 비교해 봤을 때 유사한 점이 많은 것 같습니다. 이러한 내용을 볼 때마다 측정되는 데이터가 확률에 기반하여 표현될 수 있고, 그러한 확률 분포를 이해함에 따라 실측 데이터와 유사한 sampled data를 생성할 수 있다는 점이 매번 놀라운 것 같습니다. 다양한 시각적인 표현들와 step-by-step으로 설명을 잘 해주셔서, 익숙하지 않은 내용임에도 쉽게 잘 이해가 되었습니다. 좋은 발표 감사합니다.

이번 세미나는 문장 생성 시 decoding 방법론에 관한 세미나였습니다. 문장 생성 연구의 경우 많은 방법론들이 encoding과 모델의 구조 등에 집중하는 경우가 많은데, 실제로 생성 방법론을 구현하다보면 decoding이 가장 까다롭고 성능에 상당 부분 영향을 미친다는 것을 알 수 있습니다. 이번 발표는 token selection을 진행할 때, 보다 다양한 형태의 문장을 생성할 수 있는 sampling 방법론에 대해 다뤘습니다. 제안 방법론은 가장 확률 값이 높은 k의 후보군을 추려내는 top-k sampling의 경우 하이퍼파라메터 설정이 어렵고, k의 설정에 따라 outlier가 후보군에 포함되거나 지나치게 일반적인 단어만이 선택된다는 문제를 지적합니다. 그리고 상위 확률 p까지의 token을 후보군으로 설정하는 top-p sampling을 대안으로 제시하였습니다. 개인적으로 해당 방법론이 큰 novelty를 가지고 있는 것은 아니지만, 본 연구에서 진행한 실험들이 매우 체계적이고 납득할 만한 구성으로 이루어졌기 때문에 좋은 평가를 받았다는 생각이 들었습니다. 물론 방법론의 실용성과 p라는 매개변수의 설명 가능성 또한 매우 중요한 부분이라고 생각합니다. 앞으로 생성 관련 모델을 구현할 때 우선적으로 고려할 만한 방법론인 것 같습니다. 발표 감사합니다.

이번 세미나에서는 decoding에서 쓰이는 sampling기법에 대해서 깊게 다루었습니다. 우리가 일반적으로 이해하고 있는 source와 target이 존재하는 경우 Directed generation이라고 하며 real-time inference에 효과적인 데이터 구조인 반면에 이번 세미나에서는 Open-ended generation(decoding에 끝이 존재 하지 않는 경우)를 다뤄봤습니다. 기존의 temperature sampling(p가 낮으면 one-hot분포, 높으면 uniform분포를 따르게 decode distribution을 변화)방법과 상위 k개를 선택해서 분포를 정규화해서 샘플링하는 기법을 이용해 누적확률분포 상위 p이상을 선택해 분포를 정규화한 후 샘플링기법 Top-p sampling을 이해할 수 있었습니다. 마지막으로 self-blue score를 이용해 모델이 동일한 문장을 생성하는지 다양한 문장을 생성하는지 알 수있는 좋은 세미나였습니다.

이번 세미나에서는 언어 모델의 발전에 기여한 다양한 문장 생성 방법(Decoding Method)에 대해 개괄적인 설명과 더불어 기존 Decoding 방법의 한계를 극복하는 Top-p Sampling (Nucleus Sampling)에 대해 설명해 주셨습니다.
우선적으로 다수의 언어 모델은 특정 Context가 주어졌을 때 다음에 등장할 단어를 예측해서 문장을 완성하는 방식으로 학습을 진행합니다. 이때 다음에 등장할 단어를 예측하는 방식은 주어진 Context에 대해 가장 확률 값이 높은 단어를 선택하는 방식으로 수행됩니다. 이 방식을 Greedy Search라고 하며, 매 시점에서 가장 확률 값이 높은 단어를 선택하게 될 경우 단일 확률은 낮지만 결합 확률이 높은 경우를 탐지할 수 없다는 한계가 존재합니다. 이에 따라 매번 Beam 개수만큼 후보군을 설정하는 Beam Search 방법이 제안되었습니다. 하지만 출력 문장의 길이를 예측할 수 없는 Open-ended Generation에서는 해당 방법들이 문제가 될 수 있으며, 사람이 생성하는 문장과 해당 방법들을 이용해 생성한 문장의 확률 분포의 패턴이 크게 다릅니다.
이러한 한계를 극복하고자 Softmax Temperature를 이용한 방법이 제안되었고, 더 발전하여 단어 분포에서 확률 값 기준 상위 k개의 단어만을 후보군으로 다시 확률을 계산하는 Top-k Sampling 방법이 제안되었습니다. 하지만 이 역시 단어들의 분포에 따라 적절한 k를 선택하기 어렵다는 한계가 존재합니다. 따라서 Top-p Sampling이 제안되었습니다. Top-p Sampling은 Top-k Sampling의 아이디어를 이용하여 누적 확률 분포 기준 상위 p까지의 단어를 선택하여 다시 확률 분포를 만들어 내는 기법입니다. 이 방법은 다양한 단어 분포의 형태에 따라 다양한 크기의 단어들의 확률 분포를 취할 수 있다는 장점이 있습니다.
전반적인 Decoding 방법과 각각의 한계점들을 학습할 수 있었던 시간이었습니다. 감사합니다.

LM 분야에서 디코딩을 하기 위해서는 다양한 방법들을 사용합니다. 기존의 Greedy search(1 개 경우의 수), Beam search(여러 개 경우의 수)로 Max 값을 가지는 토큰을 선택하는 것, Softmax Temperature나 Top-K등을 적용하여 Sampling를 적용하여 분포에 따라 토큰을 뽑는 것이 있습니다.
이번 세미나에서 발표한 논문은 Sampling을 적용하여 분포에 따라 토큰을 뽑는 것이지만, Top-K로 토큰을 K개 정하여 거기에서 확률 분포로 뽑는 것이 아닌, 누적확률분포를 적용하여 해당하는 토큰까지에 대해 확률 분포로 뽑는 것입니다. 본 논문에서 제시한 방법은 디코딩에서 도출할 토큰의 갯수가 매번 일정한 것이 아닌, 확률값에 따라 확률 분포로 고려할 토큰의 수가 달라진다는 것입니다. 아이디어 자체는 매우 단순하지만 실질적으로 문맥을 고려한 디코딩에서 토큰을 생성할 때, 고려해야 할 토큰의 수가 달라야 한다는 접근은 매우 동의하고 합리적이였습니다. 본 논문은 해당 아이디어를 납득시키기 위해 다양한 평가지표에 대해 많은 실험을 하였고 증명하였습니다.
개인연구도 굉장히 흥미롭게 들었습니다. Data augmentation 입장을 task가 아닌 모델 pre-training에 적용하였고, 많은 케이스에 대해 실험을 하여 유의미한 성능을 거두었습니다. 아이디어의 논리적 흐름도 탄탄하였으며, 앞으로 계획하고 있는 방향도 잘 계획하신 것 같습니다. 항상 세미나 및 개인연구 발표에서 많은 것을 배웁니다.

이정훈 석박통합과정의 세미나 발표를 들었습니다. 오늘 발표해주신 내용은 Neural Text Generation 분야에서 Decoding 방법들을 여러개 소개해주셨습니다. 일반적으로 모두들 알고 있는 Greedy, Beam Search 방법을 사용했을 때의 문제점과 이를 해결하기 위해 제시된 Sampling based Decoding 전략들인 Softmax Temperature, top-k sampling, top-p sampling 에 대해서 상세히 말씀해주셔서 정리가 잘 되었습니다. 또한, 생성된 문장에 대해서 평가할 수 있는 방법으로 가장 기본적으로 사용되는 Perplexity, BLEU score 뿐만 아니라 Zipf Distribution Analysis 방법과 Self-BLEUU score, Repetition, HUSE 등 다양한 평가 방법들을 알려주셔서 도움이 많이 되었습니다. 개인 연구 부분에서 현재 실험 중이신 것 잘 마무리 하셔서 좋은 논문 쓰시면 좋겠습니다. 유익한 발표 감사합니다.

본 세미나의 주제는 Neural Text Generation으로서, Maximization based decoding의 설명부터 그 방법들이 갖고 있는 문제들을 해결해나가는 Sampling based Decoding 전략들을 소개하였습니다. 기본적인 방법인 Maximization 중에는 먼저, 바로 다음 단어를 생성해야하는 시점에서 최대의 확률을 갖는 Greedy Algorithm이 있으며, 이는 문장의 전체적인 확률을 살피지 못해 Beam Search의 탄생으로 이어졌습니다. 그리고 이들은 특정 단어나 구의 반복의 문제를 겪어, 해결책으로 Sampling based를 소개되었으며, top-k / top-p sampling과 같은 기법으로 반복의 문제를 해결하는 기법을 알게 되었고, 이를 평가하는 다양한 Metric인 Perplexity, BLEU Score, 그리고 단어의 빈도와 순위는 반비례하는 Zipf 분포에 대해 학습할 수 있었습니다.
또한 이정훈 박사과정의 이어져 오는 세미나 주제인, Back Translation / Semi-Supervised Learning 등에 해당 Sampling Based Decoding 전략을 사용하여, 개인 연구에서 발생하는 문제를 해결하고자 하는 아이디어를 소개받았으며, 자신의 연구의 해결을 위해 지식의 조각들을 모아가는 모습이 인상적이였습니다. 좋은 발표 감사드립니다.

NLP분야에서는 Seq2seq, autoregressive 구조를 사용하는 다양한 모델들이 관습적으로 beam search 나 top-k sampling을 사용하여 inference 단계에서 문장을 생성하고 있습니다. 오늘 세미나에서는 관습적으로 사용되고 있는 sampling 방법들을 정리하여 설명하고 각 sampling을 통해 생성된 문장이 사람의 문장 생성방식과 얼마나 유사한지, 얼마나 다양하게 문장을 생성할 수 있는지 여부를 판단할 수 있는 metric을 공유해 주셨습니다. 오늘 공유한 논문 ‘Sampling based decoding methods in Neural text generation’의 핵심은 Top-p sampling입니다. 해당 방법은 간단하여 누구나 생각했을 법한 방법 중 하나이지만 좋은 conference에 accepted 된 이유는 여러가지 설명 지표들을 잘 정리했기 때문이라고 생각합니다. 따라서 방법론뿐만 아니라 다양한 설명지표를 잘 설계한다면 개인연구도 충분히 좋은 논문이 될 수 있다고 생각합니다. 감사합니다.

금일 세미나는 open-ended generation 에서의 문제점을 개선하기 위한 새로운 디코딩 방법론에 대한 리뷰로 진행되었습니다. directed generation의 경우 출력문장 길이에 대한 예측이 가능하기 때문에 beam search 와 같은 확정적 방식이 가능합니다. 하지만 open ended generation 에서는 이러한 디코딩 방식은 반복적이거나 지나치게 일반적인 표현을 생성할 우려가 있어 top p sampling 으로 이와 같은 문제를 해결할 수 있다는 것을 알 수 있었습니다. top k sampling 과 유사하지만, 누적확률분포 기준 상위 p% 까지의 단어만 선택한다는 점에서 차이를 가집니다. 이러한 샘플링 방식을 통해 human perplexity 와 동등한 성능을 내는 디코딩을 할 수 있다는 점이 인상적이었습니다. text generation 에서 생길 수 있는 문제점과 이를 해결할 수 있는 top k sampling , top p sampling 에 대해 알 수 있는 유익한 시간이었습니다. 좋은 발표 전달해주신 발표자께 감사드립니다.

논문들을 읽다보면 '아 나는 왜 이런 생각을 못해봤을까' 라는 생각이 드는 매우 간단한 아이디어들을 접하곤 합니다. 개인적으로는 오늘 세미나 시간에 소개해준 논문 또한 그러한 부류에 속하는 연구가 아닐까 생각합니다. 지금까지 우리는 디코딩을 진행할 때 beam search나 top-k sampling을 사용했습니다. 사실, 다른 아이디어를 떠올리려 애써 노력하지 않은 이유는 앞의 두 방법이 매우 좋은 성능을 보이기 때문일 것입니다. 하지만 본 논문에서는 누적 확률을 사용하는 top-p sampling을 새롭게 제안하였습니다. 저자들은 굳이 필요하지 않을지 모르는 본인들의 아이디어의 타당성을 위하여 human perplexity 를 보여줍니다. 사실 성능은 실험 세팅에 따라 매우 다이나믹하게 변하는 경우가 많습니다. 다시 말해, 본인들이 제안하는 방법이 좋아 보일 수 있는 실험 세팅을 찾고 그 세팅이 왜 필요한지를 독자들에게 납득하는 방향으로 많은 논문들이 논리를 전개하고 있는데 본 논문 또한 human perplexity를 통하여 독자를 잘 설득시켰다고 생각합니다.

이번 세미나에서는 test generation에 있어서 sampling을 기반으로한 decoding method에 대해 발표해주셨습니다. open-ended generation에서, 사람의 방식을 모사하기 위해 deterministic한 방법으로 단어를 sampling하는 것 대신 stochastical sampling을 제안하였고, 이러한 방법으로 너무 일반적인 문장을 생성하는 것을 경계할 수 있었습니다. 이러한 stochastical sampling 방법으로 nucleus sampling(top-p sampling)이 제안되었습니다. 이는 다음 단어로 등장할 확률을 내림차순으로 정렬한 뒤 이들의 누적확률분포에 의해 미리 설정한 hyperparameter p 안에 들어오는 단어들을 선택하여 이들에서 sampling을 진행합니다. 정해진 k개에서만 sampling하는 것이 아닌, 누적확률에 따라 후보를 선택하기 때문에 비슷한 확률의 여러 선택지가 있는 상황에서 간소한 차이로 top k에 들지 못하는 것을 방지할 수 있어 더 다양한 단어를 생성할 수 있다는 장점이 있습니다. 자세히 설명해주셔서 이해에 큰 도움이 되었습니다. 좋은 발표 감사합니다.

본 세미나는 언어 모델에 대한 개괄적인 설명으로 시작하였습니다. 이어서 언어 생성까지 나아가며 heuristic한 방법론인 beam search까지 설명해 주었고, beam search는 autoregressive task에 필수적인 방법이 아닐까 생각도 들었습니다. Text Generation은 크게 neural text generation과 open-ended generation으로 나뉜다고 합니다. 최근 진행하고 있는 문서요약에서 적용하는 방법(문장 pair가 존재)이 neural text generation이고, 생성되는 문장의 끝이 존재하지 않는 경우를 open-ended라고 부릅니다. 세미나에서는 open-ended에 초점을 두어서 해당 방법론에 greedy/beam search를 사용하면 지나치게 일반적인 문장을 생성하거나 반복적이고 긴 문장을 생성한다는 점을 지적합니다. 이에 대한 대안으로 sampling based decoding strategy가 제안되었습니다. 기존에 알고 있던 top-k sampling 외에 새롭게 top-p sampling을 제안하였는데, 누적확률분포 기준 상위 p까지의 단어를 선택하는 방법입니다. 간단한 새 방법론은 다른 언어모델 기반 방법론에도 적용하여 성능 향상을 기대해볼 수 있을 것 같았습니다.

이번 세미나의 첫번째 토픽은 실제 사람이 생성하는 시퀀스와 최대한 비슷한 시퀀스를 만들고자 하는 text generation task의 방법을 담은 토픽이었습니다. Neural Text Generation은 MLE 기반 auto-regressive 방식의 목적함수를 두었고, content가 주어졌을 때, 그 다음으로 올 단어를 예측하는 decoding 과정에서는 틀린 답을 예측하였더라도 다음 시점의 input은 원래의 정답이 들어가는 teacher-forcing 기법이 쓰였습니다. 이 때, 문장 전체의 결합 확률 분포는 맞는 답을 예측한 것이 더 클 수 있기 때문입니다. 두번째로 소개되었던 방법론은 sampling-based decoding strategy입니다. 기존에 상위 n개의 확률이 높은 단어들을 선택하는 것이 아니라, 특정 확률을 정해두고 그 확률까지의 누적 확률 분포를 사용하여 단어들을 선택하는 것입니다. 이번 세미나는 text generation에 대한 좀 더 깊은 이해를 할 수 있었던 세미나였고, 예시로 인해 이해가 잘 가는 세미나였습니다. 감사합니다.

이번 세미나는 "The Curious Case of Neural test Degeneration"이라는 주제로 진행되었습니다. Neural text generation은 Translation이나 Summarization과 같이 입력문장과 출력문장의 pair가 존재하는 Directed generation과 conditional story generation과 같이 입력문장이 존재하지않거나 context가 주어지지않는 open ended generation으로 나뉩니다. 후자의 경우 generation에서 자주 사용되는 Greedy, beam search와 같은 방식을 적용할 경우 문제가 생긴다는점을 지적합니다. 실제 사람이 생성하는 단어는 등장확률이 높은 단어만 사용하는것이 아니라 등장확률이 낮은 단어도 사용하여 문장을 생성합니다. 이에 착안하여 pure sampling을 통해 문장을 생성하는방법이 가장 효과적이며 많이 사용됩니다.

sampling 기반으로 decoding을 진행하는 여러가지 방법을 소개해주셨습니다. 먼저 softmax temperature를 활용한 sampling은 temperature를 조절함으로서 probability의 정도를 조절하여 낮은 확률을 갖는 단어를 덜 샘플링할 수 있도록 만들어줍니다. 두번째 방법은 top k sampling이며, 단어의 분포에서 확률값을 기준으로 상위 k개의 단어를 선택합니다. 세번째 방식은 Nucleus sampling으로 누적확률분포 기준 상위 p까지의 단어를 선택합니다.

GPT-2 model을 사용하여 모델에서 제안한 sampling방법을 적용하여 generation을 진행한 다음 PPL, Zipf Distribution analysis, self-BLUE score, Repetition , HUSE를 통해 어떠한 방식이 가장 좋은 문장을 생성해낼 수 있는지 평가했습니다. 결론적으로 nucleus sampling이 사람과 가장 비슷한 퍼포먼스를 내는것을 알 수 있었습니다.

또한 개인연구부분에서 TAPT, DAPT라는 단어를 접하게되었는데, 그동안 제 개인연구에서 추가적인 mlm pretraining을 진행하는것이 정성적으로 성능이 높을것이라 가정했는데, 이미 실험적으로 증명되었다는것을 알 수 있는 기회였습니다. 매 세미나때마다 논문의 핵심 내용을 잘 짚어주셔서 많은 도움을 받고있습니다. 좋은 발표 감사합니다 !

금일 발표는 "The Curious Case of Neural Text Degeneration"이라는 주제로 진행되었습니다. 본 발표에서는 deterministic한 문장 생성 방식의 한계점을 보완하기 위해 stochastic한 샘플링을 기반으로 문장을 생성하는 방법론이 소개되었습니다. 해당 방법론에서는 모델이 다음에 등장할 단어에 대한 확률을 계산할 때 단어들을 확률의 내림차순으로 정렬하고 각 단어들의 확률값을 누적했을 때 hyperparameter를 넘는 시점까지 차례대로 단어들을 선택하는 Nucleus sampling 방법을 제안하였습니다. Text generation 모델들에서 sampling with softmax temperature과 Top-k sampling은 많이 접했었는데, 금일 발표를 통해 해당 샘플링 방법들의 한계점을 보완한 방법을 알게 되어 유익했습니다. 좋은 발표 감사합니다.

금일 발표에서는 Sampling based 문장을 생성하는 방법에대한 논문이였습니다. 일반적으로 최근에 많이사용되고있는 temperature 를 적용한 sampling 방식과 top k 방식의 설명을 해주셨고, 이를통해 생성되는 실제 예싣들도 보여 주었습니다. 그래서 사실 문장생성에 큰 기초지식이 없었지만, 차이점을 조금 더 구체적으로 알 수 있었고, 어떤점이 개선되는지를 알수 있었습니다.