이번 세미나는 Discrete Diffusion Language Model(DDLM) 전반을 개념부터 최신 연구 흐름까지 체계적으로 정리해주신 매우 유익한 시간이었습니다. 기존 autoregressive LLM과 달리, DDLM이 이산 토큰 공간에서 마스킹 기반의 점진적 복원 과정을 통해 문장을 생성한다는 점이 특히 흥미로웠습니다. 이미지 분야의 diffusion 패러다임을 텍스트에 맞게 변형해 적용한 접근은 순차적 디코딩 없이도 전체 시퀀스를 동시에 업데이트할 수 있어, 문장 편집·삽입·치환·reasoning과 같은 구조적 작업에서 잠재적인 이점이 있다는 설명이 인상적이었습니다. 또한 Block Diffusion, Inference-Time Scaling, In-Place Prompting, diffu-GRPO 등 다양한 응용 연구들을 소개해주셔서 DDLM이 단순한 대안이 아니라 LLM 패러다임의 또 다른 축으로 성장하고 있음을 실감할 수 있었습니다. 물론 반복 복원 과정에 따른 추론 비용 증가나 discrete space에서의 스케일링 전략 등 해결해야 할 과제도 있지만, 발표에서 제시된 사례들을 보면 이미 다양한 방향의 개선이 활발히 진행되고 있다는 점도 확인할 수 있었습니다. 전반적으로 diffusion 기반 언어 모델의 가능성을 큰 그림에서 이해할 수 있었던 의미 있는 세미나였습니다. 좋은 발표 감사합니다!

이번 세미나는 기존의 Decoder 기반 LLM과 달리 Diffusion 방식을 활용한 Encoder LLM 모델의 연구 방향을 다루었습니다. 이전부터 LLM을 보며 “autoregressive 방식이 아닌, 한 번에 여러 단계를 예측하는 연구는 없을까?” 라는 의문을 가지고 있었는데, 이번 발표가 그 질문에 명쾌한 답을 제시해 주었습니다. Diffusion 모델을 통해 한 번에 여러 답변을 생성하도록 학습하며, 노이즈 대신 점진적 마스킹 기법을 적용한 점이 특히 인상적이었습니다. 또한, 단 한 번의 예측으로 끝내지 않고 iterative refinement 과정을 거치며 답변이 점차 개선되는 방식이 매우 흥미로웠습니다. 더 흥미로웠던 점은 정제 횟수가 증가함에 따라 성능이 떨어지거나 포화되는 것이 아니라, 오히려 기존 decoder 기반 모델보다 더 높은 성능을 보였다는 것입니다. 이를 통해 Diffusion 기반 LLM이 기존 LLM의 한계를 극복할 수 있는 혁신적인 접근임을 느꼈습니다. 이번 세미나를 통해 단순히 좋은 아이디어를 갖는 것뿐만 아니라, 이를 실제로 구현하고 문제를 해결하기 위해 필요한 깊은 배경지식과 최적화 능력의 중요성을 다시금 깨달을 수 있었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 2번에 걸쳐 Discrete Diffusion Large Language Models에 대해 설명해주셨습니다. 본래 이미지 분야에서 활용되었던 Diffusion Model을 언어 모델에 적용한 연구들이 계속 연구되고 있습니다. 기존 연속적인 값으로 구성된 이미지 분야에서 활용되는 Diffusion Model이 토큰 단위의 텍스트에 어떻게 적용되는지 궁금했는데 Masking을 통해 BERT와 거의 동일한 학습 과정을 구성한 것이 인상깊었습니다. 또한 생성한 모든 토큰에 대해 Masking을 동시에 복원하는 Diffusion 특성을 순차적 의미 전달의 형태를 보존해야하는 텍스트에 적용하기 위해 적용한 Block Diffusion 또한 논리가 납득되었습니다. 이후 dLLM의 Reasoning이나 Preference Learning, 그리고 강화학습을 어떻게 적용하는지까지 처음 언어모델의 구조부터 언어모델의 발전 방향과 최근 Diffusion을 적용한 dLLM까지의 흐름을 이해할 수 있는 의미있는 시간이었습니다. 좋은 발표 해주셔서 감사합니다.

이번 세미나는 Discrete Diffusion Language Model(DDLM)의 배경부터 최신 연구 흐름까지 폭넓게 다루어주였습니다. 특히 Diffusion 기반 언어 모델이 왜 다시 주목받고 있는지 큰 그림을 잡을 수 있는 유익한 시간이었습니다. 이미지 생성에서 크게 성공한 Diffusion 패러다임을 텍스트에 적용하기 위해, 노이즈 주입 대신 마스킹 기반의 점진적 복원 방식을 채택하고, Iterative Refinement를 통해 문장을 완성해 나가는 접근은 기존 autoregressive LLM과는 전혀 다른 사고방식을 요구한다는 점에서 흥미로웠습니다. 특히 한 번에 전체 시퀀스를 업데이트할 수 있는 Diffusion의 특성이, 길이가 긴 문장 생성·편집·삽입·치환 등의 작업에서 Decoder-only 모델보다 구조적 이점을 가질 수 있다는 설명이 인상적이었고, Block Diffusion이나 RL 기반 Reasoning 연구(d1)처럼 DDLM을 기존 LLM 생태계에 자연스럽게 연결하려는 시도 역시 의미 있게 느껴졌습니다. 다만 Diffusion 기반 생성의 반복적 특성으로 인해 추론 비용이 증가할 수 있다는 실용적 한계와, discrete space에서의 스케일링 전략이 더 검증될 필요가 있다 생각되지만 개인적이 해당 주제에 대해 팔로업하고 있지 않은 관계로 잘은 모르지만 이미 관련된 개선방향이 있지 않을까 생각됩니다. 체계적인 발표 덕분에 관련 연구 흐름을 한 번에 정리할 수 있어 많은 도움이 되었습니다. 좋은 발표 감사합니다.

이 세미나는 Discrete Diffusion LLM이라는 새로운 LM 패러다임을 다루었습니다. 기존의 Transformer Decoder 기반의 Autoregressive 방식이 아닌 Diffusion 개념을 텍스트 도메인에 적용한 혁신적인 접근법을 소개했습니다. BERT의 Masked Language Modeling과 Diffusion LLM의 목적 함수가 본질적으로 동일한 형태임을 수학적으로 증명한 부분이 놀랍게 느껴졌습니다. 특히 Inference Time Scaling을 통해 추가 연산량 투입으로 성능을 지속적으로 개선할 수 있다는 점에서 앞으로 DLLM 방향의 연구를 더 기대하게 되었습니다. Block Diffusion 등 dLLM 특화 추론 기법들을 소개하며, AR 모델 대비 속도와 정확도 측면에서의 trade-off를 효과적으로 제어할 수 있다는 부분도 매우 설득적으로 다가왔습니다. Decoder-only LM에서 벗어난 최신 트랜드를 잘 짚어주어 큰 도움이 된 세미나였습니다. 좋은 발표해 주셔서 감사합니다.

이번 세미나는 Discrete Diffusion Large Language Model(dLLM) 분야에 대해 개념부터 학습 목적함수, 추론 메커니즘, 그리고 Reasoning 및 강화학습 적용까지 전반적인 내용을 체계적으로 다룬 매우 인상적인 발표였습니다. 기존의 Decoder-only Autoregressive LLM과 달리, dLLM이 이산 공간에서의 확률적 복원(diffusion) 과정을 통해 문장을 점진적으로 생성한다는 점이 특히 흥미로웠습니다. Inference Time Scaling과 Block Diffusion, DAEDAL, In-Place Prompting, 그리고 diffu-GRPO 등 dLLM 특화 추론 및 강화학습 기법을 단계적으로 설명하며, 기존 AR 모델 대비 더 빠른 속도와 향상된 성능을 달성할 수 있다는 점이 인상 깊었습니다. 특히 reasoning 과정을 마스크 기반으로 점진적으로 완성해 나가는 방식은 기존의 패러다임을 넘어, planning·editing이 가능한 언어 모델로의 가능성을 보여주었습니다. 이번 세미나를 통해 Diffusion 기반 언어 모델이 단순한 대체재가 아닌, LLM의 새로운 진화 방향이 될 수 있음을 실감할 수 있었습니다. 발표 준비해주신 덕분에 복잡한 개념을 명료하게 이해할 수 있었습니다. 좋은 발표 감사합니다.

이번 세미나는 최근 주목받고 있는 Discrete Diffusion Language Model(dLLM)의 개념과 이를 활용한 언어 모델 연구 방향을 다루었습니다. 기존의 Decoder-only 기반 LLM들이 가지는 autoregressive 구조의 한계를 diffusion 관점에서 재해석한 점이 매우 흥미로웠습니다. 특히 diffusion을 “노이즈 제거”가 아닌 “마스킹 복원” 과정으로 확장하여 discrete한 토큰 공간에서도 자연스럽게 작동하도록 설계한 부분이 인상 깊었습니다.
또한 단순히 한 번의 예측으로 답변을 생성하는 것이 아니라, iterative refinement 과정을 통해 문장을 점차 개선해 나가는 방식이 기존 LLM과 뚜렷이 구별되었습니다. 이 과정에서 inference time scaling을 통해 성능을 점진적으로 높일 수 있다는 점은, 효율성과 품질을 동시에 확보할 수 있는 매우 실용적인 접근으로 느껴졌습니다. 더 나아가, reasoning과 reinforcement learning 단계를 diffusion 프레임워크에 통합한 diffu-GRPO와 in-place prompting 연구들을 소개하며, dLLM이 단순한 구조적 대안이 아니라 LLM의 추론·계획 능력을 강화하는 새로운 패러다임임을 잘 보여주었습니다.
이번 발표를 통해 “Encoder 기반 구조도 생성 모델의 주류가 될 수 있다”는 가능성을 실감할 수 있었고, 학습 안정성과 parallel decoding 측면에서 diffusion 방식의 장점을 깊이 이해할 수 있었습니다. 복잡한 개념을 논리적으로 정리하고, 수식·실험 결과까지 깔끔하게 연결해 주셔서 정말 유익한 시간이었습니다. 좋은 발표 감사합니다!

이번 세미나에서는 기존의 Decoder-only Autoregressive 방식과 달리, 이산 토큰 공간에서 마스킹 기반의 점진적 복원 과정을 통해 문장을 생성하는 Diffusion LLM의 핵심 아이디어를 체계적으로 보여주셨습니다. Diffusion LM 관련 설명 중 BERT의 Masked Language Modeling 목적과 Diffusion 학습 목표가 본질적으로 동일한 형태로 연결될 수 있음을 수식과 직관으로 설명해 준 부분이 인상적이었습니다. Iterative refinement를 통해 한 번의 샷으로 끝나는 것이 아니라 다단계로 답변을 개선해 나가고, inference time scaling을 통해 추가 계산을 투입할수록 품질을 끌어올릴 수 있다는 점은 실용적인 설계 관점에서도 강점으로 느껴졌습니다. 또한 전체 시퀀스를 동시 업데이트하도록 설계한 Block Diffusion이 텍스트의 순차적 의미 전달을 해치지 않으면서 병렬 디코딩의 이점을 확보하는 논리 역시 설득력 있었습니다. 추론·편집·삽입과 같은 구조적 작업에서 Encoder 기반 프레임워크가 가지는 잠재적 이점과 함께, reasoning과 강화학습을 결합한 d1, diffu-GRPO, in-place prompting 등 최근 동향을 폭넓게 정리해 주셔서 dLLM이 단순한 대체가 아니라 LLM 진화의 유효한 축임을 명확히 이해할 수 있었습니다. 물론 반복적 정제에 따른 추론 비용 증가와 대규모 스케일링 전략의 검증 등 남은 과제가 있지만, 제시된 실험 결과와 프레임워크의 호환성은 후속 연구 가능성을 충분히 뒷받침한다고 느꼈습니다. 좋은 발표 감사합니다.

이번 세미나에서는 기존의 autoregressive 방식에서 벗어나 이산 공간에서의 diffusion 과정을 통해 문장을 점진적으로 복원하는 Discrete Diffusion Large Language Model(dLLM)의 개념과 연구 동향을 체계적으로 다뤄주셨습니다. 특히, Inference Time Scaling과 Iterative Refinement 개념이 인상 깊었습니다. 일반적인 LLM은 추론 시간이 늘어나더라도 성능 개선이 제한적인 반면, dLLM은 연산량을 추가적으로 투입할 수록 성능이 점진적으로 향상될 수 있음을 보여주셨습니다. 또한, Block Diffusion이나 DAEDAL과 같은 방법론을 통해, 병렬성과 문맥 보존 간의 균형을 확보하려는 Encoder 기반 모델의 새로운 가능성을 설명해주셨습니다. 한편, diffusion 기반 생성의 반복적 특성으로 인해 계산 비용이 증가하는 점은 실용적인 제약으로 느껴졌습니다. Iterative refinement 과정이 많아질수록 계산량이 늘어나기 때문에, 실제 적용을 위해서는 다양한 최적화 연구가 필요하다고 생각합니다. 복잡한 개념을 쉽게 설명해주셔서 dLLM의 발전 방향을 깊이 이해할 수 있었습니다. 좋은 발표해주셔서 감사합니다.

이번 세미나에서는 "Discrete Diffusion Language Models" 라는 주제로 진행되었습니다. 최근의 LLM 연구가 대부분 Decoder-only의 Autoregressive 방식에 집중되어 있었는데, 이번 세미나는 Encoder 구조를 기반으로 한 Discrete Diffusion이라는 새로운 접근법을 소개해 주어 매우 흥미로웠습니다. 기존처럼 토큰을 순차적으로 생성하는 것이 아니라, 전체 시퀀스에 점진적인 마스킹과 정제(denoising)를 적용하는 Diffusion 메커니즘을 언어 모델에 적용한 점이 특히 인상적이었습니다. 또한, 한 번의 생성으로 끝나는 것이 아니라 반복적인 정제(iterative refinement) 과정을 통해 문장의 완성도를 높여가는 방식이 신선했습니다. 이러한 Encoder 기반의 Diffusion 모델이 기존 LLM의 학습 및 추론 파이프라인과 어떻게 결합될 수 있는지, 그리고 어떤 강점을 가질 수 있는지 최신 연구 동향을 통해 깊이 있게 파악할 수 있었습니다. Diffusion 모델이 이미지 생성을 넘어 언어 생성에서도 강력한 잠재력을 보여주고 있음을 확인하며, 앞으로의 연구 방향에 대해 많은 생각을 하게 된 유익한 시간이었습니다. 좋은 발표 준비해주셔서 감사합니다.

이번 세미나는 “Discrete Diffusion Language Models”를 중심으로 진행되었습니다. Discrete Diffusion Language Model의 개념부터 학습과 추론 과정, 그리고 기존 Decoder-only 구조 대비의 차별점을 구체적으로 이해할 수 있었습니다. 특히 Masked Diffusion 기반의 학습 목표가 BERT의 MLM 방식과 유사하게 정의되며, 안정적인 사전학습이 가능하다는 점이 흥미로웠습니다. 또한 Block Diffusion, Variable-length Denoising, In-place Prompting, Diffu-GRPO 등 다양한 최신 연구 기법을 실제 적용 사례와 함께 소개해 주셔서, DDLM이 언어 생성뿐만 아니라 reasoning과 reinforcement learning 단계에서도 효과적으로 활용될 수 있음을 알 수 있었습니다. 특히 다양한 최신 논문을 체계적으로 정리하고 실험적 비교까지 제시해 주셔서, Diffusion 기반 언어모델 연구의 현재 위치와 향후 확장 가능성을 한눈에 파악할 수 있었습니다. 좋은 발표 감사합니다!

이번 세미나는 Discrete Diffusion Language Model(DDLM)의 기본 원리부터 최근 연구 트렌드까지 폭넓게 다뤄주셨습니다. 특히 기존 Autoregressive Decoder 구조와 달리, Iterative Refinement 기반의 비순차적 생성 방식을 통해 텍스트를 점진적으로 복원한다는 개념이 흥미로웠습니다. Diffusion 과정을 연속공간이 아닌 Discrete token space로 확장하면서, 마스킹 기반 학습으로 안정적인 성능을 확보하는 접근이 인상 깊었습니다.
또한 Block Diffusion을 통해 autoregressive와 diffusion 모델의 장점을 절충하고, RL을 통한 reasoning 능력 향상까지 이어지는 최신 연구 흐름을 잘 정리해 주셔서 큰 도움이 되었습니다. 기존 LLM이 가지던 단일 방향성의 한계를 보완하고, Encoder 구조 기반의 새로운 가능성을 보여준 발표였습니다. Diffusion LM이 단순히 대체제가 아니라 LLM 패러다임의 확장선상에 있다는 점을 짚어주신 점이 특히 좋았습니다. 좋은 발표 감사합니다!

이번 세미나는 Discrete Diffusion Language Model에 대해 개념부터 학습 방식, 추론 전략, 그리고 최근 연구 동향까지 폭넓게 다룬 매우 유익한 시간이었습니다. 기존의 Decoder-only Autoregressive 구조가 토큰을 순차적으로 생성하는 방식이라면, DDLM은 마스킹 기반의 점진적 복원 과정을 통해 전체 문장을 동시에 개선해 나간다는 점에서 근본적으로 다른 패러다임을 제시한다는 점이 인상 깊었습니다. 특히, Diffusion 모델의 Denoising 과정을 텍스트 도메인에 맞추어 “마스킹 → 복원”으로 재정의하여 BERT의 MLM 학습과 자연스럽게 연결한 부분이 흥미로웠습니다. 또한 Iterative Refinement 과정을 통해 한 번의 예측으로 결과가 결정되는 것이 아니라, 추가 연산을 투입할수록 문장의 품질이 지속적으로 향상된다는 Inference Time Scaling의 개념은 실용적 관점에서도 많은 가능성을 보여주었습니다. 물론 iterative refinement 특성상 추론 비용 증가라는 현실적인 한계도 존재하지만, 그에 대한 최적화 연구와 스케일링 전략 역시 활발히 논의되고 있다는 점에서 앞으로의 발전이 더욱 기대됩니다. 발표 덕분에 이미지 중심으로 발전해온 Diffusion 패러다임이 언어 모델에도 강력한 가능성을 가진다는 사실을 체계적으로 이해할 수 있었습니다. 좋은 발표 준비해주셔서 감사합니다.

금일 세미나는 최근 많은 관심을 받고 있는 “Discrete Diffusion Large Language Models”를 주제로 진행되었습니다. 기존의 LLM은 주로 대규모 데이터와 연산 비용을 바탕으로 성능을 끌어올리는 decoder-only 구조가 일반적이었지만, 이번 발표에서는 이산 토큰 공간에서의 diffusion 개념을 도입해 인코더 계열의 이해 능력을 활용하면서 비자기회귀적으로 텍스트를 생성하는 접근을 다루었습니다. 텍스트가 이산 토큰으로 구성되어 연속 가우시안 노이즈를 그대로 적용하기 어렵기 때문에, 마스크나 임의 토큰으로 치환하는 전방 잡음 과정을 정의하고 이를 역으로 복원하는 모델을 학습하는 방식이며, 전반적으로 BERT의 마스킹 복원과 유사한 면을 보입니다. 추론 단계에서는 생성할 길이를 [MASK]로 초기화한 뒤, 매 반복마다 일정 비율의 토큰을 병렬로 확정·복원하는 절차를 사용하여, 토큰을 하나씩 생성하는 자기회귀 방식보다 적은 반복으로 빠르게 문장을 생성할 잠재력이 있습니다. 개인적으로도 관련 주제를 따로 공부하기가 쉽지 않았는데, 이번 세미나를 통해 핵심 아이디어와 구현의 감을 잡을 수 있었습니다. 좋은 발표 준비해 주셔서 감사드립니다.

“Discrete Diffusion Large Language Models(dLLM)” 관련 서베이와 후속 연구들을 한 번에 다뤄주셔서 너무 유익한 세미나였습니다.Encoder/Decoder LM의 구조·attention 방식 차이 등 근본적인 내용을 다시 상기하면서, 왜 diffusion 계열이 병렬 생성, controllability, in-place 수정 측면에서 다른 가능성을 가지는지 직관적으로 정리해 주신 덕분에 흐름을 자연스럽게 따라갈 수 있었습니다. 이어서 discrete diffusion에서 masking을 노이즈로 해석하고, 변하는 마스킹 비율을 갖는 MLM objective로 수식화할 수 있다는 설명을 통해 dLLM의 목적함수가 결국 BERT와 사실상 동일한 형태라는 점이 가장 놀라웠습니다. Encoder 기반의 BERT는 decoder 기반 모델과 달리 생성 모델에 적합하지 않고, 이 때문에 재등장을 상상하지 못했는데 고정관념이 깨져 매우 인상적이었습니다. 새롭게 등장한 패러다임이 사실은 고전적인 모델의 확장적 설계라는 것이 재미있었습니다. 좋은 세미나 너무 감사합니다!