[Paper Review] Can Large Language Model Agents Simulate Human Trust Behavior?

Paper Review
작성자
Saeran Park
작성일
2024-12-12 01:28
조회
1511
1. 논문 제목
  • Can Large Language Model Agents Simulate Human Trust Behavior?
  • 링크 : 바로가기
2. Overview
  • Trust Games 프레임워크를 통해 LLM 에이전트의 신뢰 행동을 탐구
  • LLM 에이전트와 인간 간의 Behavioral Alignment가 있으며, 특히 GPT-4는 높은 alignment를 보여줌
  • 이를 통해 LLM 에이전트를 활용하여 인간의 신뢰 행동을 시뮬레이션 할 가능성을 제시
3. 발표자료 및 발표영상
 
전체 13

  • 2024-12-18 12:50

    이번 세미나는 Trust Behavior의 시뮬레이션을 통해 LLM Agent가 정말로 인간 행동을 시뮬레이션할 수 있는가?에 대한 근본적인 질문을 해결하고자 노력한 “Can Large Language Model Agents Simulate Human Trust Behavior?”라는 논문에 대한 발표를 중심으로 진행되었습니다. 해당 논문에서 인상깊었던 점은 Trust Game, Dictator Game, MAP, Risky Dictator Game, Lottery Game에 해당하는 5가지 Trust Game에 기반한 LLM Agent의 Trust Behavior과 Human Behavior의 유사도를 비교하기 위한 행동 정렬(Behavioral Alignment)라는 개념을 도입했던 부분입니다. LLM Agent와 관련된 기존 연구들을 보면서 LLM의 성능이 매우 뛰어나다는 점은 누구나 다 아는 사실이지만, 과연 LLM이 인간과 비교했을 때 얼마나 유사한가?에 대해선 의구심을 항상 가지고 있었는데 이를 상호성 기대, 위험 인식, 친사회적 선호 등의 Behavioral Factors와 Behavioral Dynamics 등을 통해 유사성을 확인하는 부분에서 의의가 있다는 생각이 들었습니다. 또한 Behavioral Factor의 분석 과정에서 LLM마다 위험을 얼마나 감수하는지에 대한 차이가 있는 부분도 매우 흥미로웠습니다. 좋은 발표해주셔서 감사합니다.


  • 2024-12-18 15:28

    이번 세미나에서는 "Can Large Language Model Agents Simulate Human Trust Behavior?"에 대해 소개해주셨습니다. 해당 연구는 대규모 언어 모델 에이전트가 인간의 신뢰 행동을 모방할 수 있는지를 탐구한 것으로, 특히 행동 경제학에서 널리 사용되는 신뢰게임을 활용하여 LLM agent의 신뢰 행동을 분석합니다. 연구 결과로 봤을 때, GPT-4 모델이 가장 인간의 신뢰 행동과 유사한 수준의 행동을 보였으며, 이를 통해 LLM agent를 통한 인간 신뢰 행동 시뮬레이션의 가능성을 확인할 수 있었습니다.
    최근 LLM agent의 연구가 다방면으로 이루어지며 기존에는 이를 활용한 task 수행 및 목표 달성과 관련한 연구만을 접하였었는데, 이번 세미나를 통해 AI agent의 발전 방향과 활용 가능성을 이해해볼 수 있었던 것 같습니다. 세미나마다 좋은 주제로 흥미로운 이야기 전달해주셔서 감사드립니다. 그동안 수고 많으셨습니다.


  • 2024-12-23 16:48

    본 세미나는 LLM의 Agent의 신뢰 행동을 탐구하는 논문을 바탕으로 진행되었습니다. 기존 Agent Simulation은 사람이 직접 정의한 행동만 가능하다는 한계가 있는 반면, LLM-based Agent Simulation은 다양한 맥락에서 정확한 행동 시뮬레이션을 가능하게 하는 장점이 있습니다. 특히 LLM Agent가 트렌드로 떠오르고 있는 현재, 과연 Agent가 사람처럼 행동하는가?에 대해 의문점을 품는 논문이었습니다. 그 중에서도 신뢰 행동을 측정하고 Trust Game이라는 행동경제학의 이론을 적용시킨 것이 흥미로웠습니다. 다양한 실험을 통해 신뢰 행동을 측정하고 있지만, 아직까지는 사람의 행동을 정확히 모사하진 못하는 것 같았습니다. 해당 실험이 실생활에서 어떻게 쓰일 것인가?에 대해 의문을 품었었는데, 제가 내린 결론은 사람과 맞닿아 있는 산업(게임, 메타버스)에서 사람의 행동을 모사하여 실제와 가까운 퍼포먼스를 내는 분야에서 유의미한 연구라고 생각합니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2024-12-23 17:20

    금번 세미나는 LLM Agent 관련하여 " Can Large Language Model Agents Simulate Human Trust Behavior?" 논문 주제로 진행되었습니다. LLM Agent가 LLM chat 역할을 넘어 사람의 역할을 대신한다는 차원에서 출발하여 여러 연구가 진행되고 있는 상황입니다. 그러한 만큼 사람처럼 행동함을 평가하는 방법 또한 연구의 요소 일부라고 볼 수 있습니다. 본 논문에서는 Trust Game이라는 행동경제학에서 연구되는 신뢰 행동 측정 방식을 도입하였습니다. 신뢰 영역을 수치로 정량화할 수 있음이 흥미로웠고, 무엇보다 GPT-4o의 성능이 사람과 유사한 결과를 보여주었음이 놀라웠습니다. 다만 다른 모델들은 거의 유사한 성능을 보여주고 있으며, 실제로 개인적 상황을 고려한 답이라고 볼 수 있을지에 대해 더 많은 연구가 진행될 필요가 있어보입니다. 오늘 소개해주신 LLM Agent 분야의 연구는 앞으로도 계속 발전될 것이라 생각되며, 좋은 발표 준비해주셔서 감사합니다.


  • 2024-12-23 19:36

    이번 세미나는 “Can Large Language Model Agents Simulate Human Trust Behavior?” 논문을 통해 LLM Agent가 인간의 신뢰 행동을 얼마나 효과적으로 시뮬레이션할 수 있는지를 탐구한 내용을 다루었습니다. 연구에서 사용된 Trust Game, Dictator Game, MAP, Risky Dictator Game, Lottery Game 등은 인간 행동의 핵심적인 신뢰 요소를 측정하는 데 유용한 도구였습니다. 특히 Behavioral Alignment라는 개념을 도입하여 인간 행동과 LLM Agent의 행동을 비교한 점이 인상적이었습니다. 상호성 기대, 위험 인식, 친사회적 선호와 같은 Behavioral Factors를 기반으로 LLM Agent의 행동 특성을 분석한 부분에서 연구의 깊이를 느낄 수 있었습니다. 또한, GPT-4가 다른 모델들에 비해 인간과의 유사성이 높다는 결과는 LLM Agent의 가능성을 보여주는 동시에, 여전히 인간 행동의 복잡성을 완벽히 모사하지는 못함을 확인시켜 주었습니다. 이러한 연구는 LLM Agent가 게임, 메타버스 등 인간 행동 시뮬레이션이 중요한 분야에서 어떻게 활용될 수 있을지를 제시하는 데 의의가 있다고 생각합니다. 좋은 발표 감사합니다.


  • 2024-12-25 15:08

    이번 세미나는 LLM Agent가 인간 신뢰 행동을 얼마나 효과적으로 시뮬레이션할 수 있는지를 탐구한 “Can Large Language Model Agents Simulate Human Trust Behavior?” 논문을 중심으로 진행되었습니다. 특히, 연구에서 Behavioral Alignment라는 개념을 통해 인간과 LLM Agent의 행동 유사도를 분석한 부분이 인상 깊었습니다. Trust Game, Dictator Game, MAP, Risky Dictator Game, Lottery Game 등 행동경제학 기반 실험을 활용하여 신뢰 행동을 정량적으로 평가했다는 점이 매우 흥미로웠고, 본 연구에서 GPT-4가 다른 모델에 비해 인간과 높은 유사성을 보였다는 결과는 고무적이지만, 여전히 인간 행동의 복잡성을 완전히 모사하기에는 부족한 부분이 있음을 알 수 있었습니다. 특히, LLM Agent가 Behavioral Factors인 상호성 기대, 위험 인식, 친사회적 선호에 따라 얼마나 다르게 반응하는지를 구체적으로 분석한 부분에서 연구의 깊이를 느낄 수 있었습니다. 단순한 언어 모델을 넘어 LLM Agent가 실제 응용 분야, 특히 인간 행동을 시뮬레이션하는 게임, 메타버스, 교육 등에서 어떻게 활용될 수 있을지를 제시한다는 점에서 의미가 크다고 생각하였으며 앞으로 Behavioral Alignment를 더 정교하게 발전시키는 연구가 진행된다면, LLM Agent의 신뢰 행동 시뮬레이션은 더 큰 실질적 기여를 할 수 있을 것으로 생각하였습니다. 좋은 발표 준비해주셔서 감사합니다.


  • 2024-12-26 00:37

    이번 세미나에서는 "Can Large Language Model Agents Simulate Human Trust Behavior?" 논문이 소개되었습니다. 이 연구는 LLM 기반 에이전트가 인간의 신뢰(trust) 행동을 얼마나 잘 모방할 수 있는지를 검증하기 위해 설계되었습니다. 주요 실험은 Trust Game, Dictator Game, MAP Trust Game, Repeated Trust Game 등의 경제 게임을 활용하여 수행되었으며, Belief-Desire-Intention (BDI) 프레임워크를 통해 에이전트의 의사결정 과정을 분석했습니다. 결과적으로, GPT-4는 인간의 신뢰 행동과 높은 정렬(Behavioral Alignment)을 보였으며, 소규모 LLMs는 불안정한 패턴을 보였습니다. 또한, 명시적 지시(예: "신뢰해야 한다"/"신뢰하지 말아야 한다")에 따라 신뢰 수준이 변화하기도 했습니다. 본 연구는 LLM 에이전트가 인간의 신뢰 행동을 효과적으로 시뮬레이션할 가능성을 보여주었으며, 향후 더욱 정교한 사회적 시뮬레이션 연구로 확장될 수 있음을 시사합니다. 추후 연구가 어떤 방향으로 진행될 수 있을지는 모르겠지만, 연구의 목표와 실험 설계를 사회과학적인 근거로부터 잘 바탕이 된, 그로부터 설득력을 얻었던 좋은 논문이라고 생각했습니다. 좋은 논문 소개 감사드립니다.


  • 2024-12-26 00:38

    이번 세미나에서는 "Can Large Language Model Agents Simulate Human Trust Behavior?"이라는 논문에 대한 소개를 중심으로 진행되었습니다. 이 논문은 행동 경제학의 Trust Game 프레임워크를 활용하여 LLM 에이전트, 특히 GPT 계열 모델이 인간의 신뢰 행동을 얼마나 효과적으로 시뮬레이션할 수 있는지를 탐구합니다. 연구의 핵심은 LLM이 인간의 행동 패턴을 얼마나 충실히 반영하는지 평가하기 위해 Behavioral Alignment 개념을 도입한 점입니다. 이를 통해 인간과 LLM 에이전트 간의 신뢰 행동 유사도를 정량적으로 측정하였습니다. Trust Game, Dictator Game, Lottery Game 등 다양한 게임 기반 실험을 수행한 결과, GPT-4는 다른 모델에 비해 인간 행동과 높은 유사성을 보였으며, 특히 상호성 기대와 친사회적 선호와 같은 행동 요인에 민감하게 반응하였습니다. 그러나 연구는 인간 행동의 복잡성과 모든 상황에서의 완벽한 시뮬레이션에는 여전히 한계가 있음을 지적하였습니다. 예를 들어, 일부 경우에는 GPT-4가 지나치게 계산적인 접근을 보이거나, 인간과 다른 방식으로 위험을 해석하는 경향을 나타냈습니다. 이 점은 LLM의 한계를 보여주는 동시에, Behavioral Alignment를 더 정교하게 발전시킬 필요성을 강조합니다. 이번 세미나를 통해 해당 연구를 접하면서, LLM이 인간과 밀접한 행동을 하도록 하는 것을 넘어서 신뢰 행동이라는 키워드를 바탕으로 심리적인 영역의 분석까지 더해진 것이 신선한 연구였습니다. 다만, 본 연구에서 Human Evaluation을 설계하는 과정과 그 결과에 대해서는 아직 의문이 남아있고, 완전히 해당 연구를 납득하기에는 다소 아쉬움이 존재하였습니다. 신선한 연구 소개해주셔서 감사드리며, 좋은 발표 준비해주셔서 감사합니다.


  • 2024-12-12 11:20

    이번 세미나에서는 LLM 에이전트의 인간 신뢰 행동 시뮬레이션 능력을 탐구한 “Can Large Language Model Agents Simulate Human Trust Behavior?” 논문을 발표해 주셨습니다. 기존의 에이전트 시뮬레이션은 사람이 정의한 행동에 제한되어 있지만, LLM 기반 시뮬레이션은 다양한 맥락에서의 정확한 행동 재현이 가능하여 더 큰 현실성을 제공합니다. 특히 이번 연구에서는 행동 경제학의 Trust Game을 활용하여 LLM 에이전트들의 신뢰 행동을 측정하고, 다양한 게임 시나리오를 통해 에이전트의 행동이 인간과 얼마나 유사한지를 정량적으로 평가했습니다. 연구 결과, GPT-4는 다른 모델들에 비해 인간과의 행동 정렬이 높게 나타났으며, 이는 LLM을 사용한 복잡한 인간 행동의 시뮬레이션 가능성을 시사하였습니다. 이러한 점들은 LLM 에이전트가 향후 게임, 메타버스, 교육 등 인간과 상호작용이 중요한 분야에서 유용하게 활용될 수 있음을 제시합니다. 비록, LLM 에이전트의 한계점도 분명히 존재한다고 생각하지만 향후 이를 개선할 수 있는 연구가 계속해서 나올 것이라 생각합니다. 발표자의 깊이 있는 분석과 개인적인 견해까지 들을 수 있었던 발표라 매우 흥미로웠습니다. 좋은 발표해 주셔서 감사합니다.


  • 2024-12-27 12:21

    이번 세미나에서는 "Can Large Language Model Agents Simulate Human Trust Behavior?" 논문을 중심으로 LLM Agent의 인간 신뢰 행동 시뮬레이션 능력에 대한 심도 있는 논의가 이루어졌습니다. 특히 주목할 만한 점은 5가지 신뢰 게임(Trust Game, Dictator Game, MAP, Risky Dictator Game, Lottery Game)을 활용하여 행동 정렬(Behavioral Alignment)이라는 프레임워크로 LLM Agent와 인간의 행동 패턴을 비교 분석한 방법론이었습니다. 상호성 기대, 위험 인식, 친사회적 선호 등의 행동 요인(Behavioral Factors)을 통해 LLM의 행동 특성을 분석한 것이 인상적이었습니다. 특히 각 LLM 모델별로 위험 감수 성향에 차이가 있다는 발견은 매우 흥미로운 통찰을 제공했습니다. 이러한 연구는 단순히 LLM의 성능을 넘어서서, 인간의 복잡한 의사결정 과정과 얼마나 유사한 패턴을 보이는지를 실증적으로 검증했다는 점에서 의미가 있었습니다. 더불어 이 연구 결과는 게임과 메타버스 등 인간 행동 시뮬레이션이 중요한 분야에서의 LLM Agent 활용 가능성을 제시했다는 점에서도 큰 의의가 있다고 생각됩니다.좋은 발표 감사합니다.


  • 2024-12-12 04:27

    이번 세미나는 "Can Large Language Model Agents Simulate Human Trust Behavior?" 논문을 중심으로 진행되었습니다. 본 연구는 대형 언어 모델(LLM)이 인간의 신뢰 행동을 얼마나 잘 모방할 수 있는지에 대한 탐구를 다루며, 신뢰와 협력과 같은 사회적 행동을 LLM 기반 에이전트로 시뮬레이션하는 가능성을 제시한 점이 특징적입니다. 특히, 인간 심리학에서 관찰되는 신뢰 행동의 복잡성을 모델링하기 위해 다양한 실험적 시나리오를 설계하여 모델의 성능을 평가하였습니다. 그리고 LLM 에이전트가 인간과 상호작용하는 상황에서 신뢰 관련 결정의 맥락을 적절히 이해하고 대응할 수 있음을 보여주었습니다. 다만 인간 행동의 복잡성과 다양성을 LLM이 완전히 포괄하기 어려울 수 있다는 생각이 들었습니다. 좋은 발표 감사합니다!


  • 2024-12-12 08:25

    이번 세미나에서는 “Can Large Language Model Agents Simulate Human Trust Behavior?“라는 논문이 소개되었습니다. 이 연구는 LLM 기반 에이전트가 인간의 신뢰 행동을 얼마나 잘 모방할 수 있는지를 탐구하며, Trust Game, Dictator Game, Lottery Game 등 다섯 가지 경제 게임을 활용해 LLM과 인간 간의 Behavioral Alignment를 평가했습니다. 연구는 상호성 기대, 친사회적 선호, 위험 감수와 같은 Behavioral Factors를 분석하며 LLM의 인간 행동 시뮬레이션 가능성을 정량적으로 검토했습니다. 결과적으로 GPT-4는 높은 Behavioral Alignment를 보이며 인간 신뢰 행동과 상당한 유사성을 나타냈지만, 소규모 LLM은 불안정하거나 비일관적인 패턴을 보였습니다. 특히, 명시적 지시나 프롬프트 구성 방식에 따라 LLM의 신뢰 수준이 변화하는 점이 흥미로웠습니다. 하지만 연구는 일부 상황에서 LLM이 지나치게 계산적인 접근을 보이는 등 한계도 드러냈으며, 이러한 결과는 인간 행동의 복잡성을 완전히 시뮬레이션하기 위해 추가 연구가 필요함을 시사합니다. LLM이 신뢰와 같은 심리적 영역을 탐구하는 데 어떻게 기여할 수 있는지에 대한 흥미로운 관점을 제공한 연구였으며, 새로운 가능성을 엿볼 수 있는 유익한 시간이었습니다. 좋은 발표 감사합니다.


  • 2025-01-29 17:25

    이번 세미나에서는 LLM의 에이전트에 관하여 소개되었습니다. 특히 Agent Trust라는 것을 통해서 LLM agent가 기존의 인간 신뢰 행동에 있어서 어떤 모습을 보이는지를 확인한 연구를 소개해주셨습니다. 이를 확인하기 위해 Trust Game이라는 행동경제학의 한 상황을 이용합니다. LLM으로 하여금 페르소나를 부여하고, Belief-Desire-Intention(BDI)이라는 프레임워크를 통해 LLM 에이전트의 의사결정 과정을 명시적으로 모델링하게 하였습니다. BDI란 에이전트가 상황을 믿고, 에이전트가 원하는 결과 그리고 목표를 달성하기 위한 계획을 직접 출력 하도록 함을 의미합니다. 결과적으로 사람과의 신뢰 행동에서 많은 부분 align되는 것을 확인할 수 있었습니다. LLM이 과연 사람의 사고 과정과 동일해질 수 있을까에 대해서는 부정적으로 생각하며 그러지 않기를 바라는 입장입니다. 더욱이 에이전트를 활용함에 있어서는 사용자의 명령, 요청을 거스르는 일이 발생하지 않아야 된다고 생각합니다. 아주 중요하고 심각하게 살펴볼만한 연구 주제인 것 같습니다. 좋은 발표 감사합니다.


전체 539
번호 제목 작성자 작성일 추천 조회
공지사항
Paper Reviews 2019 Q3
관리자 | 2020.03.12 | 추천 0 | 조회 13524
관리자 2020.03.12 0 13524
공지사항
Paper Reviews 2019 Q2
관리자 | 2020.03.12 | 추천 0 | 조회 12268
관리자 2020.03.12 0 12268
공지사항
Paper Reviews 2019 Q1
관리자 | 2020.03.12 | 추천 0 | 조회 13208
관리자 2020.03.12 0 13208
476
[Paper Review] Multimodal Industrial Anomaly Detection by Crossmodal Feature Mapping (12)
Woongchan Nam | 2025.01.17 | 추천 0 | 조회 1287
Woongchan Nam 2025.01.17 0 1287
475
[Paper Review] MLLM-as-a-Judge: Assessing Multimodal LLM-as-a-Judge with Vision-Language Benchmark (13)
Kiyoon Jeong | 2025.01.16 | 추천 0 | 조회 1227
Kiyoon Jeong 2025.01.16 0 1227
474
[Paper Review] Large Language Models for Time Series Anomaly Detection (12)
Hyeongwon Kang | 2025.01.10 | 추천 0 | 조회 3145
Hyeongwon Kang 2025.01.10 0 3145
473
[PaperReview] TokenRec: Learning to Tokenize ID for LLM-based Generative Recommendations (13)
Jungho Lee | 2025.01.06 | 추천 0 | 조회 993
Jungho Lee 2025.01.06 0 993
472
[Paper Review] Training Large Language Models to Reason in a Continuous Latent Space (12)
Jaehee Kim | 2025.01.05 | 추천 0 | 조회 1452
Jaehee Kim 2025.01.05 0 1452
471
[Paper Review] Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation (12)
SangMin Lee | 2024.12.30 | 추천 0 | 조회 1061
SangMin Lee 2024.12.30 0 1061
470
[Paper Review] An Inverse Scaling Law for CLIP Training (13)
Siyul Sung | 2024.12.29 | 추천 0 | 조회 812
Siyul Sung 2024.12.29 0 812
469
[Paper Review] Relational Distant Supervision for Image Captioning without Image-Text Pairs (11)
Minjeong Ma | 2024.12.19 | 추천 0 | 조회 729
Minjeong Ma 2024.12.19 0 729
468
[Paper Review] The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery (10)
Jiyoon Lee | 2024.12.18 | 추천 0 | 조회 1542
Jiyoon Lee 2024.12.18 0 1542
467
[Paper Review] IETrans: Fine-Grained Scene Graph Generation with Data Transfer (13)
Minjeong Ma | 2024.12.13 | 추천 0 | 조회 733
Minjeong Ma 2024.12.13 0 733

Data Science & Business Analytics Lab.
Department of Industrial Engineering, College of Engineering,
Seoul National University

Contact Us

  • 강필성 교수 (pilsung_kang@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 301호 
  • 대학원 연구실 (총무 김도윤: doyooni303@snu.ac.kr)
    서울특별시 관악구 관악로 1 서울대학교 공과대학 39동 411호