HCI Factors For Building Relationships with Users Who Experience Hallucination of AI Assistants on Working Environment : Focusing on Authenticity and Autonomy

생성형 AI 분야에서 AI 어시스턴트는 특히 업무 환경을 중심으로 사용량이 기하급수적으로 증가하고 있다. 그러나 AI 어시스턴트가 가지고 있는 특징 중 하나인 할루시네이션(Hallucination)은 사용자로 하여금 AI 어시스턴트에 대한 신뢰성 저하를 초래하고, 궁극적으로 지속적인 사용을 이끌어내지 못하고 있다. 본 연구에서는 업무 중 사용하는 AI 어시스턴트와의 상호작용 과정에서 진정성과 자율성이 신뢰성에 미치는 영향을 탐구하고, 신뢰성에 따른 AI 어시스턴트와 인간의 파트너십 형성 방안을 모색하고자 하였다. 특히, HCI 요소로서 할루시네이션 상황에서의 상호작용 요소인 진정성과 자율성이 관계 형성에 어떤 영향을 제공할 수 있을지 연구하였다. 사전 연구를 통해 업무중 정보 출처가 중요한 리서치 업무를 필요로 하는 참가자를 선정하였다. 본 연구에서는 2x2 실험 설계를 통해 진정성과 자율성의 정도에 따라 AI 어시스턴트와의 상호작용에 대한 신뢰성에 미치는 영향과 파트너십 형성 효과를 검증하였다. 그 결과, AI 어시스턴트의 상호작용 과정에서 높은 수준의 자율성을 가지고 생성한 정보의 정확성을 검증하는 모습을 사용자에게 드러낼수록 신뢰성이 향상되는 긍정적인 효과가 나타났다. 이러한 과정은 파트너십의 형성에도 유의미한 영향을 미쳤다. 반면, AI 어시스턴트의 상호작용 과정에서 높은 수준의 진정성을 드러내더라도 신뢰성 형성에 큰 영향을 끼치지는 못하는 것으로 나타났다. 본 연구 결과를 바탕으로, 향후 AI 어시스턴트의 신뢰성 향상에 중요한 HCI 요소를 지속적으로 발굴하고, 파트너십 형성에 긍정적 영향을 미침으로써 AI 어시스턴트가 업무 환경에서 지속적으로 사용될 수 있도록 디자인하는 것에 대한 인사이트를 도출하였다.

Authors

Publication Details

Journal
Journal of the HCI Society of Korea
Published
2024-12-31
DOI
https://doi.org/10.17210/jhsk.2024.12.19.4.23
Citations
1
Primary Topic
Diverse Approaches in Healthcare and Education Studies
Type
article
Field-Weighted Citation Impact
0.54
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

HCI Factors For Building Relationships with Users Who Experience Hallucination of AI Assistants on Working Environment : Focusing on Authenticity and Autonomy

Younho Nam, Jinkyu Jang, Mina Park, Ryeogyeong Park et al.
1 citations
Journal of the HCI Society of Korea
Diverse Approaches in Healthcare and Education Studies
0.54
article

HCI Factors For Building Relationships with Users Who Experience Hallucination of AI Assistants on Working Environment : Focusing on Authenticity and Autonomy

Younho Nam, Jinkyu Jang, Mina Park, Ryeogyeong Park, Minkyung Kwon, Jeongyoon Lee
article en
1 citations

Abstract

생성형 AI 분야에서 AI 어시스턴트는 특히 업무 환경을 중심으로 사용량이 기하급수적으로 증가하고 있다. 그러나 AI 어시스턴트가 가지고 있는 특징 중 하나인 할루시네이션(Hallucination)은 사용자로 하여금 AI 어시스턴트에 대한 신뢰성 저하를 초래하고, 궁극적으로 지속적인 사용을 이끌어내지 못하고 있다. 본 연구에서는 업무 중 사용하는 AI 어시스턴트와의 상호작용 과정에서 진정성과 자율성이 신뢰성에 미치는 영향을 탐구하고, 신뢰성에 따른 AI 어시스턴트와 인간의 파트너십 형성 방안을 모색하고자 하였다. 특히, HCI 요소로서 할루시네이션 상황에서의 상호작용 요소인 진정성과 자율성이 관계 형성에 어떤 영향을 제공할 수 있을지 연구하였다. 사전 연구를 통해 업무중 정보 출처가 중요한 리서치 업무를 필요로 하는 참가자를 선정하였다. 본 연구에서는 2x2 실험 설계를 통해 진정성과 자율성의 정도에 따라 AI 어시스턴트와의 상호작용에 대한 신뢰성에 미치는 영향과 파트너십 형성 효과를 검증하였다. 그 결과, AI 어시스턴트의 상호작용 과정에서 높은 수준의 자율성을 가지고 생성한 정보의 정확성을 검증하는 모습을 사용자에게 드러낼수록 신뢰성이 향상되는 긍정적인 효과가 나타났다. 이러한 과정은 파트너십의 형성에도 유의미한 영향을 미쳤다. 반면, AI 어시스턴트의 상호작용 과정에서 높은 수준의 진정성을 드러내더라도 신뢰성 형성에 큰 영향을 끼치지는 못하는 것으로 나타났다. 본 연구 결과를 바탕으로, 향후 AI 어시스턴트의 신뢰성 향상에 중요한 HCI 요소를 지속적으로 발굴하고, 파트너십 형성에 긍정적 영향을 미침으로써 AI 어시스턴트가 업무 환경에서 지속적으로 사용될 수 있도록 디자인하는 것에 대한 인사이트를 도출하였다.

Journal of the HCI Society of KoreaVol. 19(4)
Openalex Percentile: Top 25%
Diverse Approaches in Healthcare and Education Studies
0.54
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.