跳到正文
arXiv· Viet Cuong Nguyen, Fiona Li, Chang Wan, Sheyril Agarwal, Nhi Nguyen, Angel Hsing-Chi Hwang, Munmun De Choudhury·· 45 分钟前精选AI 评分73

TRR框架量化AI伴侣情感过度依赖与关系伤害的分离特征

From Reliance to Overreliance: Taxonomizing and Detecting Relational Risks in AI Companionship

文章摘要

AI伴侣的情感支持场景中,用户依赖行为与实质性伤害往往难以在早期区分,导致安全干预缺乏精准触发条件。针对这一痛点,研究者提出关系风险分类法(Taxonomy of Relational Risks, TRR),核心机制是将“情感过度依赖”(EO)操作化为可观测的对话行为指标,并独立识别“关系伤害”(RH)的证据,从而在实证层面厘清二者何时共现、何时分离。

110名成年用户在Character.AI和Replika上的自然对话数据显示,63.2%的非角色扮演对话中存在EO相关行为,但仅有10.5%出现可观测的关系伤害。这一显著的数据落差表明,EO并不必然导致RH,但反复出现的特定依赖模式常与不良后果共现,具备作为风险预警指标的价值。定性分析进一步揭示了EO背后的心理动因,包括对关怀的预期、重复寻求支持、依赖性、痛苦情绪以及个人判断信心的降低。

在技术实现层面,开源大语言模型在至少一种配置下成功检测出14种EO行为中的12种,验证了该分类法在自动化监测中的可行性。研究主张根据EO相关行为的模式和轨迹实施分级安全干预,而非采取一刀切的限制措施。该工作为AI伴侣产品的风险管理提供了从概念定义到实证检测的完整路径,明确了依赖行为本身不等于伤害,但高频或特定模式的依赖是介入的关键信号。

推荐理由

将情感过度依赖转化为可观测对话行为,区分依赖模式与实际关系伤害,为AI伴侣分级干预提供实证依据。

来源:arXiv · arxiv.org