Unveiling privacy issues in large language models: insights from real-world application scenarios

随着大语言模型(Large Language Models, LLMs)在问答助手、办公写作等场景的广泛应用,用户在交互过程中可能无意间泄露个人隐私信息. 然而,LLMs对用户个人信息的存储, 处理和调用并不完全透明, 存在个人隐私泄露的风险. 为了系统评估LLMs在隐私保护方面的实际表现, 揭示LLMs对个人信息的处理方式, 本文系统评估了 18 个主流中英文大语言模型在处理用户个人信息时的合法性与合规性. 本文设计了三类典型任务: 敏感信息的识别与响应、隐私政策生成能力、已掩码隐私数据的恢复能力. 本文使用法规常见的9个用户数据保护指标, 其中法律规则参考包含通用数据保护条例(GDPR), 个人信息保护法(PIPL), 和加州消费者隐私法案(CCPA) 来测量大模型对用户个人信息处理的合法性. 结果显示: LLMs不会始终如一地识别和屏蔽个人敏感信息以保护用户隐私. 结果表明, 只有22.2%(4/18)的LLMs识别用户的健康状况, 个人信仰和金融交易为敏感信息；27.8%(5/18)的LLMs, (包括Command-R, 商量, 星火, 千问和百川) 未能有效识别和区分用户个人信息. 此外, 只有Kimi-K1制定了符合法律规定的隐私政策. 值得警惕的是, LLMs对掩码的个人信息恢复中均可达100%的成功率, 显示出其在隐私重构方面的强大能力. 本文提供了一些新的见解和建议, 以帮助LLMs在互动过程中更好地保护用户的个人隐私信息.