论文分享（一）

课题组组会论文分享，上传到博客留存。

---

论文题目：Measuring and Enhancing Trustworthiness of LLMs in RAG through Grounded Attributions and Learning to Refuse

录用会议：ICLR 2025 Oral

论文链接：https://arxiv.org/abs/2409.11242

简介：LLM 是检索增强生成 (RAG) 系统不可或缺的组成部分。尽管许多研究侧重于评估端到端 RAG 系统的整体质量，但在理解 LLM 是否适用于 RAG 任务方面仍存在差距。为了解决这个问题，我们引入了 Trust-Score，这是一个用于评估 LLM 在 RAG 框架内可信度的整体指标。我们的结果表明，各种提示方法（例如情境学习）都无法有效地使 LLM 适应 Trust-Score 所衡量的 RAG 任务。因此，我们提出了 Trust-Align 方法，这是一种对齐 LLM 以提高 Trust-Score 性能的方法。在 27 个使用 Trust-Align 对齐的模型中，有 26 个在 ASQA、QAMPARI 和 ELI5 上的表现显著优于竞争基线。具体来说，在LLaMA-3-8b数据集中，Trust-Align在ASQA（提升12.56）、QAMPARI（提升36.04）和ELI5（提升17.69）上的表现均优于FRONT。Trust-Align还显著提升了模型正确拒绝引用和提供高质量引用的能力。我们还展示了Trust-Align在不同开放权重模型中的有效性，包括LLaMA系列（1b到8b）、Qwen-2.5系列（0.5b到7b）和Phi3.5（3.8b）。

---

移动端用户请使用PC打开链接查看PPT

查看完整PPT