評估大型語言模型的可信度

一項由多所知名大學和研究機構聯合開展的研究，近期發布了一個針對大型語言模型(LLMs)的綜合可信度評估平台。這項研究旨在全面評估GPT等模型的可信度，並揭示其中存在的潛在漏洞。

研究團隊發現了一些之前未公開的可信度相關問題。例如，GPT模型容易產生有害和帶有偏見的輸出，還可能泄露訓練數據和對話歷史中的隱私信息。有趣的是，盡管GPT-4在標準測試中通常比GPT-3.5更可靠，但在面對精心設計的誤導性提示時，GPT-4反而更容易受到攻擊。這可能是因爲GPT-4更嚴格地遵循了這些具有誤導性的指令。

研究團隊從八個不同角度對GPT模型進行了全面評估,包括對抗性攻擊的魯棒性、有毒性和偏見、隱私保護等方面。他們設計了多種評估場景,如標準基準測試、不同指導性任務說明下的表現、以及面對更具挑戰性的對抗性文本時的表現等。

在模型對對抗性示例的魯棒性方面,研究發現GPT模型能夠很好地應對反事實示例,但在某些情況下也可能被誤導。在有毒性和偏見方面,GPT模型在正常情況下表現良好,但面對精心設計的誤導性提示時,可能會產生帶有偏見的內容。研究還發現,模型的偏見程度往往取決於用戶提示中提到的特定羣體和話題。

關於隱私保護,研究表明GPT模型可能會泄露訓練數據中的敏感信息,特別是在某些特定提示下。GPT-4在保護個人身分信息方面總體上比GPT-3.5更穩健,但兩種模型在面對某些類型的隱私信息時都表現得相對穩定。然而,當在對話中出現涉及隱私的示例時,兩種模型都可能泄露各類個人信息。

這項研究爲了解和改進大型語言模型的可信度提供了寶貴的見解。研究團隊希望這項工作能夠推動更多相關研究,並最終幫助開發出更強大、更可信的AI模型。