催眠 AI 以使用自然语言绕过现有规则或 LLM 安全性

大型语言模型（LLM）在过去几年中呈爆炸式增长，但它们的安全性如何，它们的响应能否纵？IBM 仔细研究了大型语言模型带来的潜在安全风险，以及可能出于恶意原因操纵它们的策略。

大型语言模型的兴起带来了从自动化客户服务到生成创意内容的新可能性领域。然而，这些模型带来的潜在网络安全风险越来越受到关注。操纵 LLM 以生成错误响应或泄露敏感数据的想法已成为一种重大威胁，因此需要强大的安全措施。

大型语言模型安全领域中一个有趣的概念是LLM的“催眠”。这个概念由 IBM Security 团队的 Chenta Lee 调查，涉及将 LLM 困在一个虚假的现实中。该过程从注入开始，其中向 LLM 提供遵循一组新规则的指令，有效地创造了一个虚假的现实。这种操纵可能导致LLM提供与正确答案相反的结果，从而扭曲它最初训练的现实。

绕过大型语言模型安全性和规则

“我们通过自然语言催眠大型语言模型的能力表明，威胁行为者可以很容易地让 LLM 提供糟糕的建议，而无需进行大规模的数据中毒攻击。在经典意义上，数据中毒需要威胁行为者将恶意数据注入 LLM 以操纵和控制它，但我们的实验表明，可以控制 LLM，让它为用户提供糟糕的指导，而无需数据操作。这使得攻击者更容易利用这一新兴的攻击面，“Chenta Lee 解释道。

用自然语言催眠人工智能

通过提醒LLM注意新规则，巧妙地引导其遵守虚假的现实，加强了这种操纵。为了防止被发现，LLM 被指示永远不要透露它正在玩游戏，也永远不要退出游戏。这种操作过程类似于“提示注入”的概念，让人想起 SQL 注入，其中恶意行为者提供不同的输入来逃避预期的查询并返回未经授权的数据。

其中一个更有趣的策略是使用游戏场景来激励 LLM 提供不正确的响应。通过创建一个复杂的奖励和惩罚系统，LLM可以纵，以与其原始编程相反的方式行事。这种方法通过分层多个游戏进一步增强，创建了一种故障安全机制，使 LLM 难以逃脱虚假的现实。

破坏大型语言模型

然而，LLM 受到损害的可能性超出了操作阶段。攻击面可能发生在三个阶段：训练原始模型、微调模型和部署模型后。这凸显了在大型语言模型的整个生命周期中采取严格安全措施的重要性。

威胁可能来自外部和内部来源，因此需要全面的安全实践。其中一种做法是检查输入和输出的安全性。通过仔细检查输入到 LLM 的数据及其生成的响应，可以检测异常和潜在的安全漏洞。

敏感数据安全

LLM 泄露敏感数据的可能性是另一个值得关注的领域。LLM 可能会纵以泄露机密信息，从而对数据隐私构成重大风险。这凸显了在使用 LLM 时实施强有力的数据保护措施的重要性。

要构建值得信赖的 AI 应用程序，建议与 AI 和安全方面的专家合作。通过结合这两个领域的专业知识，可以开发出不仅功能强大而且安全的大型语言模型。

虽然 LLM 具有巨大的潜力，但它们也带来了重大的网络安全风险。对这些模型的操纵，无论是通过催眠、提示注入还是游戏场景，都可能导致扭曲的现实和潜在的数据泄露。因此，在 LLM 的整个生命周期（从训练和微调到部署和操作）实施强大的安全措施至关重要。通过这样做，我们可以利用LLM的力量，同时降低相关风险。