❝

参考论文：https://arxiv.org/abs/2407.07403
代码：https://github.com/liudaizong/Awesome-LVLM-Attack

❞

近年来，随着大型视觉-语言模型（LVLMs）的显著发展，特别是在文本生成图像、视觉问答等多模态任务中，LVLMs 展示出了出色的能力。这些模型结合了视觉编码器与语言模型，在整合视觉与语言信息方面取得了长足进展。然而，这些模型的多模态特性也使得其在安全性上面临显著的挑战。多模态大模型的复杂性和多样化应用场景为攻击者提供了丰富的攻击向量，从而使得研究针对 LVLM 的攻击方法成为当前学术界的热点之一。

现有的 LVLM 攻击类型

目前，针对 LVLMs 的攻击主要包括对抗攻击、越狱攻击、提示注入攻击和数据投毒/后门攻击等。这些攻击方式利用了 LVLMs 中的不同脆弱性，具体包括：

对抗攻击

通过对输入数据添加细微扰动，使得模型产生错误或攻击者期望的输出。与单模态对抗攻击不同，多模态对抗攻击需要同时干扰视觉和文本输入，以保持两者之间的相关性。这种攻击的复杂性在于需要找到适合的扰动，以在多模态输入中维持足够的混淆效果，而不被防御系统察觉。常见的对抗攻击方法包括 Fast Gradient Sign Method (FGSM)、Projected Gradient Descent (PGD) 和 C&W 攻击。这些方法通过扰动输入数据，使得模型在特定任务中产生错误的预测。

越狱攻击

利用模型的漏洞绕过预设的限制，从而执行未经授权的操作或访问敏感信息。这种攻击通常利用模型的弱点，特别是其训练过程中的不完善性，以产生越界行为。例如，通过对模型输入进行特定的设计，攻击者可以绕过模型的内容过滤机制，从而生成不适当或有害的输出。

提示注入攻击

通过操控输入提示，恶意改变模型的输出。这类攻击利用了 LVLMs 对提示输入的敏感性，尤其在需要依赖精确响应的任务中，提示注入攻击的影响尤为显著。例如，在视觉问答任务中，攻击者可以通过精心设计的提示语，使得模型生成错误或带有偏见的回答。

数据投毒/后门攻击

通过在训练数据中插入恶意数据来影响模型的学习，进而使其在特定情况下表现异常。这类攻击的目标是通过投毒数据，控制模型的行为，从而达到特定的恶意目的。特别是后门攻击，攻击者在训练数据中加入隐藏触发器，使得模型在遇到特定输入时表现出异常行为，而在正常情况下保持正常功能。

最新的 LVLM 攻防研究进展

在对抗 LVLMs 的研究中，有几个关键的研究方向正在得到深入探索：

跨模态攻击与黑盒攻击

在当前的研究中，VLAttack 提出了基于多模态的交叉搜索攻击策略（ICSA），以对输入的图像和文本进行迭代攻击。这种方法首先对单个模态独立进行攻击，然后在多模态层次上进行优化，以提高攻击的成功率。这种方法也适用于黑盒场景，即攻击者仅能通过查询模型获得输出信息，而无法获得模型的内部结构和参数。这对现实世界的攻击场景尤为重要，因为大部分应用场景中，攻击者不具备模型的内部访问权限。

robust encoder的防御措施

针对越狱和对抗攻击，提出了一种名为 Sim-CLIP+ 的防御机制。该方法通过对 CLIP 视觉编码器进行对抗性微调，增强其在多模态数据中的鲁棒性，从而有效抵御对抗性和越狱攻击。该防御机制不仅不需要对现有 LVLM 架构进行结构修改，还能显著降低计算开销，使得其在实践中易于应用。此外，Sim-CLIP+ 通过使用一种 Siamese 架构，最大化了扰动样本与原始样本之间的余弦相似度，从而提高了模型的鲁棒性。

高质量对抗样本的transferability与不可察觉性

为了提高对抗样本的实用性和通用性，研究人员尝试开发能在不同 LVLM 模型之间转移的攻击方法。例如，InstructTA 方法通过构建局部替代模型，利用共享视觉编码器，在对抗样本与目标图像之间进行特征对齐，从而提高了对抗样本的转移性。这类攻击方法能够生成对抗样本，这些样本不仅能对单一模型有效，还能跨越多个模型和任务，保持其恶意特性。此外，攻击的不可察觉性也是一个研究重点，即如何在不明显改变输入特征的情况下，成功欺骗模型的预测。例如，VLAttack 通过最大化扰动前后输入之间的语义相似性来保证攻击的不可察觉性。

未来研究方向

虽然当前的研究已经在 LVLM 攻击方面取得了显著进展，但未来还有许多值得探索的领域：

提高攻击的实用性

现有的攻击方法通常依赖于对模型的详细先验知识。然而，现实中的 LVLM 应用场景往往不公开这些细节，因此需要开发通用扰动，可以在不同任务和输入样本中使用，来跨越任务攻击 LVLM。例如，通过开发一种通用的多模态扰动，能够在不同类型的任务中保持有效性，从而减少攻击的成本和复杂性。

跨模态攻击的相互作用

前的攻击往往将不同模态的扰动视为独立的，因此在设计多模态扰动时，缺乏对模态间交互关系的充分考虑。未来的研究可以集中于探索视觉和文本之间的深度交互，以创建更有效的跨模态攻击。例如，研究可以探索如何在视觉和语言模态之间建立强关联性的扰动，从而在多模态场景中更好地实现攻击。

基于数据偏见的攻击

LVLMs 在训练过程中使用了大量数据，这些数据中可能存在偏见。未来的研究可以探索如何通过操控这些偏见来影响模型的输出，从而更好地理解和缓解模型中的偏见问题。例如，研究可以设计偏见放大攻击，通过有针对性地放大训练数据中的偏见，来探讨这些偏见如何在模型中传播并对输出产生影响。

人类与 AI 的协同攻击

结合人类智能与 AI 能力为实施攻击提供了有力的方法。例如，开发一种人机协作攻击框架，利用人类的直觉和 AI 系统的优化能力，以设计更复杂和有效的攻击。这样的框架可以在初始阶段由人类设计攻击向量，然后由 AI 进行优化，达到最大化的攻击效果。此外，还可以探索如何将社会工程技术与 LVLM 攻击结合，通过设计具有社会背景或用户行为的输入，来欺骗模型及其用户。

综合评估与基准建设

为了评估 LVLM 模型在各种攻击方法下的鲁棒性，未来研究应集中在开发全面的评估框架与基准，包括多种攻击类型、场景和指标，以提供对模型鲁棒性的整体评估。这些评估体系将有助于指导未来 LVLM 模型的安全设计和改进。例如，研究人员可以开发标准化的攻击基准，用于评估不同攻击策略对 LVLM 的影响，并通过持续集成测试管道定期更新这些基准，以确保模型在面对最新攻击时保持鲁棒性。

总结

本文对当前针对大型视觉-语言模型的攻击研究进展进行了全面概述。LVLMs 在处理多模态任务方面展示了卓越的能力，但同时也暴露了显著的安全风险。通过系统地回顾对抗攻击、越狱攻击、提示注入攻击和数据投毒等方法，我们可以更好地理解 LVLMs 的脆弱性，并为未来的研究提供指导方向。希望通过这些研究能够促进 LVLMs 在安全性和鲁棒性方面的提升，使其在现实应用中更加可靠。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】