【大模型本地化部署】Qwen2VL-7B多模态大模型部署

随着人工智能技术的飞速发展，多模态大模型逐渐成为研究和应用中的热点。Qwen2VL-7B，作为一个强大的多模态模型，具备理解和生成文本、图像以及视频等多种数据类型的能力。本文将详细介绍如何在CUDA 12.1和Python 3.11环境下，使用RTX 3090显卡部署Qwen2VL-7B多模态大模型。

AI小白龙*

1969人浏览 · 2024-10-29 11:10:43

AI小白龙* · 2024-10-29 11:10:43 发布

引言

环境准备

1. 硬件与软件要求

显卡：NVIDIA RTX 3090（实测7B量化模型需要16G以上显存）
CUDA版本：CUDA 12.1
Python版本：Python 3.11

2. 下载模型文件

首先，需要从魔搭社区下载Qwen2VL-7B多模态大模型的文件。使用以下Python脚本可以方便地下载模型：

from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4')

该脚本会将模型文件下载到指定的目录，便于后续使用。

3. 创建虚拟环境并安装依赖

使用Conda创建一个新的虚拟环境，并安装所需的依赖库：

conda create --name qwen2_vl python=3.11
conda activate qwen2_vl
pip install -U vllm -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
pip install -U --force git+https://github.com/huggingface/transformers
pip install qwen-vl-utils -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

这些依赖库包括vllm、transformers和qwen-vl-utils，它们对模型的运行至关重要。

模型部署

1. 导入必要的库

在部署模型之前，需要导入相关的Python库：

from PIL import Image
from transformers import AutoProcessor
from vllm import LLM, SamplingParams
from qwen_vl_utils import process_vision_info

2. 初始化模型

通过以下代码初始化Qwen2VL-7B多模态大模型：

MODEL_PATH = 'qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4'
llm = LLM(
    model=MODEL_PATH,
    limit_mm_per_prompt={'image': 10, 'video': 10},
)

这里设置了每个提示中图像和视频的最大数量。

3. 设置采样参数

设置生成文本的采样参数，以控制生成文本的质量和多样性：

sampling_params = SamplingParams(
    temperature=0.1, top_p=0.001, repetition_penalty=1.05, max_tokens=256,
    stop_token_ids=[],
)

4. 准备输入数据

构建包含图像和文本输入的消息：

IMAGE_PATH = '1.jpg'
VIDEO_PATH = '/path/to/video.mp4'

messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': [
        {
            'type': 'image',
            'image': IMAGE_PATH,
            'max_pixels': 12845056,
        },
        # {
        #     'type': 'video',
        #     'video': VIDEO_PATH,
        # }
        {
            'type': 'text',
            'text': 'What does this diagram illustrate?',
        },
    ]},
]

5. 处理输入数据

使用AutoProcessor和process_vision_info函数处理输入数据：

processor = AutoProcessor.from_pretrained(MODEL_PATH)
prompt = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True,
)
image_inputs, video_inputs = process_vision_info(messages)

mm_data = {}
if image_inputs is not None:
    mm_data['image'] = image_inputs
if video_inputs is not None:
    mm_data['video'] = video_inputs

6. 生成输出文本

最后，将处理后的数据输入模型，并生成输出文本：

llm_inputs = {
    'prompt': prompt,
    'multi_modal_data': mm_data,
}

outputs = llm.generate([llm_inputs], sampling_params=sampling_params)
generated_text = outputs[0].outputs[0].text

print(generated_text)

总结

本文详细介绍了如何在CUDA 12.1和Python 3.11环境下，使用RTX 3090显卡部署Qwen2VL-7B多模态大模型。通过详细的步骤和代码示例，读者可以轻松实现模型的下载、依赖安装、初始化、数据准备和文本生成。希望本文能为你在多模态大模型的研究和应用中提供帮助。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

NVIDIA AI技术专区

NVIDIA官方入驻，分享最新的官方资源以及活动/会议信息，精选收录AI相关技术内容，欢迎大家加入社区并参与讨论。

更多推荐

16_Vue3动画(一)之动画的基本使用及animate.css库的使用

Vue3动画的基本使用及animate.css库的使用认识动画在开发中，我们想要给一个组件的显示和消失添加某种过渡动画，可以很好的增加用户体验：React框架本身并没有提供任何动画相关的API，所以在React中使用过渡动画我们需要使用一个第三方库react-transition-group；Vue中为我们提供一些内置组件和对应的API来完成动画，利用它们我们可以方便的实现过渡动画效果；我们来看一