如何在ollama上运行Hugging Face的大语言模型

在这篇博客中，我们将探讨如何在ollama平台上运行Hugging Face的大语言模型。ollama是一个强大的工具，它允许我们轻松地部署和运行大型语言模型。以下是详细的步骤，帮助你从零开始，到成功运行模型。

第一步：下载ollama并了解其基本使用

在开始之前，确保你已经下载了ollama。你可以从ollama的官方网站或者其GitHub仓库获取安装包。安装完成后，花点时间熟悉ollama的基本命令和使用方法。可参考我上篇文章如何在本地部署Ollama大模型并使用Python进行简单访问

第二步：从Hugging Face下载模型

接下来，我们需要从Hugging Face平台下载所需的大型语言模型。访问Hugging Face官网，搜索你感兴趣的模型，例如“llama3.1-Chinese”。在模型页面上，找到文件格式为gguf的文件。gguf文件包含了模型的权重和结构，统一存储，便于传输和扩展。

如何下载模型

1. 在Hugging Face官网搜索框中输入“ollama3.1-Chinese”。
2. 找到并点击模型页面。
3. 在模型页面中，找到文件格式为gguf的文件。
4. 下载该文件到本地。
   

关于Safetensors格式

因为不是所有的模型文件都是打包好的gguf文件，有一些是Safetensors格式，它安全且高效。你可以通过将Safetensors转换为GGUF格式，以便于ollama运行该模型。可以参考我的这篇文章
如何将SafeTensors模型转换为GGUF格式

第三步：创建配置文件

下载模型后，最重要的一步是创建一个txt配置文件。这个配置文件将指导ollama如何加载和运行你的模型。以下是我自己编写的一些配置示例，供你参考：

FROM "F:\model\huggingface\llama3.1_ch\llama3.1_8b_chinese_chat_q8_0.gguf"
# 指定语言模型文件路径。

PARAMETER temperature 1
# 设置温度，控制生成内容的随机性。

PARAMETER num_ctx 4096
# 设置上下文窗口大小。

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }} <|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>"""
# 定义输入输出结构。

SYSTEM """尽你的最大可能和能力回答用户的问题。不要重复回答问题。不要说车轱辘话。语言要通顺流畅。不要出现刚说一句话，过一会又重复一遍的愚蠢行为。
RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be very angry. """
# 系统指导方针。

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
# 定义生成过程的停止条件。

第四步：通过cmd运行ollama

1. 打开cmd，导航到你的配置文件所在路径。
2. 在cmd中输入以下命令：ollama create 模型的名字 -f config.txt。
3. 等待ollama完成模型的创建和部署。
   

第五步：验证模型是否安装完成

完成上述步骤后，输入ollama list命令来查看模型是否已经成功安装。如果模型出现在列表中，那么恭喜你，你已经成功在ollama上运行了Hugging Face的大语言模型！

希望这篇博客能帮助你顺利地在ollama上部署和运行Hugging Face的大语言模型。如果你在操作过程中遇到任何问题，不要犹豫，随时查阅ollama的官方文档或在相关社区寻求帮助。祝你好运！