Qwen2.5项目地址

Github:QwenLM/Qwen2.5: Qwen2.5 is the large language model series developed by Qwen team, Alibaba Cloud.

Ollama部署

直接部署

下载安装包并上传到服务器

下载地址

https://ollama.com/download/ollama-linux-amd64.tgz

或者直接下载

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

安装

下载安装脚本，脚本地址

https://ollama.com/install.sh

修改install.sh文件

找到

curl --fail --show-error --location --progress-bar \
    "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
    $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

修改为

$SUDO tar -xzf /path/to/local/ollama-linux-${ARCH}.tgz -C "$OLLAMA_INSTALL_DIR"

其中/path/to/local修改为前面上传文件所在的文件夹

进入所在目录，运行脚本

sh install.sh

注意如果是在windows下修改的install.sh脚本在上传，运行可能会出错，这时在ubuntu中修改脚本

设置局域网登录

在下面文件中的service中添加

sudo gedit /etc/systemd/system/ollama.service

User = root
Group = root
Environment="OLLAMA_MODELS=/home/cqu/.ollama/models"
Environment="OLLAMA_HOST=0.0.0.0:11434"

检查是否部署成功

ollama --version

更改模型安装位置

更改用户组和权限

sudo chown -R root:root /home/cqu/.ollama/models
sudo chmod -R 777 /home/cqu/.ollama/models

移动文件

sudo mv /usr/share/ollama/.ollama/models/* /home/cqu/.ollama/models

# 刷新配置
sudo systemctl daemon-reload
# 重启ollama
sudo systemctl restart ollama.service
# 查看一下重启后的ollama运行状态
sudo systemctl status ollama

参考

Ubuntu 修改 Ollama 模型路径 - 小蓝博客

在ubuntu系统中下载ollama并且修改ollama中模型的保存路径_ollama 修改模型路径-CSDN博客

Docker部署(部署成功后不能下载模型)

参考链接

ollama/ollama - Docker 镜像 |Docker 中心

安装 NVIDIA Container Toolkit 软件包

配置存储库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update

安装

sudo apt-get install -y nvidia-container-toolkit

配置 Docker 以使用 Nvidia 驱动程序

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

启动容器

sudo docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

sudo docker run -d --gpus=2 -v /home/cqu/Docker/Ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

查看是否部署成功

输入ip:11434

下载Qwen2.5模型

模型地址

https://ollama.com/library

docker进入容器(直接部署不需要进行这一步)

sudo docker exec -it ollama /bin/bash

下载模型

ollama run qwen2.5:7b
ollama run qwen2.5:14b
ollama run qwen2.5:32b
ollama run qwen2.5:72b

Ui界面

open webui

部署参考

Docker一键快速私有化部署(Ollama+Openwebui) +AI大模型（gemma，llama2，qwen）20240417更新_ollama docker部署-CSDN博客

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

oneapi

sudo docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /home/cqu/Docker/Oneapi:/data justsong/one-api

sudo docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /home/cqu/Docker/Oneapi:/data ghcr.io/songquanpeng/one-api

部署参考

songquanpeng/one-api: OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI.

oneapi配置参考

第三十一篇-Ollama+OneAPI基本集成配置_oneapi ollama-CSDN博客