Linux 部署 AI 模型实践

随着大语言模型的普及，越来越多的开发者希望在本地 Linux 环境部署 AI 模型。本文将详细介绍如何在 Linux 系统上部署和运行 AI 模型。

一、环境准备

安装 Python

# Ubuntu/Debian
sudo apt-get install python3 python3-pip

# CentOS/RHEL
sudo yum install python3 python3-pip

创建虚拟环境

python3 -m venv ai-env
source ai-env/bin/activate

二、使用 Ollama 部署

Ollama 是一个简单易用的 AI 模型部署工具。

安装 Ollama

curl -fsSL https://ollama.com/install.sh | sh

运行模型

# 拉取模型
ollama pull llama3

# 运行模型
ollama run llama3

创建自定义模型

# 创建 Modelfile
FROM llama3
PARAMETER temperature 0.8

# 构建模型
ollama create my-model -f Modelfile

# 运行自定义模型
ollama run my-model

三、使用 Hugging Face 部署

安装依赖

pip install transformers torch accelerate

加载模型

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型
model_name = "gpt2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 生成文本
prompt = "Hello, how are you?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))

四、GPU 加速配置

安装 CUDA

# 查看系统架构
uname -m && cat /etc/*release

# 安装 NVIDIA 驱动
sudo apt-get install nvidia-driver-535

# 安装 CUDA Toolkit
wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run
sudo sh cuda_12.2.0_535.54.03_linux.run

验证 CUDA

nvidia-smi
nvcc --version

使用 GPU 运行模型

import torch

# 检查 GPU 是否可用
device = "cuda" if torch.cuda.is_available() else "cpu"
print(f"Using device: {device}")

# 将模型移到 GPU
model = model.to(device)

五、部署为 API 服务

使用 FastAPI

pip install fastapi uvicorn

from fastapi import FastAPI
from transformers import pipeline

app = FastAPI()
generator = pipeline("text-generation", model="gpt2")

@app.post("/generate")
def generate_text(prompt: str):
    result = generator(prompt, max_length=100)
    return {"text": result[0]["generated_text"]}

启动服务

uvicorn main:app --host 0.0.0.0 --port 8000

六、常见问题

内存不足

# 增加交换空间
sudo fallocate -l 8G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

模型下载慢

# 设置 Hugging Face 镜像
export HF_ENDPOINT=https://hf-mirror.com

七、总结

在 Linux 环境下部署 AI 模型已经变得越来越简单。无论是使用 Ollama 这样的工具，还是直接使用 Hugging Face，都可以快速构建自己的 AI 应用。

Linux 部署 AI 模型实践

相关文章