使用阿里云GPU服务器部署DeepSeek-V4-Pro全流程保姆级教程

DeepSeek-V4 是 DeepSeek 全新系列大模型，首次将 百万字（1M）超长上下文作为所有官方服务的标配，在 Agent 能力、世界知识和推理性能上均实现国内与开源领域的领先。本方案阿小云分享阿里云官网如何在阿里云 GPU 云服务器上，通过 vLLM 框架高效部署 DeepSeek-V4-Pro。阿里云 GPU 计算资源提供强大硬件支持，确保模型处理大规模数据时保持高性能和稳定性。部署预估费用1600元。

GPU服务器部署DeepSeek方案架构

本方案采用专有网络 VPC 及交换机，确保数据传输安全与网络可靠性，实现资源有效隔离和安全管理。我们利用 Ray Cluster 来实现高效的分布式计算，支持 vLLM 推理服务的部署以及大规模模型的加载。完成部署后，将在阿里云平台上构建一个稳定且可扩展的运行环境，如架构图所示。实际部署过程中，用户可以根据自身资源规划情况对配置进行适当调整，但最终建立的运行环境将基本保持与示意图一致的架构。

本方案的技术架构包括以下基础设施和云服务：

基础设施和云服务

说明

1 个专有网络 VPC

构建云上私有网络。

1 个交换机

提供基本的网络分段和隔离功能。

1 个安全组

用于限制专有网络 VPC 下云服务器 ECS 的网络流入和流出规则。

2 台 GPU 云服务器

用于部署模型，并提供推理服务。

","rows":5,"cols":2,"id":"oeCvp"}">

开始部署前，请按以下指引完成账号申请、账号充值等准备工作。

一、准备账号

1、如果您还没有阿里云账号，请访问 阿里云账号注册页面 ，根据页面提示完成注册。阿里云账号是您使用云资源的付费实体，因此是部署方案的必要前提。

2、为阿里云账号充值。本方案的云资源支持按量付费，且默认设置均采用按量付费引导操作。如果确定任何一个云资源采用按量付费方式部署，账户余额都必须大于等于100元。

二、部署资源（VPC、安全组、云服务器ECS）

1、创建专有网络 VPC 和交换机

创建专有网络 VPC 和交换机，为云服务器 ECS 实例构建云上的私有网络。

登录专有网络管理控制台。
在顶部菜单栏，选择预购买 GPU 服务器地域。
在左侧导航栏，单击专有网络。
在专有网络页面，单击创建专有网络。
在创建专有网络页面，配置 1 个专有网络和 1 台交换机。配置交换机时，请确保交换机所属的可用区的 ECS 处于可用状态。

项目

说明

示例值

VPC 名称

建议您在部署过程中新建一个 VPC 作为本方案的专有网络。部署过程中填写 VPC 名称即可创建对应名称的 VPC。

DeepSeek-V4

IPv4 网段

在创建 VPC 时，您必须按照无类域间路由块（CIDR block）的格式为您的专有网络划分私网网段。阿里云 VPC 支持的网段信息请参见专有网络组成部分。

192.168.0.0/16

交换机名称

建议您在部署过程中在新建的 VPC 内创建虚拟交换机。部署过程中填写交换机名称即可创建对应名称的虚拟交换机。

DeepSeek-V4

可用区

建议选择排序靠后的，一般此类可用区较新。新可用区资源更充沛，新规格也会在新的可用区优先上线。

预购买 GPU 服务器可用区

","margin":false,"hideBorder":false,"id":"30On1"}">

2、创建安全组

创建 1 个安全组，用于限制该专有网络 VPC 下交换机的网络流入和流出。

登录ECS 管理控制台。
在左侧导航栏，选择网络与安全>安全组。
在顶部菜单栏，选择预购买 GPU 服务器地域。
在安全组页面，单击创建安全组。
在创建安全组页面，创建 1 个安全组。

项目

说明

示例值

名称

设置安全组的名称。

DeepSeek-V4

网络

选择之前规划的专有网络 VPC。

DeepSeek-V4

安全组类型

本方案用于为个人用户或组织的基础场景提供网络访问控制，建议您选择普通安全组。

普通安全组

入方向

本方案需要确保 22、8000 端口号开启。

22、8000

","rows":5,"cols":3,"id":"v7SaN"}">

3、创建云服务器 ECS

接下来，您需要创建 1 个云服务器 ECS 实例，临时下模型，后续再同步给 GPU 云服务器。

登录ECS 管理控制台。
在顶部菜单栏，选择预购买 GPU 服务器地域。
在左侧导航栏，选择实例与镜像 > 实例。
在实例页面，单击创建实例。
下表中未说明的参数，在本方案中可使用默认值。

项目

说明

示例值

付费类型

付费类型影响实例的计费和收费规则。ECS 计费的详细信息请参见计费方式概述。

按量付费

地域

实例所在地域。

选择预购买 GPU 服务器地域。

网络及可用区

选择默专有网络 VPC 和交换机。

分别选择 DeepSeek-V4

实例

ECS 的实例规格及内核、vCPU 数量。

ecs.c6a.large（2 vCPU 4 GiB）

镜像

ECS 的操作系统镜像，为 ECS 实例提供操作系统、预装软件等。

在公共镜像中选择 Alibaba Cloud Linux

镜像的版本。

Alibaba Cloud Linux 3.2104 LTS 64位

系统盘类型

硬盘类型。

ESSD 云盘

系统盘容量

硬盘容量。

2000 GiB

公网 IP

勾选分配公网 IPv4 地址，用于从公网拉取镜像和模型，并对外提供 API 服务。

分配公网 IPv4 地址

带宽计费模式

由于本方案为解决方案示例，因此选择按使用流量，以节省流量成本。

按使用流量

带宽峰值

本方案以 100 Mbps 为例。

100 Mbps

安全组

使用之前创建的安全组。选择已有安全组。

DeepSeek-V4

管理设置

选择设置自定义密码，方便后续登录机器安装服务环境。

自定义密码

","margin":false,"hideBorder":false,"id":"cmd5k"}">

三、下载模型

1、登录ECS管理控制台，在实例页面，找到前面步骤所创建的 ECS 实例。

在右侧操作列，单击远程连接，并选择通过Workbench远程连接。根据页面提示登录，进入终端页面。具体操作请参见：使用Workbench登录ECS实例。

2、执行以下命令完成工具安装

3、执行以下命令创建一个 tmux session

说明：下载模型耗时较长，建议在 tmux session 中启动部署，以免 ECS 断开连接导致下载中断。

4、执行以下命令，切换到模型下载目录

5、执行以下命令，从 ModelScope 拉取项目

6、项目拉取完成后，执行以下命令，进入项目目录

7、执行以下命令，开始下载模型

说明：模型总大小约 866 GB，以 12 MB/s 下载速度计算，预计耗时约 20 小时（受网络波动影响，实际约 18~24 小时）。 

四、创建 GPU 资源

接下来您需要创建两台 GPU 云服务器，然后分别在两台服务器上完成环境的初始化。

1、创建GPU云服务器

登录ECS 管理控制台。
在左侧导航栏，选择实例与镜像 > 实例。
在实例页面，单击创建实例。
下表中未说明的参数，在本方案中可使用默认值。

项目

说明

示例值

付费类型

付费类型影响实例的计费和收费规则。

按量付费

地域

实例所在地域。

华北2（北京）

网络及可用区

选择默专有网络 VPC 和交换机。

分别选择 DeepSeek-V4

实例

ECS 的实例规格及内核、vCPU 数量。

ecs.ebmgn8v.48xlarge

镜像

ECS 的操作系统镜像，为 ECS 实例提供操作系统、预装软件等。

在公共镜像中选择 Alibaba Cloud Linux

镜像的版本。

Alibaba Cloud Linux 3.2104 LTS 64位

勾选安装 GPU 驱动。

CUDA 版本 12.8.1 / Driver 版本 570.133.20 / CUDNN 版本 9.8.0.87

系统盘类型

硬盘类型。

ESSD 云盘

系统盘容量

硬盘容量。

100 GiB

数据盘

单击添加数据盘，并设置容量。

1000 GiB

注：模型文件预计占用 800 GiB以上的容量。

公网 IP

勾选分配公网 IPv4 地址，用于从公网拉取镜像和模型，并对外提供 API 服务。

分配公网 IPv4 地址

带宽计费模式

由于本方案为解决方案示例，因此选择按使用流量，以节省流量成本。

按使用流量

带宽峰值

本方案以 100 Mbps 为例。

100 Mbps

安全组

使用之前创建的安全组。选择已有安全组。

DeepSeek-V4

管理设置

选择设置自定义密码，方便后续登录机器安装服务环境。

自定义密码

","margin":false,"hideBorder":false,"id":"InBdu"}">

2、初始化环境

1、远程连接云服务器ECS：

登录ECS管理控制台，在实例页面，找到前面步骤所创建的 ECS 实例。
在右侧操作列，单击远程连接，并选择通过Workbench远程连接。
使用自定义密码，通过密码认证的方式进行登录。

2、等待GPU驱动安装完成。首次登录时系统将自动安装 GPU 驱动（约15分钟）。

如果界面没有显示安装进展，您也可以执行nvidia-smi命令确认驱动是否安装完成。如果执行后出现报错，请尝试执行以下命令重新安装 GPU 驱动。

3、驱动安装/重载完成后，系统服务会重启，将导致当前会话中断，这是正常现象。请重新连接实例。

4、初始化数据盘，运行以下命令列出所有磁盘及其大小，请根据容量（如 1000 GiB）识别你的数据盘设备名。本示例中，1000 GiB 数据盘的设备名为/dev/nvme1n1

安装e2fsprogs工具以支持创建文件系统：

为数据盘（本示例为/dev/nvme1n1，按实际替换）创建ext4文件系统：

将数据盘（本示例为/dev/nvme1n1，按实际替换）挂载到/mnt目录：

检查挂载结果是否符合预期

五、同步模型

接下来您需要同步 ECS 实例中的模型到两台 GPU 云服务器。

1、分别在两台 GPU 云服务器上执行以下命令，安装文件同步工具。

2、然后在普通 ECS 实例中执行以下命令，完成两台 GPU 云服务器的模型同步。

六、部署 Ray Cluster

Ray 是一个开源分布式计算框架，专注于并行计算与资源调度。在大语言模型部署场景中，Ray 通过动态扩缩容和多节点协同，显著提升推理效率。其架构由主节点统一调度任务与管理资源，工作节点负责执行计算，节点间通过 RPC 通信与分布式对象存储实现高效协作。

1、分别在两台 GPU 的 ECS 控制台中执行以下命令，完成初始化环境安装。

2、分别在两台 GPU 的 ECS 控制台中执行以下命令配置 Ray 集群。选择其中一台 GPU 服务器作为主节点：

在服务器上执行以下脚本，注意替换两个<主节点IP>为服务器私有 IP，替换<MODEL PATH>为真实的模型所在目录：

nNODE_ADDRESS=<主节点IP> nNODE_TYPE=--head nMODEL_PATH= n/bin/bash -c "$(curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/run_cluster.sh)"","heightLimit":true,"margin":true,"id":"K0our"}">

执行以下命令查看启动日志：

输出结果如下图所示：

3、选择另一台 GPU 服务器作为工作节点（节点扩容）

在服务器上执行以下脚本，注意分别替换<主节点IP>和<工作节点IP>为主节点和工作节点服务器私有 IP，替换<MODEL PATH>为真实的模型所在目录：

nNODE_ADDRESS=<工作节点IP> nNODE_TYPE=--worker nMODEL_PATH= n/bin/bash -c "$(curl -fsSL https://help-static-aliyun-doc.aliyuncs.com/install-script/deepseek-v4/run_cluster.sh)"","heightLimit":true,"margin":true,"id":"lF8L8"}">

执行以下命令查看启动日志：

输出结果如下图所示：

4、查看 Ray 集群状态

待启动完成后，可以在任意节点执行以下命令查看 Ray 集群状态：

正常启动后 Ray 集群状态如下图所示

六、启动推理服务

1、在主节点服务器上执行以下命令启动 vLLM 推理服务

输出如下图所示，复制 vLLM API TOKEN 值 ：

2、执行以下命令查看服务日志

3、等待模型加载完成后即可进行 API 调用

七、方案验证

1、通过 curl 调用模型

在 Workbench 中开启一个新的终端会话，输入以下命令，等待模型输出。说明：请将以下代码中的 <vLLM API TOKEN > 替换为前面步骤获取的真实值。

" n-d '{n"model": "DeepSeek-V4-Pro",n"messages": [n {"role": "system", "content": "You are a helpful assistant."},n {"role": "user", "content": "好久不见～"}n]n}'","heightLimit":true,"margin":true,"id":"GzLMN"}">

2、使用 Chatbox 调用模型

1、访问 Chatbox 下载地址下载并安装客户端，本方案以 macOS M5 为例。

2、运行并配置 vLLM API ，单击设置

3、在设置页面的左侧导航中，选择模型提供方，然后单击下方的添加按钮，按照如下表格进行配置。

项目

说明

示例值

模型提供方

下拉选择模型提供方。

添加自定义提供方

名称

填写定义模型提供方名称。

vLLM API

API 模式

选择 API 模式。

OpenAl API兼容

API 密钥

填写模型服务调用 API 密钥。

前面步骤获取的调用信息，vLLM API TOKEN

API 主机

填写模型服务调用地址。

http://<ECS公网IP>:8000

API 路径

填写 API 路径。

/v1/chat/completions

网络兼容性

点击开启改善网络兼容性

开启

模型

单击模型右侧的新建，完成模型添加。

说明

模型ID：

DeepSeek-V4-Pro

显示名称：

DeepSeek-V4-Pro

模型类型：聊天

能力：推理

上下文窗口：1000000

最大输出Token数：4096

DeepSeek-V4-Pro

","margin":false,"hideBorder":false,"id":"BW4ZF"}">

4、保存配置信息后，即可回到聊天页面，选择刚刚配置的模型进行对话。

八、清理资源

若不用于生产环境，建议在体验后按提示清理资源，避免继续产生费用。

释放云服务器ECS实例：
登录ECS管理控制台，在实例页面，找到目标实例，然后在操作列选择>释放，根据界面提示释放实例。
删除安全组：
登录ECS管理控制台，在安全组页面，找到目标安全组，然后在操作列单击删除，按照界面提示删除安全组。
删除交换机：
登录专有网络控制台，在交换机页面，找到目标交换机，然后在操作列单击删除，按照界面提示删除交换机。
释放专有网络VPC：
登录专有网络控制台，在专有网络页面，找到目标VPC，然后在操作列单击删除，按照界面提示释放专有网络VPC。