最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
并发控制在50左右：性能还是可以
时间：2026-07-25 10:27:51 编辑：袖梨 来源：一聚教程网
四台相同配置的服务器同样的脚本进行测试。
vllm bench serve --port 7000 --model /models --served-model-name ds --dataset-name random --random-input 200 --random-output 2048 --num-prompts 300 --request-rate 0.5 --max-concurrency 50 --save-result --result-dir ./result_optimized
一号机
二号机
三号机，并发跑到54后P99就飙升了。
四号机，并发高一个，TTFT和P99上升严重。
