最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
并发控制在50左右：性能还是可以
时间：2026-07-25 10:27:51 编辑：袖梨 来源：一聚教程网
四台相同配置的服务器同样的脚本进行测试。
vllm bench serve --port 7000 --model /models --served-model-name ds --dataset-name random --random-input 200 --random-output 2048 --num-prompts 300 --request-rate 0.5 --max-concurrency 50 --save-result --result-dir ./result_optimized
一号机
二号机
三号机，并发跑到54后P99就飙升了。
四号机，并发高一个，TTFT和P99上升严重。
相关文章
- 漫蛙漫画官方入口-漫蛙漫画在线免费观看官网 10-27
- poki小游戏在线入口-poki免费游戏大全 10-27
- 豆包网页版入口官网-豆包官网网址入口 10-27
- 红果短剧官网在线入口-红果剧场高清网页版下载观看 10-27
- 剪映网页版登录-剪映官网入口直达 10-27
- 即梦官网网页版入口-即梦AI官方登录入口 10-27