最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
并发控制在50左右：性能还是可以
时间：2026-07-25 10:27:51 编辑：袖梨 来源：一聚教程网
四台相同配置的服务器同样的脚本进行测试。
vllm bench serve --port 7000 --model /models --served-model-name ds --dataset-name random --random-input 200 --random-output 2048 --num-prompts 300 --request-rate 0.5 --max-concurrency 50 --save-result --result-dir ./result_optimized
一号机
二号机
三号机，并发跑到54后P99就飙升了。
四号机，并发高一个，TTFT和P99上升严重。
相关文章
- 剪映AI写咖啡店探店视频提示词怎样防止内容发散-剪映AI写咖啡店探店视频提示词如何避免内容不聚焦 07-25
- 有道卡搭app如何导出作品 07-25
- 国家数字图书馆免费入口地址在哪里-国家数字图书馆官网首页是哪个 07-25
- 如何在office2019中启用宏-office2019宏启用步骤 07-25
- 新东方雅思app课程怎么查找 07-25
- acdsee怎样快速去除重复图片 07-25