【[15星]llm-ie-benchmarks:提供公平且可复现的推理引擎基准测

爱生活爱珂珂 2025-04-22 20:54:05

【[15星]llm-ie-benchmarks:提供公平且可复现的推理引擎基准测试工具。亮点:1. 支持在相同硬件上比较不同推理引擎;2. 使用SkyPilot YAML确保一致的基础设施部署;3. 提供详细的日志记录和性能对比数据】

'LLM Inference Engine Benchmarks: fair and reproducible one-line commands to compare different inference engines on identical hardware'

GitHub: github.com/Michaelvll/llm-ie-benchmarks

推理引擎 基准测试 SkyPilot AI创造营

0 阅读:0
爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注