【[15星]llm-ie-benchmarks:提供公平且可复现的推理引擎基准测试工具。亮点:1. 支持在相同硬件上比较不同推理引擎;2. 使用SkyPilot YAML确保一致的基础设施部署;3. 提供详细的日志记录和性能对比数据】
'LLM Inference Engine Benchmarks: fair and reproducible one-line commands to compare different inference engines on identical hardware'
GitHub: github.com/Michaelvll/llm-ie-benchmarks
推理引擎 基准测试 SkyPilot AI创造营