ONNX Runtime：跨平台的高性能机器学习推理与训练加速器

简介：
ONNX Runtime是一款高效的执行工具，专为提升机器学习模型的推理和训练速度设计，支持多种平台无缝运行。 ONNX Runtime 是一个跨平台的推理与训练加速器，并且兼容多种流行的机器学习/深度神经网络框架，如 PyTorch、TensorFlow/Keras 和 scikit-learn 等。 许多用户可以从 ONNX Runtime 中获益，包括那些希望： 1. 提升各种 ML 模型的推断性能； 2. 减少大规模模型训练的时间和成本； 3. 使用 Python 进行培训但可以部署到 C# / C++ / Java 应用程序中； 4. 在不同的硬件及操作系统上运行； 5. 利用多个不同框架创建的支持模型。 自 2019 年 10 月以来，API 已经稳定并投入生产使用，从而实现了更快的客户体验和更低的成本。在预览阶段（2020年5月），引入了支持在多节点 NVIDIA GPU 上加速 PyTorch 训练的功能以针对变压器模型。 关于如何开始使用推断，请参阅文档中的不同版本组合指令说明。 ONNX Runtime 支持基于标准格式的模型，兼容包括但不限于 PyTorch、scikit-learn 和 TensorFlow 等框架和工具。从 ONNX v1.2.1 开始，ONNX Runtime 成为了最新版，并且持续更新以支持更多功能。