OpenVINO 2025.4#

OpenVINO GenAI

简化 GenAI 模型部署！
查看我们的指南
Hugging Face 上的 OpenVINO 模型！

获取预优化 OpenVINO 模型，无需转换！
访问 Hugging Face
OpenVINO 模型中心

查看顶级 AI 模型的性能基准测试！
立即探索
通过 PyTorch 2.0 torch.compile() 使用 OpenVINO

在 PyTorch 原生应用程序中直接使用 OpenVINO！
了解更多

OpenVINO 是一个开源工具包，用于在云端、本地和边缘部署高性能 AI 解决方案。使用最流行的模型框架开发您的应用程序，支持生成式和传统 AI 模型。利用 Intel® 硬件的全部潜力进行转换、优化和运行推理。OpenVINO 有三个主要工具，可以满足您的所有部署需求

OpenVINO GenAI

运行和部署生成式 AI 模型

OpenVINO 基本包

运行和部署传统 AI 模型

OpenVINO 模型服务器

在服务器上部署生成式和传统 AI 推理

为了快速入门，请查看 OpenVINO 工具包快速入门指南 [PDF] 和 OpenVINO GenAI 快速入门指南 [PDF]

从哪里开始#

安装

本指南介绍了 Intel® Distribution of OpenVINO™ 工具包的安装和学习材料。

性能基准测试

查看 OpenVINO 和 OpenVINO 模型服务器的最新基准测试数据。

框架兼容性

直接加载模型（适用于 TensorFlow、ONNX、PaddlePaddle）或转换为 OpenVINO 格式。

轻松部署

只需几行代码即可开始使用。

规模化服务

为微服务应用程序提供云就绪的部署。

模型压缩

使用 NNCF 进行训练后和训练时压缩，以获得更高的性能。

模型压缩

您可以直接链接到 OpenVINO Runtime 以在本地运行推理，也可以使用 OpenVINO 模型服务器从单独的服务器或 Kubernetes 环境中提供模型推理。

快速且可扩展的部署

一次编写应用程序，在任何地方部署，从而从硬件获得最大性能。自动设备发现可实现卓越的部署灵活性。OpenVINO Runtime 支持 Linux、Windows 和 MacOS，并提供 Python、C++ 和 C API。使用您喜欢的语言和操作系统。

更轻量级的部署

采用最少的外部依赖项进行设计，可减少应用程序占用空间，简化安装和依赖项管理。流行的软件包管理器可以轻松安装和升级应用程序依赖项。为您的特定模型(s)进行自定义编译，进一步减小最终二进制文件的大小。

增强的应用程序启动时间

在需要快速启动的应用程序中，OpenVINO 通过使用 CPU 进行初始推理，然后在模型编译并加载到内存后切换到另一个设备，从而显著减少首次推理延迟。编译后的模型会被缓存，从而进一步提高启动时间。