openvino

딥러닝 모델을 최적화하고 배포하기 위한 오픈소스 소프트웨어 툴킷입니다.

문서 • 블로그 • 주요 기능 • 튜토리얼 • 통합 • 벤치마크 • 생성형 AI

추론 최적화: 컴퓨터 비전, 자동 음성 인식, 생성형 AI, 대규모 및 소규모 언어 모델을 활용한 자연어 처리 등 다양한 일반 작업에서 딥러닝 성능을 향상시킵니다.
유연한 모델 지원: PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax 등 인기 프레임워크로 학습된 모델을 사용할 수 있습니다. Optimum Intel을 통해 Hugging Face Hub의 transformers 및 diffusers로 구축된 모델을 직접 통합할 수 있습니다. 원본 프레임워크 없이도 모델을 변환하고 배포할 수 있습니다.
폭넓은 플랫폼 호환성: 리소스 요구량을 줄이고 엣지부터 클라우드까지 다양한 플랫폼에 효율적으로 배포할 수 있습니다. OpenVINO™는 CPU(x86, ARM), GPU(Intel 통합 및 개별 GPU), AI 가속기(Intel NPU)에서의 추론을 지원합니다.
커뮤니티 및 생태계: 다양한 분야에서 딥러닝 성능 향상에 기여하는 활발한 커뮤니티에 참여하세요.

빠른 참고를 위해 OpenVINO Cheat Sheet와 주요 기능을 확인하세요.

설치
선호하는 OpenVINO 배포판을 받거나 다음 명령으로 빠르게 설치하세요:

pip install -U openvino
설치 확인
설치 후 다음을 실행하여 OpenVINO가 올바르게 설치되었는지 확인할 수 있습니다:

import openvino as ov
print ( ov . __version__ )
자세한 내용은 시스템 요구 사항과 지원되는 디바이스를 확인하세요.

튜토리얼 및 예제
OpenVINO Quickstart 예제에서 첫 모델 배포의 기본 사항을 안내합니다.

OpenVINO Notebooks 📚를 통해 인기 모델을 최적화하고 배포하는 방법을 알아보세요:

OpenVINO를 사용한 LLM 기반 챗봇 만들기
YOLOv11 최적화
텍스트-이미지 생성
LLaVa와 OpenVINO를 활용한 멀티모달 어시스턴트
Whisper와 OpenVINO를 사용한 자동 음성 인식

OpenVINO Samples(Python & C++)와 Notebooks(Python)에서 더 많은 예제를 확인하세요.

다음은 OpenVINO를 사용하여 PyTorch 및 TensorFlow 모델 추론을 실행하는 방법을 보여주는 따라 하기 쉬운 코드 예제입니다:

PyTorch 모델

import openvino as ov
import torch
import torchvision

# PyTorch 모델을 메모리에 로드
model = torch . hub . load ( "pytorch/vision" , "shufflenet_v2_x1_0" , weights = "DEFAULT" )

# 모델을 OpenVINO 모델로 변환
example = torch . randn ( 1 , 3 , 224 , 224 )
ov_model = ov . convert_model ( model , example_input = ( example ,))

# CPU 디바이스용으로 모델 컴파일
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# 랜덤 데이터로 모델 추론
output = compiled_model ({ 0 : example . numpy ()})
TensorFlow 모델

import numpy as np
import openvino as ov
import tensorflow as tf

# TensorFlow 모델을 메모리에 로드
model = tf . keras . applications . MobileNetV2 ( weights = 'imagenet' )

# 모델을 OpenVINO 모델로 변환
ov_model = ov . convert_model ( model )

# CPU 디바이스용으로 모델 컴파일
core = ov . Core ()
compiled_model = core . compile_model ( ov_model , 'CPU' )

# 랜덤 데이터로 모델 추론
data = np . random . rand ( 1 , 224 , 224 , 3 )
output = compiled_model ({ 0 : data })
OpenVINO는 CPU, GPU, NPU 디바이스를 지원하며 PyTorch, TensorFlow, ONNX, TensorFlow Lite, PaddlePaddle, JAX/Flax 프레임워크의 모델과 함께 작동합니다. C++, Python, C, NodeJS의 API를 포함하며, 최적화된 모델 파이프라인과 성능을 위한 GenAI API를 제공합니다.

OpenVINO를 활용한 생성형 AI
OpenVINO GenAI 설치로 시작하고 상세 가이드를 참고하여 OpenVINO를 활용한 생성형 AI의 기능을 살펴보세요.

OpenVINO™ GenAI 리포지토리의 Samples에서 LLM 및 GenAI를 실행하는 방법을 알아보세요. Jupyter 노트북으로 GenAI를 실제로 확인해 보세요: LLM 기반 챗봇 및 LLM 명령 수행 파이프라인.

문서
사용자 문서에는 OpenVINO에 대한 상세 정보와 설치부터 AI 애플리케이션을 위한 모델 최적화 및 배포까지 안내하는 내용이 담겨 있습니다.

개발자 문서는 OpenVINO 아키텍처에 초점을 맞추고 빌드 및 기여 프로세스를 설명합니다.

OpenVINO 생태계
OpenVINO 도구

Neural Network Compression Framework (NNCF) - 양자화 및 희소성을 포함한 고급 모델 최적화 기법.
GenAI 리포지토리 및 OpenVINO Tokenizers - 생성형 AI 애플리케이션 개발 및 최적화를 위한 리소스와 도구.
OpenVINO™ Model Server (OVMS) - Intel 아키텍처에 최적화된 모델을 서빙하기 위한 확장 가능한 고성능 솔루션.
Intel® Geti™ - 컴퓨터 비전 사용 사례를 위한 대화형 비디오 및 이미지 주석 도구.

통합

🤗Optimum Intel - Hugging Face API 내에서 OpenVINO를 활용하는 모델을 가져와 사용하세요.
Torch.compile - 코드를 최적화된 커널로 JIT 컴파일하여 Python 네이티브 애플리케이션에 OpenVINO를 사용하세요.
ExecuTorch - ExecuTorch와 OpenVINO를 함께 사용하여 AI 모델을 효율적으로 최적화하고 실행하세요.
vLLM을 활용한 OpenVINO LLM 추론 및 서빙 - OpenVINO 백엔드로 vLLM의 빠르고 쉬운 모델 서빙을 강화하세요.
ONNX Runtime용 OpenVINO Execution Provider - 기존 ONNX Runtime 코드에서 OpenVINO를 백엔드로 사용하세요.
LLMWare - 100개 이상의 추론 준비 완료된 OpenVINO 최적화 SLM을 사용하여 엔터프라이즈 AI 앱, 에이전틱 워크플로, RAG 파이프라인, 멀티모달 사용 사례 등을 원활하게 구축하세요.
LlamaIndex - LlamaIndex 프레임워크로 컨텍스트 증강 GenAI 애플리케이션을 구축하고 OpenVINO로 런타임 성능을 향상시키세요.
LangChain - OpenVINO를 LangChain 프레임워크와 통합하여 GenAI 애플리케이션의 런타임 성능을 향상시키세요.
Keras 3 - Keras 3는 멀티 백엔드 딥러닝 프레임워크입니다. 사용자는 Keras API를 사용하여 모델 추론을 OpenVINO 백엔드로 전환할 수 있습니다.

Awesome OpenVINO 리포지토리에서 OpenVINO 기반의 커뮤니티 제작 AI 프로젝트 모음을 확인하세요!

성능
OpenVINO 성능 벤치마크를 살펴보고 검증된 데이터를 바탕으로 최적의 하드웨어 구성을 찾아 AI 배포를 계획하세요.

기여 및 지원
자세한 내용은 기여 가이드라인을 확인하세요.
기여를 시작할 곳을 찾고 있다면 Good First Issues 섹션을 읽어보세요. 모든 종류의 기여를 환영합니다!

다음에서 질문하고 지원을 받을 수 있습니다:

GitHub Issues.
Intel DevHub Discord 서버의 OpenVINO 채널.
Stack Overflow*의 openvino 태그.

리소스

릴리스 노트
OpenVINO 블로그
Medium의 OpenVINO™ 툴킷

텔레메트리
OpenVINO™는 OpenVINO™ 도구 개선을 목적으로 소프트웨어 성능 및 사용 데이터를 수집합니다.
이 데이터는 OpenVINO™가 직접 또는 Google Analytics 4를 통해 수집합니다.
다음 명령을 실행하여 언제든지 옵트아웃할 수 있습니다:

opt_in_out --opt_out
자세한 내용은 OpenVINO™ 텔레메트리에서 확인할 수 있습니다.

라이선스
OpenVINO™ 툴킷은 Apache License Version 2.0에 따라 라이선스가 부여됩니다.
프로젝트에 기여함으로써 귀하는 해당 라이선스 및 저작권 조건에 동의하고 이러한 조건에 따라 기여를 공개하는 데 동의합니다.

* 다른 이름과 브랜드는 해당 소유자의 자산으로 주장될 수 있습니다.