TensorRT-LLM

TensorRT LLM
TensorRT LLM은 일반적인 연산을 위한 특화된 커널, 효율적인 런타임, 그리고 시스템을 커스터마이즈하고 확장할 수 있게 해주는 파이썬 기반 프레임워크를 통해 LLM 및 Visual Gen 모델의 추론을 최적화합니다.

Architecture | Performance | Examples | Documentation | Roadmap

기술 블로그

[10/14] TensorRT LLM의 KV Cache 압축
✨ ➡️ link

[09/22] GVR V2: 더 빠른 정확한 Top-K를 위한 자기 샘플링 및 다중 임계값
✨ ➡️ link

[09/02] TensorRT-LLM에서 GEMM 양자화, 어텐션 양자화 및 Skip Softmax Attention을 통한 비디오 생성 가속화
✨ ➡️ link

[08/20] Trace Replay 및 작업 수준 메트릭을 통한 에이전틱 서빙 평가
✨ ➡️ link

[07/17] NVIDIA Blackwell의 DeepSeek-V4: TensorRT LLM의 모델별 및 에이전틱 워크로드 최적화
✨ ➡️ link

[07/01] TensorRT-LLM을 통한 NVL72 랙 전반의 비디오 생성 확장
✨ ➡️ link

[05/15] 에이전트 애플리케이션과 TensorRT-LLM의 공동 최적화
✨ ➡️ link

[04/03] 더 높은 출력 처리량을 위한 CUDA Graph 배치 크기 튜닝
✨ ➡️ link

[04/03] DWDP: NVL72에서 고성능 LLM 추론을 위한 분산 가중치 데이터 병렬화
✨ ➡️ link

[03/16] NVLink를 통한 단방향 AlltoAll로 MoE 통신 최적화
✨ ➡️ link

[03/04] TensorRT LLM의 Sparse Attention
✨ ➡️ link

[02/06] Skip Softmax Attention을 통한 긴 컨텍스트 추론 가속화
✨ ➡️ link

[01/09] NVIDIA Blackwell GPU에서 DeepSeek-V3.2 최적화
✨ ➡️ link

이전 블로그
* [10/13] TensorRT LLM의 Expert Parallelism 확장 (Part 3: 성능 한계 돌파)
✨ [➡️ link]( https://nvidia.github.io/TensorRT-LLM/blogs/tech_blog/blog14_Scaling_Expert_Parallelism_in_TensorRT-LLM_part3.html )

[09/26] TensorRT LLM의 추론 시간 컴퓨트 구현
✨ ➡️ link

[09/19] Guided Decoding과 Speculative Decoding의 결합: CPU와 GPU의 원활한 협력 구현
✨ ➡️ link

[08/29] ADP 밸런스 전략
✨ ➡️ link

[08/05] TensorRT LLM으로 고성능 GPT-OSS-120B 추론 서버 실행하기
✨ ➡️ link

[08/01] TensorRT LLM의 Expert Parallelism 확장 (Part 2: 성능 현황 및 최적화)
✨ ➡️ link

[07/26] TensorRT LLM의 N-Gram Speculative Decoding
✨ ➡️ link

[06/19] TensorRT LLM의 분리형 서빙
✨ ➡️ link

[06/05] TensorRT LLM의 Expert Parallelism 확장 (Part 1: 대규모 EP의 설계 및 구현)
✨ ➡️ link

[05/30] NVIDIA Blackwell GPU에서 DeepSeek R1 처리량 최적화: 개발자를 위한 심층 분석
✨ ➡️ link

[05/23] DeepSeek R1 MTP 구현 및 최적화
✨ ➡️ link

[05/16] 지연 시간 한계 돌파: NVIDIA B200 GPU에서 DeepSeek-R1 성능 최적화
✨ ➡️ link

최신 뉴스

[04/03] 🎨 TensorRT LLM이 이제 비주얼 생성을 위한 디퓨전 모델을 지원합니다 ➡️ link

이전 뉴스

[08/05] 🌟 TensorRT LLM이 OpenAI의 최신 오픈 웨이트 모델에 대한 Day-0 지원을 제공합니다: GPT-OSS-120B ➡️ link 및 GPT-OSS-20B ➡️ link

[07/15] 🌟 TensorRT LLM이 LG AI Research의 최신 모델인 EXAONE 4.0에 대한 Day-0 지원을 제공합니다 ➡️ link

[05/22] Blackwell이 Meta의 Llama 4 Maverick으로 1,000 TPS/사용자 장벽을 돌파하다
✨ ➡️ link

[04/10] TensorRT LLM DeepSeek R1 성능 벤치마킹 모범 사례가 공개되었습니다.
✨ ➡️ link

[04/05] TensorRT LLM은 B200 GPU에서 Llama 4를 초당 40,000 토큰 이상으로 실행할 수 있습니다!

[03/22] TensorRT LLM이 이제 완전히 오픈소스화되었으며, 개발이 GitHub로 이전되었습니다!

[03/18] 🚀🚀 NVIDIA Blackwell이 TensorRT LLM으로 세계 기록의 DeepSeek-R1 추론 성능을 달성합니다 ➡️ Link

[02/28] 🌟 NAVER Place가 TensorRT LLM으로 SLM 기반 버티컬 서비스를 최적화합니다 ➡️ Link

[02/25] 🌟 DeepSeek-R1 성능이 이제 Blackwell에 최적화되었습니다 ➡️ Link

[02/20] 비즈니스를 위한 뛰어난 정확도, 높은 처리량, 낮은 지연 시간을 최저 비용으로 달성하는 완벽한 가이드를 여기에서 확인하세요 .

[02/18] @AWS EKS에서 오토스케일링으로 #LLM 추론을 활용하세요 ✨ ➡️ link

[02/12] 🦸⚡ DeepSeek-R1과 추론 시간 스케일링을 통한 GPU 커널 생성 자동화
➡️ link

[02/12] 🌟 스케일링 법칙이 어떻게 더 스마트하고 강력한 AI를 이끄는가
➡️ link

[2025/01/25] Nvidia, AI 초점을 추론 비용과 효율성으로 전환 ➡️ link

[2025/01/24] 🏎️ NVIDIA 풀스택 솔루션으로 AI 추론 성능 최적화 ➡️ link

[2025/01/23] 🚀 빠르고 저비용의 추론이 수익성 있는 AI의 핵심을 제공 ➡️ link

[2025/01/16] TensorRT LLM의 새로운 KV Cache 재사용 최적화 소개 ➡️ link

[2025/01/14] 📣 Bing의 LLM/SLM 모델 전환: TensorRT LLM으로 검색 최적화 ➡️ link

[2025/01/04] ⚡TensorRT LLM Speculative Decoding으로 Llama 3.3 70B 추론 처리량을 3배 향상
➡️ link

[2024/12/10] ⚡ AI at Meta의 Llama 3.3 70B가 TensorRT-LLM으로 가속화됩니다. 🌟 추론, 수학, 명령 수행 및 도구 사용에서 Llama 3.1 405B에 필적하는 최첨단 모델. 프리뷰 살펴보기
➡️ link

[2024/12/03] 🌟 AI 추론 처리량을 최대 3.6배 향상시키세요. 이제 NVIDIA TensorRT-LLM으로 Speculative Decoding을 지원하며 토큰 처리량을 3배로 높입니다. 생성형 AI 앱에 완벽합니다. ⚡이 기술 심층 분석에서 방법을 알아보세요
➡️ link

[2024/12/02] 성능이 중요한 애플리케이션을 위해 ONNX 모델을 배포하시나요? NVIDIA Nsight Deep Learning Designer를 사용해 보세요 ⚡ 사용자 친화적인 GUI와 NVIDIA TensorRT의 긴밀한 통합으로 다음을 제공합니다:
✅ ONNX 모델 그래프의 직관적인 시각화
✅ 모델 아키텍처 및 파라미터의 빠른 조정
✅ ORT 또는 TensorRT를 통한 상세한 성능 프로파일링
✅ TensorRT 엔진의 손쉬운 빌드
➡️ link

[2024/11/26] 📣 Jetson AGX Orin용 TensorRT LLM 소개, TensorRT LLM 리포지토리의 v0.12.0-jetson 브랜치를 통해 JetPack 6.1에서 초기 지원되어 Jetson AGX Orin 배포가 더욱 쉬워집니다. ✅ 손쉬운 통합을 위한 사전 컴파일된 TensorRT LLM 휠 및 컨테이너 ✅ 시작을 위한 포괄적인 가이드 및 문서
➡️ link

[2024/11/21] NVIDIA TensorRT LLM Multiblock Attention이 NVIDIA HGX H200에서 긴 시퀀스 길이에 대해 처리량을 3배 이상 향상시킵니다
➡️ link

[2024/11/19] Llama 3.2 풀스택 최적화로 NVIDIA GPU에서 고성능 구현
➡️ link

[2024/11/09] 🚀🚀🚀 NVSwitch와 TensorRT LLM MultiShot으로 3배 빠른 AllReduce
➡️ link

[2024/11/09] ✨ NVIDIA가 LG AI Research의 AI 모델로 AI 생태계를 발전시킵니다 🙌
➡️ link

[2024/11/02] 🌟🌟🌟 NVIDIA와 LlamaIndex 개발자 콘테스트
🙌 NVIDIA® GeForce RTX™ 4080 SUPER GPU, DLI 크레딧 등을 포함한 상품을 받을 기회에 참여하세요🙌
➡️ link

[2024/10/28] 🏎️🏎️🏎️ NVIDIA GH200 Superchip이 Llama 모델과의 멀티턴 상호작용에서 추론을 2배 가속화합니다
➡️ link

[2024/10/22] 새로운 📝 단계별 안내:
✅ NVIDIA TensorRT-LLM으로 LLM 최적화,
✅ Triton Inference Server로 최적화된 모델 배포,
✅ Kubernetes 환경에서 LLM 배포 오토스케일링.
🙌 기술 심층 분석:
➡️ link

[2024/10/07] 🚀🚀🚀 NVIDIA 가속 라이브러리로 Microsoft Bing Visual Search 최적화
➡️ link

[2024/09/29] 🌟 AI at Meta PyTorch + TensorRT v2.4 🌟 ⚡TensorRT 10.1 ⚡PyTorch 2.4 ⚡CUDA 12.4 ⚡Python 3.12
➡️ link

[2024/09/17] ✨ NVIDIA TensorRT LLM 밋업
➡️ link

[2024/09/17] ✨ Databricks에서 TensorRT-LLM으로 LLM 추론 가속화
➡️ link

[2024/09/17] ✨ TensorRT LLM @ Baseten
➡️ link

[2024/09/04] 🏎️🏎️🏎️ BentoML로 최적의 서빙을 위한 TensorRT LLM 튜닝 모범 사례
➡️ link

[2024/08/20] 🏎️SDXL with #Model Optimizer ⏱️⚡ 🏁 cache diffusion 🏁 quantization aware training 🏁 QLoRA 🏁 #Python 3.12
➡️ link

[2024/08/13] 🐍 #Mamba로 DIY 코드 완성 ⚡ 속도를 위한 #TensorRT #LLM 🤖 손쉬운 사용을 위한 NIM ☁️ 어디서나 배포
➡️ link

[2024/08/06] 🗫 다국어 챌린지 수락 🗫
🤖 #TensorRT #LLM이 히브리어, 인도네시아어, 베트남어와 같은 저자원 언어를 향상시킵니다 ⚡ ➡️ link

[2024/07/30] 🍊 @SliceXAI ELM Turbo 소개 🤖 ELM을 한 번 학습 ⚡ #TensorRT #LLM 최적화 ☁️ 어디서나 배포
➡️ link

[2024/07/23] 👀 @AIatMeta Llama 3.1 405B가 16K NVIDIA H100에서 학습됨 - 추론은 #TensorRT #LLM으로 최적화 ⚡
🦙 400 tok/s - 노드당
🦙 37 tok/s - 사용자당
🦙 1개 노드 추론
➡️ link

[2024/07/09] #TensorRT #LLM 추론으로 @meta #Llama3의 다국어 성능을 극대화하기 위한 체크리스트:
✅ MultiLingual
✅ NIM
✅ LoRA 튜닝 어댑터 ➡️ 기술 블로그

[2024/07/02] @MistralAI MoE 토큰을 날려보세요 📈 🚀 #H100에서 NVIDIA #TensorRT #LLM을 사용한 #Mixtral 8x7B.
➡️ 기술 블로그

[2024/06/24] NVIDIA #TensorRT #LLM으로 강화된 @upstage.ai의 solar-10.7B-instruct가 API 카탈로그를 통해 개발자 프로젝트를 지원할 준비가 되었습니다 🏎️. ✨ ➡️ link

[2024/06/18] CYMI: 🤩 Stable Diffusion 3가 지난주 출시되었습니다 🎊 🏎️ #TensorRT INT8 양자화로 SD3를 가속화하세요 ➡️ link

[2024/06/18] 🧰 TensorRT로 ComfyUI를 배포하시나요? 설정 가이드가 있습니다 ➡️ link

[2024/06/11] ✨#TensorRT Weight-Stripped Engines ✨
진지한 코더를 위한 기술 심층 분석 ✅+99% 압축 ✅1 세트의 가중치 → ** GPU ✅0 성능 손실 ✅** 모델…LLM, CNN 등 ➡️ link

[2024/06/04] ✨ #TensorRT와 GeForce #RTX가 ComfyUI SD 슈퍼히어로 파워를 해제합니다 🦸⚡ 🎥 데모: ➡️ link
📗 DIY 노트북: ➡️ link

[2024/05/28] ✨ResNet-50을 위한 #TensorRT 가중치 스트리핑 ✨ ✅+99% 압축
✅1 세트의 가중치 → ** GPU\ ✅0 성능 손실 ✅** 모델…LLM, CNN 등
👀 📚 DIY ➡️ link

[2024/05/21] ✨@modal_labs가 #TensorRT #LLM에서 서버리스 @AIatMeta Llama 3를 위한 코드를 보유하고 있습니다 ✨👀 📚 Marvelous Modal Manual:
Serverless TensorRT LLM (LLaMA 3 8B) | Modal Docs ➡️ link

[2024/05/08] NVIDIA Model Optimizer -- #TensorRT 생태계의 최신 멤버는 학습 후 및 학습 중 모델 최적화 기법의 라이브러리입니다 ✅quantization ✅sparsity ✅QAT ➡️ blog

[2024/05/07] 🦙🦙🦙 초당 24,000 토큰 🛫Meta Llama 3가 #TensorRT #LLM으로 이륙합니다 📚 ➡️ link

[2024/02/06] 🚀 TRT-LLM의 SOTA 양자화 기법으로 추론 가속화

[2024/01/30] 새로운 XQA 커널이 동일한 지연 시간 예산 내에서 Llama-70B 처리량을 2.4배 더 제공합니다

[2023/12/04] INT4 AWQ로 단일 H200 GPU에서 Falcon-180B, 그리고 A100 대비 6.7배 빠른 Llama-70B

[2023/11/27] SageMaker LMI가 이제 TensorRT LLM을 지원합니다 - 이전 버전 대비 처리량 60% 향상

[2023/11/13] H200이 Llama2-13B에서 거의 12,000 tok/sec를 달성합니다

[2023/10/22] 🚀 TensorRT LLM과 LlamaIndex를 사용한 Windows에서의 RAG 🦙

[2023/10/19] 시작 가이드 - NVIDIA TensorRT-LLM으로 대규모 언어 모델의 추론 최적화, 이제 공개적으로 이용 가능

[2023/10/17] Windows용 TensorRT LLM으로 RTX에서 최대 4배 빠른 대규모 언어 모델

TensorRT LLM 개요
TensorRT LLM은 LLM 및 Visual Gen 추론을 최적화하기 위한 오픈소스 라이브러리입니다. 일반적인 추론 연산(attention, GEMM, MoE, ...)을 위한 커스텀 커널, 알고리즘적 런타임 최적화(Prefill-Decode 분리, Wide Expert Parallelism, Speculative Decoding 등) 등 최첨단 최적화를 제공하여 NVIDIA GPU에서 효율적으로 추론을 수행합니다.

PyTorch를 기반으로 설계된 TensorRT LLM은 단일 GPU부터 멀티 GPU 또는 멀티 노드 배포에 이르기까지 광범위한 추론 설정을 지원하는 고수준 Python LLM API를 제공합니다. 다양한 병렬화 전략과 고급 기능에 대한 기본 지원을 포함합니다. LLM API는 NVIDIA Dynamo 및 Triton Inference Server를 포함한 광범위한 추론 생태계와 원활하게 통합됩니다.

TensorRT LLM은 모듈식이며 수정하기 쉽게 설계되었습니다. PyTorch 네이티브 아키텍처를 통해 개발자는 런타임을 실험하거나 기능을 확장할 수 있습니다. 여러 인기 모델도 미리 정의되어 있으며 네이티브 PyTorch 코드로 커스터마이즈할 수 있어 시스템을 특정 요구에 맞게 쉽게 적용할 수 있습니다.

시작하기
TensorRT-LLM을 시작하려면 문서를 방문하세요:

빠른 시작 가이드

DeepSeek 실행

설치 가이드
지원되는 하드웨어, 모델 및 기타 소프트웨어
성능 벤치마킹
릴리스 노트

지원 중단 정책
지원 중단은 일부 API와 도구의 사용을 더 이상 권장하지 않음을 개발자에게 알리는 데 사용됩니다. 버전 1.0부터 TensorRT LLM은 다음과 같은 지원 중단 정책을…