-
Produkte und Dokumentation Red Hat AI
Eine Plattform mit Produkten und Services für die Entwicklung und Bereitstellung von KI in der Hybrid Cloud.
Red Hat AI Enterprise
Erstellen, entwickeln und stellen Sie KI-gestützte Anwendungen in der Hybrid Cloud bereit.
Red Hat AI Inference Server
Optimieren Sie die Modell-Performance mit vLLM für schnelle und kosteneffiziente Inferenz in großem Umfang.
Red Hat Enterprise Linux AI
Entwickeln, testen und führen Sie generative KI-Modelle mit optimierten Inferenzfunktionen aus.
Red Hat OpenShift AI
Entwickeln und implementieren Sie KI-gestützte Anwendungen und Modelle in großem Umfang in Hybrid-Umgebungen.
-
Lernen Grundlagen
-
KI-Partner
Red Hat AI Inference
Red Hat® AI Inference ist ein integrierter Stack, der schnelle, konsistente und kosteneffiziente Inferenzen in großem Umfang ermöglicht.
Quick Links
Kostet Sie KI-Inferenz zu viel? Dauer des Videos: 2:16
Was ist Red Hat AI Inference?
Red Hat AI Inference bietet die operative Kontrolle, um beliebige Modelle auf verschiedenen Beschleunigern in der Hybrid Cloud auszuführen.
Auf der Basis von vLLM und llm-d optimiert der End-to-End Inferenz-Stack die Wirtschaftlichkeit von Token und die Hardwarekapazität für schnellere Antwortzeiten. Als Engine für agentische KI und Model as a Service-Patterns erhöht die Open Source-Technologie die Effizienz, ohne dass die Performance beeinträchtigt wird.
vLLM: die wegweisende Open Source-Technologie
vLLM ist eine hocheffiziente Inferenz-Engine, die Probleme mit der GPU-Auslastung mit niedrigeren Kosten pro Token und stabiler Latenz in großem Umfang löst.
Mit dem portierbaren Open Source-Ansatz und einer wachsenden Community entwickeln sich vLLMs zum Linux® im Bereich der gen KI-Inferenz.
Als führender kommerzieller Anbieter bietet Red Hat die besondere vLLM-Expertise, die Sie beim Erreichen Ihrer KI-Ziele unterstützt.
Aktueller Stand der vLLM Community
Über 500.000 GPUs rund um die Uhr bereitgestellt1
Über 200 verschiedene Arten von Beschleunigern2
Über 500 unterstützte Modellarchitekturen2
24-mal höherer Durchsatz im Vergleich zu Mitbewerbern3
Vorteile
Flexibilität bei Hardware und Modellen
Behalten Sie operative Konsistenz mit beliebigen Modellen auf verschiedenen Hardware- und Cloud-Modellen bei.
Entkoppeln Sie KI von ihrer zugrunde liegenden Infrastruktur, um eine einheitliche Model as a Service-Architektur zu erstellen und Modelle sowie Agenten effizient bereitzustellen.
Verwaltung der Wirtschaftlichkeit von Tokens
Erhöhen Sie den Durchsatz und senken Sie die Kosten pro Token mit vLLM und llm-d.
Optimieren Sie vorhandene Ressourcen, um Agenten kosteneffizient auszuführen und KI nachhaltig zu skalieren.
Prognostizierbare Skalierung
Verteilen Sie den Inferenzdatenverkehr auf intelligente Weise, um mehr Nutzende und Agenten in der vorhandenen Infrastruktur zu bedienen.
Verwalten Sie verschiedene Use Cases und fordern Sie sie zuverlässig an, von multimodalen agentischen Workflows bis hin zu RAG-basierten Chatbots und Code-Assistenten.
Sichern Sie sich frühzeitigen Zugriff auf llm-d
Red Hat AI Inference bietet jetzt frühen Zugriff auf llm-d in Kubernetes-Umgebungen von Drittanbietern sowie verteilte Inferenzfunktionen auf Red Hat OpenShift®.
Ihre Modelle – Ihre Wahl
Entwickeln Sie eine einheitliche Model as a Service-Architektur, ohne den KI-Stack neu erstellen zu müssen.
Red Hat AI Inference bietet operative Konsistenz in beliebigen Kombinationen von Open Source-Modellen und Hardwarebeschleunigern. Beschleunigen Sie zuverlässige Deployments mit unserer Sammlung kostenoptimierter Modelle, die für eine effiziente Ausführung auf der Red Hat AI Plattform validiert sind.
233 % ROI mit Red Hat AI
Forrester Consulting wurde von Red Hat beauftragt, eine Total Economic Impact™-Studie durchzuführen und den potenziellen ROI (Return on Investment) zu untersuchen, den Unternehmen durch den Einsatz von Red Hat AI erzielen können.
Nach der Befragung von Red Hat AI Kunden ergab die Analyse, dass ein Verbundunternehmen innerhalb von 3 Jahren einen ROI von 233 % verzeichnen konnte, was einem Gesamtwert von mehr als dem Dreifachen seiner Anfangsinvestition entspricht.4
Produkt-Highlights
Sie erhalten einen umfassenden, vollständig integrierten Inferenz-Stack, der auf die effiziente Bereitstellung von Modellen in großem Umfang ausgelegt ist.
| Feature | Details | Vorteil | |
|---|---|---|---|
llm-d | Führen Sie verteilte Inferenzfunktionen auf OpenShift aus oder erhalten Sie frühzeitigen Zugriff auf llm-d in Kubernetes-Umgebungen von Drittanbietern. | Beschleunigte Inferenz und optimale Nutzung Ihrer KI-Infrastruktur, wenn Sie diese auf den Kubernetes-Distributionen Ihrer Wahl ausführen | |
Gen KI-spezifische Telemetrie | Zeigen Sie modellspezifische Performance-Metriken wie Time to First Token, KV-Cache-Hitrate und GPU-Auslastung an. | Einblicke in die Erfüllung strenger Service Level Objectives (SLOs) und in Verbesserungsmöglichkeiten Ihrer Modelle | |
Toolkit zur Modelloptimierung | Optimieren Sie benutzerdefinierte oder Basismodelle mit Techniken wie Sparsity oder Quantisierung. | Maximierte Hardwarekapazität, um Kosten zu minimieren und Inferenzen zu beschleunigen | |
Knapp gehaltene MoE (Mixture of Experts) | Führen Sie dünn besetzte MoE-Architekturen mit Agenten mit niedriger Latenz und ausgefeilten Reasoning-Modellen aus. | Reduzierte Inferenzkosten ohne beeinträchtigte Performance durch effiziente Modellarchitektur | |
Zertifiziert für sämtliche Red Hat Produkte | Die Funktionen von Red Hat AI Inference sind Teil von Red Hat AI Enterprise und Red Hat OpenShift® AI. Die Lösung wird auch auf Red Hat OpenShift und Red Hat Enterprise Linux® unterstützt. | Verwenden der Produkte von Red Hat oder Bereitstellen auf Linux- und Kubernetes-Plattformen im Rahmen unserer Support-Richtlinie für Drittanbieter |
Kaufen
Red Hat AI Inference ist als Standalone-Produkt oder als Teil von Red Hat AI verfügbar. Die llm-d- und vLLM-basierten Funktionen sind in Red Hat AI Enterprise und Red Hat OpenShift AI enthalten.
Warum Red Hat AI?
Bauen Sie auf einer bewährten Basis auf, die beliebige Modelle und Agenten in der gesamten Hybrid Cloud auf verschiedenen Hardware-Beschleunigern unterstützt. Red Hat AI gibt Unternehmen die Freiheit, dort bereitzustellen, wo ihre Daten-, Compliance- und Kostenanforderungen dies erfordern.
Inferenz
Bewältigen Sie die Modellkomplexität mithilfe schneller, effizienter Inferenzen auf der Basis von vLLM und der notwendigen Kontrolle, um beliebige Modelle auf verschiedenen Beschleunigern in der Hybrid Cloud auszuführen.
Daten
Passen Sie domainspezifische Use Cases für agentische KI mit Modellen an, die mit Ihren unternehmenseigenen Daten verbunden sind.
Agenten
Vereinfachen und beschleunigen Sie die erfolgreiche Einführung agentischer KI mit Governance und Kontrolle.
Plattform
Stellen Sie resiliente, zuverlässige KI-Lösungen auf der Basis von Open Source-Transparenz und Hybrid Cloud-Skalierbarkeit bereit.
Deployment mit Partnern
Fachleute und Technologien werden zusammengeführt, damit unsere Kunden mit KI mehr erreichen können. Sehen Sie sich die Partner an, die mit Red Hat zusammenarbeiten, um ihre Kompatibilität mit unseren Lösungen zu zertifizieren.
Häufig gestellte Fragen
Muss ich Red Hat AI Enterprise oder Red Hat OpenShift AI erwerben, um Red Hat AI Inference verwenden zu können?
Nein. Sie können Red Hat AI Inference als ein Standalone-Produkt von Red Hat erwerben.
Muss ich Red Hat AI Inference und Red Hat AI Enterprise erwerben?
Nein. Die auf vLLM und llm-d basierenden Funktionen von Red Hat AI Inference sind bereits Teil von Red Hat AI Enterprise und Red Hat OpenShift AI.
Kann Red Hat AI Inference unter Red Hat Enterprise Linux oder Red Hat OpenShift ausgeführt werden?
Ja, das ist möglich. Die vLLM-basierte Runtime kann im Rahmen unserer Vereinbarung mit Drittanbietern auch in Linux- und Kubernetes-Umgebungen von Drittanbietern ausgeführt werden. Außerdem bietet sie einen frühen Zugang zur Ausführung ihrer llm-d-basierten verteilten Inferenzfunktionen in Kubernetes-Umgebungen von Drittanbietern.
Welche Kosten fallen für Red Hat AI Inference an?
Die Kosten werden pro Beschleuniger berechnet.
Weitere KI-Ressourcen erkunden
Erste Schritte mit KI für Unternehmen
Erste Schritte mit KI-Inferenz
Skalieren Sie Unternehmens-KI-Inferenz in der Hybrid Cloud
Webinar: How to boost performance and optimize costs
Vertrieb kontaktieren
Sprechen Sie mit Red Hat über Red Hat AI
1Goin, Michael. „[vLLM Office Hours #38] vLLM 2025 Retrospective & 2026 Roadmap - 18. Dezember 2025.“ YouTube, 8. Dez. 2025.
2Kwon, Woosuk. „Today, vLLM supports 500+ model architectures, runs on 200+ accelerator types, and powers inference at global scale.“ X, 26. Jan. 2026.
3Kwon, Woosuk, et al. „vLLM: Einfacher, schneller und günstiger LLM-Service mit PagedAttention.“ vLLM Blog, 20. Juni 2023.
4 Studie von Forrester Consulting, im Auftrag von Red Hat. „Forrester Total Economic Impact™ von Red Hat AI.“ Februar 2026.
