Lokale KI mit HPE ProLiant: Server-Hardware für KMU

Lokale KI bedeutet, KI-Modelle auf eigener Hardware zu betreiben, statt sie als Cloud-Dienst zu beziehen. Ein KMU kann das mit einem HPE-ProLiant-Server mit GPU im eigenen Haus tun. Dieser Artikel klärt, welche ProLiant-Modelle sich eignen, wie groß das System sein muss und was im laufenden Betrieb dazukommt.

Kurz gefasst: Bei lokaler KI laufen Sprachmodelle (LLMs) und andere KI-Modelle auf eigener Hardware; Anfragen und Dokumente bleiben im Firmennetz. Der Server braucht GPUs mit genug GPU-Speicher für das Modell, doppelt so viel Arbeitsspeicher wie GPU-Speicher und NVMe-Storage. Geeignet sind unter anderem ML350 Gen12 (Tower), DL380 Gen12 (bis 3 doppelt breite GPUs), DL380a Gen12 (bis 10), DL384 Gen12 (NVIDIA GH200) und ihre Gen11-Pendants. Drei Größen ordnen den Bedarf: Einstieg mit 24 bis 48 GB GPU-Speicher, Team mit 96 bis 288 GB, Abteilung ab 384 GB. Im Betrieb übernehmen iLO die Fernverwaltung, HPE Compute Ops Management Firmware und Alarme und ein Wartungsvertrag die Hardware. Vorkonfiguriert gibt es HPE Private Cloud AI mit 2 bis 16 GPUs auf Basis des DL380a Gen12. Stand der Daten: HPE QuickSpecs vom 5. Oktober 2026, Dokumentation von NVIDIA und Ollama, abgerufen am 8. Oktober 2026.

Lokale KI auf HPE-Servern und für wen sie sich lohnt

Lokale KI ist der Betrieb von KI-Modellen auf eigener Hardware. Das Modell, meist ein Sprachmodell (Large Language Model, LLM), läuft auf einem Server im eigenen Serverraum, und Eingaben wie Dokumente bleiben im Firmennetz. Bei einem Cloud-Dienst geht dagegen jede Anfrage an das Rechenzentrum des Anbieters. Eine eigene KI lokal zu betreiben ist möglich, weil es offene Modelle gibt, die sich herunterladen und auf eigener Hardware ausführen lassen.

Lokale KI für Unternehmen hat bei KMU meist drei Gründe. Der erste ist die Datenhoheit: Verträge, Konstruktionsdaten oder Personalunterlagen werden auf eigener Hardware verarbeitet. Bei einem Cloud-Dienst verarbeitet der Anbieter die Daten im Auftrag (Art. 28 DSGVO), bei Anbietern außerhalb der EU kommen die Regeln zur Übermittlung in Drittländer hinzu (Art. 44 ff. DSGVO). Im eigenen Haus entfällt diese Weitergabe, die übrigen Pflichten der DSGVO bleiben bestehen.

Der zweite Grund sind planbare Kosten. Der Server ist eine Investition mit bekannten Betriebskosten, während Cloud-Dienste in der Regel nach Nutzung oder je Nutzer abrechnen und mit dem Einsatz teurer werden.

Der dritte ist die Verfügbarkeit ohne Internet. Das Modell antwortet aus dem eigenen Netz; eine Internetverbindung braucht der Server nur zum Herunterladen von Modellen und für Updates.

Typische Einsätze sind ein Assistent für interne Dokumente, also lokale KI mit eigenen Daten, dazu Zusammenfassungen, Übersetzungen und Programmierhilfe. Bei der Dokumentensuche sucht das System passende Textstellen aus dem eigenen Bestand heraus und gibt sie dem Modell mit; das Verfahren heißt Retrieval-Augmented Generation (RAG).

Wer eine eigene KI hosten will, braucht dafür einen Server mit Grafikprozessoren (GPUs). Dieser Artikel zeigt alles Weitere an HPE ProLiant, der Server-Familie von Hewlett Packard Enterprise. Weitere Beiträge zum Hersteller sammelt die Übersicht HPE-Wissen.

Welche KI-Hardware lokale KI verlangt und wie HPE ProLiant sie abdeckt

KI-Hardware ist vor allem eine Frage der GPU: Sie rechnet das Modell, und ihr Speicher begrenzt, wie groß es sein darf. Lokale KI-Hardware wird deshalb zuerst nach dem GPU-Speicher ausgewählt. Was eine GPU von einem Prozessor unterscheidet, erklärt der Beitrag Was ist eine GPU?. Die Tabelle ordnet jeder Komponente ihre Anforderung und das passende ProLiant-Merkmal zu.

Komponente	Anforderung	HPE ProLiant Gen11 und Gen12
GPU und GPU-Speicher	Das Modell muss vollständig in den GPU-Speicher (VRAM) passen	NVIDIA L4 (24 GB), RTX PRO 4500 (32 GB), L40S (48 GB), RTX PRO 6000 (96 GB) und H200 NVL (141 GB); je nach Server 1 bis 10 GPUs
Prozessor	NVIDIA nennt für Inferenz-Server mindestens sechs physische Kerne je GPU	Gen12 mit Intel Xeon 6 (bis 86 P-Kerne je Prozessor) oder AMD EPYC 9005 (bis 192 Kerne); Gen11 mit Intel Xeon Scalable der 4. und 5. Generation oder AMD EPYC 9004 und 9005
Arbeitsspeicher	Doppelt so viel Arbeitsspeicher wie GPU-Speicher insgesamt	DDR5, bis 8 TB in DL380 Gen12, DL380a Gen12 und ML350 Gen12
Storage	NVMe-Laufwerke, laut NVIDIA mindestens 1 TB; eine Modelldatei belegt je nach Größe 5 bis über 100 GB	NVMe in den Formaten U.3 und E3.S
Netzwerk	Anbindung an das Firmennetz; Anfragen und Antworten sind Text und damit kleine Datenmengen	Netzwerkkarten über OCP-3.0- und PCIe-Steckplätze
Strom und Kühlung	Eine L4 nimmt bis zu 72 W auf, eine L40S bis zu 350 W, RTX PRO 6000 und H200 NVL bis zu 600 W	Hot-Plug-Netzteile bis 2.200 W in DL380 und ML350; DL380a Gen12 mit fünf oder acht Netzteilen; Direct Liquid Cooling als Option

Quelle: HPE QuickSpecs DL380 Gen12, DL380a Gen12 und ML350 Gen12, jeweils vom 5. Oktober 2026; NVIDIA-Certified Systems Configuration Guide; GPU-Daten von nvidia.com. Abgerufen am 8. Oktober 2026.

Passt ein Modell nicht in den GPU-Speicher, lagert die Laufzeitumgebung Ollama einen Teil in den Arbeitsspeicher aus, und die Antworten werden langsamer. Stecken mehrere GPUs im Server, lädt Ollama das Modell auf eine einzelne GPU, wenn es dort Platz findet, und verteilt es sonst über alle. Verschiedene GPU-Modelle lassen sich in einem ProLiant-Server nicht mischen.

Die Faustregel für den Arbeitsspeicher stammt von HPE selbst: Die QuickSpecs von DL380a Gen12, ML350 Gen12 und DL380 Gen11 empfehlen doppelt so viel Arbeitsspeicher wie GPU-Speicher. NVIDIA nennt für Inferenz-Server denselben Wert als Minimum.

Bei der KI-Server-Hardware bestimmen Strom und Kühlung, wie viele GPUs sich in einem Gehäuse betreiben lassen. Im DL380 Gen12 laufen RTX PRO 6000 und H200 NVL mit einer Begrenzung auf 450 W je GPU, und die zulässige Umgebungstemperatur liegt je nach GPU bei 27 oder 30 °C. Der DL380a Gen12 braucht fünf Netzteile für zwei oder vier doppelt breite GPUs und acht Netzteile für acht oder zehn. Für den Tower ML350 Gen12 weist HPE darauf hin, dass die Lüfter mit GPU schneller und lauter laufen können. Den Strombedarf einer Konfiguration berechnet der HPE Power Advisor. Wer KI lokal betreiben will, plant die Hardware deshalb zusammen mit dem Aufstellort. Konfigurierbare Systeme stehen in der Kategorie KI- und GPU-Server.

Die HPE-ProLiant-Modelle für KI im Überblick

GPUs nehmen viele ProLiant-Server auf. Sie unterscheiden sich darin, wie viele GPUs welcher Größe hineinpassen. Die Tabelle nennt die Höchstwerte aus den QuickSpecs.

Modell	Bauform und Prozessoren	GPU-Bestückung laut QuickSpecs	Typische Rolle
ML350 Gen12	Tower, 4 HE, 2 × Intel Xeon 6	bis 4 × L4 (24 GB) oder RTX PRO 4500 (32 GB), bis 2 × L40S (48 GB)	Einstieg ohne Rack, etwa im Büro oder in der Filiale
DL360 Gen12	Rack, 1 HE, 2 × Intel Xeon 6	bis 3 × L4 (24 GB)	Kompakter Server für kleine Modelle
DL380 Gen12	Rack, 2 HE, 2 × Intel Xeon 6	bis 8 × L4, bis 3 × L40S oder RTX PRO 6000 (96 GB), bis 2 × H200 NVL (141 GB)	Universeller Rack-Server mit einzelnen GPUs
DL345 Gen12	Rack, 2 HE, 1 × AMD EPYC 9005	GPU-Ausführung mit bis zu 4 × L4, L40S oder RTX PRO 4500, bis 2 × RTX PRO 6000	Ein-Sockel-Server mit GPUs
DL380a Gen12	Rack, 4 HE, 2 × Intel Xeon 6	bis 10 doppelt breite oder 16 einfach breite GPUs: L4, L40S, RTX PRO 6000 (bis 8), H200 NVL	GPU-optimiertes System für große Modelle und viele Nutzer
DL384 Gen12	Rack, 2 HE, 1 oder 2 NVIDIA GH200 mit Arm-Kernen	GPU im GH200 integriert: 144 GB GPU-Speicher, mit zwei GH200 288 GB	LLM-Inferenz mit hohem Speicherbedarf
ML350 Gen11	Tower, 4 HE, 2 × Intel Xeon Scalable	bis 4 × L4, bis 2 × L40S	Einstieg ohne Rack
DL380 Gen11	Rack, 2 HE, 2 × Intel Xeon Scalable	bis 8 × L4, bis 3 × L40S	Universeller Rack-Server mit einzelnen GPUs
DL380a Gen11	Rack, 2 HE, 2 × Intel Xeon Scalable	4 doppelt breite oder 8 einfach breite GPUs, etwa L40S oder H100 NVL (94 GB)	GPU-optimiertes System auf zwei Höheneinheiten
DL385 Gen11	Rack, 2 HE, 2 × AMD EPYC 9004 oder 9005	GPU-Ausführung mit 4 doppelt breiten oder 8 einfach breiten GPUs, etwa L40S, RTX PRO 6000 oder H200 NVL	AMD-Plattform mit bis zu vier großen GPUs

Quelle: HPE QuickSpecs der genannten Modelle, Fassungen vom 5. Oktober 2026 (DL380a Gen11: 6. Juli 2026), abgerufen am 8. Oktober 2026. Die Höchstwerte hängen von Laufwerkskäfig, Kühlung und Umgebungstemperatur ab.

Das angehängte „a“ steht bei HPE für „accelerator-optimized“. Den HPE ProLiant Compute DL380a Gen12 beschreibt HPE als System für KI-Inferenz mit bis zu zehn doppelt breiten GPUs. Eine Sonderrolle hat der DL384 Gen12: Im NVIDIA GH200 sitzen Prozessor und GPU auf einem Baustein, und der Prozessor hat Arm- statt x86-Kerne. HPE führt für ihn Linux-Distributionen, Windows Server steht nicht in der Support-Matrix. Geliefert wird er als fertig montiertes System.

Was ein LLM-Server ist

Der Begriff LLM-Server bezeichnet keine eigene Geräteklasse. Gemeint ist ein Server mit GPU und einer Software-Schicht, die Sprachmodelle lädt und über eine Schnittstelle im Netz bereitstellt. Verbreitet sind Ollama, vLLM und NVIDIA NIM. Für die LLM-Server-Hardware gelten die Anforderungen aus dem vorigen Abschnitt. Wer nach einem „HPE AI Server“ oder „Local LLM Server“ sucht, landet damit bei den ProLiant-Modellen dieser Tabelle.

Am 7. Oktober 2026 hat HPE mit dem ProLiant DL585a Gen13 einen weiteren GPU-Server für bis zu acht doppelt breite GPUs angekündigt. Verfügbar sein soll er Anfang 2027.

Drei Größen für Einstieg, Team und Abteilung auf HPE ProLiant

Wie groß die KI-Hardware sein muss, ergibt sich aus der Größe des Modells und daraus, wie viele Anfragen gleichzeitig laufen. Die drei Stufen ordnen den Bedarf eines KMU nach GPU-Speicher. Sie sind eine Einordnung und keine fertige Konfiguration.

	Einstieg	Team	Abteilung
Einsatz	Pilotprojekt, ein Fachbereich, ein Assistent für Texte und Dokumente	Tagesgeschäft mit Dokumentensuche (RAG) und mehreren Anwendungen	Mehrere Abteilungen, große Modelle, mehrere Anwendungen nebeneinander
Nutzung	Wenige Nutzer, Anfragen meist nacheinander	Mehrere gleichzeitige Nutzer	Viele gleichzeitige Nutzer
Modellklasse	Bis etwa 14 Mrd. Parameter, mit 48 GB auch 24 bis 32 Mrd.	Bis etwa 70 Mrd. Parameter in komprimierter Form, dazu ein zweites Modell	70 Mrd. Parameter unkomprimiert, Modelle über 100 Mrd.
GPU-Speicher	24 bis 48 GB	96 bis 288 GB	ab 384 GB
ProLiant-Modelle in dieser Größe	ML350 Gen12, DL360 Gen12, DL380 Gen12	DL380 Gen12, DL345 Gen12, DL384 Gen12	DL380a Gen12, DL385 Gen11
Arbeitsspeicher	mindestens 48 bis 96 GB	192 bis 576 GB	ab 768 GB
Storage	NVMe ab 1 TB	NVMe, Größe nach Dokumentenbestand	NVMe, Größe nach Zahl der Modelle und Dokumentenbestand

Arbeitsspeicher nach der HPE-Empfehlung „doppelter GPU-Speicher“. Die Modellzuordnung folgt den GPU-Höchstwerten der QuickSpecs. Die Stufen sind eine Orientierung von Serverhero, keine Herstellerangabe und keine Konfigurationsempfehlung.

Eine feste Nutzerzahl je GPU nennen weder HPE noch NVIDIA. Es zählt, wie viele Anfragen gleichzeitig eintreffen, wie lang die Texte sind und wie schnell die Antwort kommen soll. Ollama bearbeitet in der Grundeinstellung eine Anfrage je Modell und reiht weitere in eine Warteschlange ein. Jede parallele Anfrage vervielfacht den Speicher, den das Modell für seinen Kontext braucht. Für viele gleichzeitige Anfragen ist ein Inferenz-Server wie vLLM gebaut, der eingehende Anfragen bündelt.

Dass die nächste Stufe nötig wird, zeigt sich an vier Zeichen. Antworten lassen auf sich warten, obwohl die einzelne Anfrage kurz ist. Ollama meldet, dass ein Teil des Modells im Arbeitsspeicher statt in der GPU liegt. Ein zweites Modell soll dauerhaft neben dem ersten laufen. Oder die GPU-Plätze des Servers sind belegt: Im ML350 Gen12 ist bei zwei L40S Schluss, im DL380 Gen12 bei drei doppelt breiten GPUs.

Eine fertige Konfiguration lässt sich aus den Stufen nicht ablesen. Welche GPU in welcher Stückzahl passt und welche Riser, Lüfter, Netzteile und Laufwerkskäfige dazugehören, hängt vom Einsatz ab und ergibt sich erst im Konfigurator. Der Serverhero-Vertrieb stellt die Konfiguration nach Nutzerzahl, Modell und Einsatz zusammen.

Wie viel GPU-Speicher ein lokales LLM auf HPE ProLiant braucht

Ein lokales LLM besteht aus Parametern, die beim Start in den GPU-Speicher geladen werden. Je mehr Parameter ein Modell hat und je genauer jeder gespeichert ist, desto mehr Speicher belegt es. Die LLM-Hardware wird deshalb vom GPU-Speicher her geplant. NVIDIA nennt als grobe Richtgröße 2 GB je Milliarde Parameter bei 16 Bit Genauigkeit, für ein Modell mit 8 Milliarden Parametern also rund 15 GB und für eines mit 70 Milliarden rund 131 GB.

Komprimierte Modellvarianten brauchen deutlich weniger. Bei dieser Quantisierung wird jeder Parameter mit weniger Bit gespeichert. In der Modellbibliothek von Ollama sind die Standardvarianten vieler Modelle mit 4 Bit quantisiert; ein Modell mit 70 Milliarden Parametern belegt dann 43 GB.

Modellklasse	Modelldatei mit 4 Bit (Ollama)	Unkomprimiert mit 16 Bit (Rechenwert)	Passende Stufe
bis 8 Mrd. Parameter	rund 5 GB	rund 15 GB	Einstieg
12 bis 14 Mrd. Parameter	8 bis 9 GB	24 bis 28 GB	Einstieg
24 bis 32 Mrd. Parameter	15 bis 20 GB	48 bis 64 GB	Einstieg (komprimiert) oder Team
70 Mrd. Parameter	43 GB	rund 131 GB	Team (komprimiert) oder Abteilung
über 100 Mrd. Parameter	65 bis 142 GB	über 230 GB	Abteilung

Quelle: Modellseiten der Ollama-Bibliothek (Standardvarianten von Modellen mit 8 bis 235 Mrd. Parametern) und NVIDIA-NIM-Dokumentation, abgerufen am 8. Oktober 2026.

Die Dateigröße ist die Untergrenze für ein lokales LLM. Dazu kommt der Speicher für den Kontext, also für den Text, den das Modell bei einer Anfrage im Blick behält. Er wächst mit der Kontextlänge und mit der Zahl paralleler Anfragen.

Wie sich das auf die GPU-Bestückung auswirkt, zeigt NVIDIAs Support-Matrix für ein Modell mit 70 Milliarden Parametern: Unkomprimiert führt NVIDIA es auf zwei H200 NVL oder vier RTX PRO 6000, mit 8 Bit auf einer H200 NVL, zwei RTX PRO 6000 oder vier L40S. Das entspricht den Stufen Team und Abteilung. Am unteren Ende nennt NVIDIA für ein Modell mit 8 Milliarden Parametern mindestens 24 GB GPU-Speicher. So viel bringt eine L4 mit.

LLM-Hardware nach Modellklasse planen

Für die Hardware-Anforderungen eines lokalen LLM, englisch „Local LLM Hardware Requirements“, zählt damit die Modellklasse und nicht der Name des Modells. Welches die beste lokale KI für eine Aufgabe ist, hängt von Sprache und Einsatz ab und ändert sich mit jeder Modellgeneration. Die lokale LLM-Hardware lässt sich trotzdem planen, sobald die Modellklasse feststeht. Auch die Frage nach der „Best Hardware for Local LLM“ führt auf diese Rechnung zurück: genug GPU-Speicher für Modell und Kontext.

On-Premise-KI oder Cloud? Was für den HPE-Server im eigenen Haus spricht

On-Premise-KI und KI aus der Cloud unterscheiden sich in vier Punkten.

Kriterium	On-Premise-KI auf dem HPE-Server	KI aus der Cloud
Datenhoheit	Verarbeitung im eigenen Netz, keine Weitergabe an einen KI-Anbieter	Der Anbieter verarbeitet die Daten im Auftrag; bei Anbietern außerhalb der EU gelten zusätzlich die Regeln für Drittländer
Kostenverlauf	Investition und feste Betriebskosten; zusätzliche Anfragen kosten Strom, bis die Hardware ausgelastet ist	Abrechnung nach Nutzung oder je Nutzer; die Kosten wachsen mit dem Einsatz
Abhängigkeit vom Anbieter	Modell und Version legt das Unternehmen fest	Der Anbieter bestimmt Modellversionen, Preise und Verfügbarkeit
Aufwand für den Betrieb	Die eigene IT betreibt Hardware, Betriebssystem, Treiber und Modelle	Der Anbieter betreibt die Infrastruktur

Die Cloud ist die bessere Wahl, wenn KI selten oder unregelmäßig genutzt wird, wenn ein Modell gebraucht wird, das es nur als Dienst gibt, oder wenn niemand im Haus den Server betreiben kann. Auch ein erster Test gelingt in der Cloud ohne Investition.

Für On-Premise-KI sprechen vertrauliche Daten, eine gleichmäßig hohe Nutzung und der Wunsch, Modell und Version selbst zu bestimmen. Ein On-Premise-LLM antwortet auch dann, wenn die Internetverbindung ausfällt. Beides lässt sich kombinieren: ein LLM on premise für die Daten, die das Haus nicht verlassen sollen, und ein Cloud-Dienst für alles Übrige.

KI lokal betreiben mit HPE im Dauerbetrieb

KI lokal zu betreiben heißt im Unternehmen mehr als ein Modell zu starten. Mehrere Nutzer greifen gleichzeitig zu, der Dienst soll rund um die Uhr laufen, und Ausfälle müssen auffallen, bevor es die Nutzer merken.

Betriebssystem und Software-Schicht

Auf dem Server läuft ein Betriebssystem, darauf die Laufzeitumgebung. HPE führt für DL380 Gen12, DL380a Gen12 und ML350 Gen12 unter anderem Ubuntu LTS, Red Hat Enterprise Linux und Windows Server 2022 und 2025. Ollama dokumentiert die Installation unter Linux als Systemdienst und unter Windows; Windows Server nennt die Dokumentation nicht ausdrücklich. In der Grundeinstellung nimmt Ollama Anfragen nur vom Server selbst an. Für den Zugriff aus dem Firmennetz wird das umgestellt und ein Zugriffsschutz davorgesetzt. Anleitungen, wie sich eine lokale KI installieren lässt, enden meist an dieser Stelle. Im Unternehmen beginnt hier der Betrieb.

Fernverwaltung mit iLO

Jeder ProLiant-Server hat mit iLO einen eigenen Management-Controller, der unabhängig vom Betriebssystem arbeitet. Er überwacht Lüfter, Temperaturen und Netzteile, schaltet den Server aus der Ferne und meldet Fehler. iLO 6 und iLO 7 zeigen die eingebauten GPUs mit ihrem Zustand an; die Leistungsaufnahme der GPUs und deren Begrenzung setzen eine iLO-Lizenz voraus. Dasselbe gilt für die Fernkonsole nach dem Start des Betriebssystems. Den Einstieg beschreibt die Anleitung iLO aktivieren.

Zentrale Verwaltung mit Compute Ops Management

HPE Compute Ops Management spielt Firmware gruppenweise ein, meldet Hardware-Alarme per E-Mail und eröffnet bei kritischen Fehlern selbst einen Supportfall. Bei Rack- und Tower-Servern der Gen12 ist ein Abonnement über drei Jahre standardmäßig Teil der Bestellung. Der Dienst läuft in der HPE-GreenLake-Cloud und verwaltet die Hardware über iLO; das KI-Modell und die Anfragen bleiben auf dem Server. Wer keine Cloud-Anbindung möchte, verwaltet den Server lokal über iLO.

Sicherheit, Wartung und Lizenzen

Die Silicon Root of Trust in iLO prüft die Firmware beim Start gegen Signaturen im Chip. Welche Einstellungen darüber hinaus sinnvoll sind, beschreibt der Beitrag zur Sicherheit von ProLiant-Servern.

Für den Dauerbetrieb regelt ein Wartungsvertrag, wie schnell HPE reagiert. HPE Tech Care gibt es in drei Stufen, von der Erreichbarkeit zu Geschäftszeiten bis zur zugesagten Reparaturzeit von sechs Stunden, wo HPE sie anbietet. Details stehen im Beitrag zur HPE Server Wartung.

Bei der Software fällt vor allem NVIDIA AI Enterprise ins Gewicht, zu dem die NIM-Microservices gehören. Lizenziert wird je GPU. Bei der H200 NVL ist laut NVIDIA ein Abonnement über fünf Jahre enthalten, bei der L4 kommt die Lizenz hinzu. Die Grundlagen erklärt der Beitrag zu NVIDIA-GPUs und Lizenzen.

PC für lokale KI, Workstation oder ProLiant-Server? Ab wann der Server nötig ist

Viele Anleitungen zu lokaler KI richten sich an Einzelnutzer. Für das Unternehmen stellt sich die Frage, bis wohin ein Einzelplatzgerät reicht.

Geräteklasse	Reicht für	Grenze
PC oder Mini-PC	Einen Nutzer, kleine Modelle, erste Tests	Eine Grafikkarte, kein Dauerbetrieb, keine Fernwartung
Workstation	Einzelne Entwickler oder ein kleines Team; mittlere Modelle	Einzelplatzgerät am Schreibtisch mit begrenztem Ausbau
ProLiant-Server	Mehrere gleichzeitige Nutzer, Dauerbetrieb, mehrere GPUs	Braucht einen geeigneten Aufstellort mit Strom und Kühlung

Ein PC für lokale KI oder ein Mini-PC für lokale KI genügt, um Modelle kennenzulernen. Ollama empfiehlt für ein kleines Modell mit rund 7 GB Dateigröße 8 GB GPU-Speicher. Auch ein selbst gebauter KI-PC erfüllt diesen Zweck.

Der Wechsel zum Server steht an, sobald einer von vier Punkten zutrifft: Mehrere Personen nutzen das Modell gleichzeitig. Das gewünschte Modell passt nicht mehr in den Speicher einer einzelnen Grafikkarte. Der Dienst soll rund um die Uhr erreichbar sein. Oder die IT muss das Gerät aus der Ferne überwachen und verwalten. Ein ProLiant-Server bringt dafür Hot-Plug-Netzteile, iLO und Platz für mehrere GPUs mit.

Der übliche Weg führt vom Test am PC über ein Pilotprojekt in der Stufe Einstieg zum Ausbau. Die Hardware für lokale KI wächst dabei mit der Nutzung, vom einzelnen Gerät zum lokalen KI-Server.

KI-Inferenz und Training auf HPE-Hardware

KI-Inferenz ist die Anwendung eines fertig trainierten Modells: Es erhält eine Eingabe und erzeugt daraus eine Ausgabe. Beim Training entstehen die Parameter des Modells erst aus großen Datenmengen.

Lokale KI im KMU ist fast immer Inferenz. Eigenes Wissen kommt über die Dokumentensuche (RAG) ins Spiel oder über Fine-Tuning, das ein vorhandenes Modell mit eigenen Beispielen nachschärft. Ein lokales LLM von Grund auf zu trainieren ist dafür nicht nötig.

HPE ordnet die Systeme entsprechend zu. Den DL380 Gen12 nennt HPE für die Inferenz kleiner Modelle, den DL380a Gen12 für GPU-beschleunigte Inferenz und Fine-Tuning, den DL384 Gen12 für die Inferenz großer Sprachmodelle mit hohem Speicherbedarf. Bei HPE Private Cloud AI taucht Fine-Tuning erst in der größten Ausbaustufe mit 16 GPUs auf. Inferenz kommt demnach mit kleineren Systemen aus als das Anpassen oder Trainieren von Modellen. Systeme für das Training beschreibt der Beitrag zu HPE KI-Servern für Machine Learning.

Was ein KI-Server von HPE kostet

Einen Listenpreis für „den KI-Server“ gibt es nicht, weil die Ausstattung den Preis bestimmt. Sechs Posten machen ihn aus.

Kostenfaktor	Wovon er abhängt
Zahl und Klasse der GPUs	Der größte Posten. Eine L4 mit 24 GB und eine H200 NVL mit 141 GB liegen weit auseinander
Arbeitsspeicher	Wächst nach der HPE-Empfehlung mit dem GPU-Speicher mit
Storage	NVMe-Laufwerke für Modelle und Dokumentenbestand
Strom im Betrieb	Eine GPU mit 350 W kommt bei durchgehender Volllast rechnerisch auf rund 3.070 kWh im Jahr
Software-Lizenzen	Betriebssystem, je nach Einsatz NVIDIA AI Enterprise und eine iLO-Lizenz
Wartung	Service-Level und Laufzeit des Wartungsvertrags

Im Alltag liegt der Stromverbrauch unter dem Rechenwert, weil die GPU nicht ständig unter Volllast arbeitet.

Für ein belastbares Angebot braucht es wenige Angaben: wie viele Personen das System nutzen und wie viele davon gleichzeitig, welche Modellklasse oder welche Aufgabe geplant ist, wie groß der Dokumentenbestand ist und wo der Server stehen soll. Mit diesen Angaben erstellt der Serverhero-Vertrieb eine Konfiguration mit Preis.

HPE Private Cloud AI als vorkonfigurierte Alternative

Neben einzelnen Servern bietet HPE ein fertiges Komplettsystem an. HPE Private Cloud AI ist gemeinsam mit NVIDIA entwickelt und kommt vorintegriert: Server, Storage, Netzwerk und Software sind aufeinander abgestimmt, verwaltet wird über HPE GreenLake. Die Rechenknoten sind ProLiant DL380a Gen12, dazu kommen NVIDIA AI Enterprise mit den NIM-Microservices und ab der Größe Small ein HPE-Alletra-Speichersystem.

Größe	GPUs	Storage	Zweck laut HPE
Developer System	2 × RTX PRO 6000	22 TB integriert	Entwicklung von KI-Anwendungen mit kleinen bis mittleren Modellen
Small	4 oder 8 × RTX PRO 6000	62 TB	Inferenz und Visual Computing
Medium	8 × H200	62 TB	Inferenz und RAG
Large	16 × H200 oder RTX PRO 6000	124 TB	Inferenz, RAG und Fine-Tuning

Quelle: HPE Private Cloud AI QuickSpecs, Version 11 vom 6. Juli 2026, abgerufen am 8. Oktober 2026.

HPE richtet das Angebot an Unternehmen mit hohen Anforderungen an den Verbleib der Daten, etwa in regulierten Branchen. Ab der Größe Small wird ein komplettes Rack mit Switches geliefert, das Developer System braucht ein vorhandenes Rack und Netzwerk. Vom selbst dimensionierten ProLiant-Server unterscheidet sich Private Cloud AI durch die festen Konfigurationen: Änderungen an einzelnen Komponenten sind nur nach den Vorgaben von HPE vorgesehen. Der einzelne Server lässt sich dagegen frei bestücken und beginnt eine Größenordnung kleiner, was für ein KMU oft der passendere Einstieg ist. Ob HPE Private Cloud AI für ein Vorhaben in Frage kommt, klärt der Serverhero-Vertrieb.

Häufige Fragen zu lokaler KI auf HPE-Servern

Was brauche ich für einen eigenen KI-Server?

Für einen eigenen KI-Server braucht es einen Server mit mindestens einer GPU, genug GPU-Speicher für das gewählte Modell, Arbeitsspeicher, NVMe-Storage und eine Software wie Ollama, die das Modell bereitstellt. Bei HPE ProLiant reicht die KI-Hardware vom Tower ML350 Gen12 bis zum DL380a Gen12 mit bis zu zehn GPUs. HPE empfiehlt doppelt so viel Arbeitsspeicher wie GPU-Speicher.

Wie viel RAM für lokale KI?

Als Faustregel gilt doppelt so viel Arbeitsspeicher wie GPU-Speicher. Diese Empfehlung steht in den HPE QuickSpecs mehrerer ProLiant-Server, und NVIDIA nennt sie für Inferenz-Server als Minimum. Bei 48 GB GPU-Speicher sind das mindestens 96 GB RAM, bei 144 GB mindestens 288 GB. Das Modell selbst sollte vollständig im GPU-Speicher liegen.

Welche Grafikkarte für lokale KI?

Es zählt der GPU-Speicher: Das Modell muss vollständig hineinpassen. Für ProLiant Gen12 führt HPE unter anderem die NVIDIA L4 mit 24 GB, die RTX PRO 4500 mit 32 GB, die L40S mit 48 GB, die RTX PRO 6000 mit 96 GB und die H200 NVL mit 141 GB. Kleine Modelle laufen auf einer L4, ein Modell mit 70 Milliarden Parametern braucht in komprimierter Form mehr als 43 GB.

Wie viel kostet ein KI-Server?

Der Preis eines KI-Servers hängt von der Ausstattung ab, vor allem von Zahl und Klasse der GPUs. Dazu kommen Arbeitsspeicher, Storage, Lizenzen, Wartung und der Strom im Betrieb. Ein ProLiant ML350 Gen12 mit einer GPU und ein DL380a Gen12 mit acht GPUs liegen deshalb weit auseinander. Einen konkreten Preis nennt Serverhero auf Anfrage für die jeweilige Konfiguration.

Was ist eine lokale KI?

Eine lokale KI ist ein KI-Modell, das auf eigener Hardware läuft und nicht als Cloud-Dienst bezogen wird. Anfragen und Dokumente bleiben im eigenen Netz. Lokale KI für Unternehmen läuft meist auf einem Server mit GPU, zum Beispiel einem HPE ProLiant DL380 Gen12, auf dem eine Software wie Ollama ein Sprachmodell für alle berechtigten Nutzer bereitstellt.

Kann ich ein LLM ohne Internet nutzen?

Ja, ein lokales LLM rechnet auf der eigenen Hardware und braucht dafür keine Internetverbindung. Ollama beschreibt, dass lokal ausgeführte Modelle keine Eingaben an den Hersteller senden, und bietet einen Modus, der alle Cloud-Funktionen abschaltet. Eine Internetverbindung ist für den Download der Modelle und für Updates nötig. Für NVIDIA NIM dokumentiert NVIDIA den Betrieb ohne Internetverbindung eigens. Der ProLiant-Server selbst lässt sich lokal über iLO verwalten.

Was bedeutet KI-Inferenz?

KI-Inferenz ist die Anwendung eines fertig trainierten Modells: Es erhält eine Eingabe und erzeugt daraus eine Antwort. Lokale KI im Unternehmen ist fast immer Inferenz. HPE beschreibt den ProLiant DL380a Gen12 als System für KI-Inferenz mit bis zu zehn GPUs und nennt den DL380 Gen12 für die Inferenz kleiner Modelle.

Wie kann ich KI lokal betreiben?

KI lokal zu betreiben erfordert drei Dinge: einen Rechner mit GPU, ein offenes Modell und eine Software, die es ausführt. Zum Ausprobieren genügt ein PC. Im Unternehmen übernimmt das ein Server, damit mehrere Personen gleichzeitig arbeiten können und der Dienst durchgehend läuft. Ein HPE ProLiant bringt dafür iLO zur Fernverwaltung, redundante Netzteile und Platz für mehrere GPUs mit.

Weiterlesen:

Sie planen lokale KI und möchten wissen, welcher ProLiant-Server zu Ihrem Vorhaben passt? Konfigurierbare Systeme mit GPU finden Sie unter KI- und GPU-Server bei Serverhero, die Modellreihen im Überblick unter HPE ProLiant Server. Serverhero stellt die Konfiguration nach Nutzerzahl, Modellgröße und Einsatz zusammen, mit einem persönlichen Ansprechpartner von der Technik bis zum Kaufmännischen.