NVIDIA Server GPUs –
H100, L40S, L4 & RTX

Erste Wahl für KI-Training ist die H100 – als 80-GB-PCIe-Karte oder als NVL-Ausführung mit 94 bzw. 96 GB, bei der zwei Karten per NVLink gekoppelt werden. Der GPU-Speicher begrenzt dabei die Modellgröße: Je größer das Modell, desto mehr HBM3 braucht die Karte. Für Finetuning und FP64-lastige HPC-Workloads bleibt die A100 40 GB eine wirtschaftliche Option.

Der Preis hängt von der Ausführung (80 GB PCIe oder NVL), dem OEM-Branding und der Tagesverfügbarkeit ab – Einkaufspreise und Lieferzeiten ändern sich bei Datacenter-GPUs kurzfristig. Verbindliche Preise kalkulieren wir deshalb projektbezogen und tagesaktuell – fordern Sie ein Angebot mit Ihrem Servermodell an.

Die H100 80 GB PCIe ist eine einzelne passive Doppelslot-Karte. Die NVL-Ausführung bietet mehr Speicher (94 bzw. 96 GB je nach OEM) und wird über eine NVLink-Brücke mit einer zweiten Karte gekoppelt – der Datenaustausch zwischen beiden läuft damit deutlich schneller als über den PCIe-Bus. Zugeschnitten ist das auf die Inferenz großer Sprachmodelle, die nicht in den Speicher einer einzelnen Karte passen.

Bei einer OEM-Ausführung hat der Serverhersteller die Karte für das konkrete Modell freigegeben. Das betrifft die Firmware-Integration ins Management (iLO, iDRAC, XCC, iRMC), die Lüftersteuerung für passive Karten, die Ersatzteilversorgung und die Garantie über den Server-OEM. Alle Karten in unserem Sortiment sind solche OEM-Ausführungen von HPE, Dell, Lenovo oder Fujitsu.

Fünf Kriterien müssen passen: ein freier PCIe-Slot in passender Generation, Bauhöhe und Slot-Breite (Full Height oder Low Profile, Single- oder Doppelslot), die Netzteilreserve, ein Lüfterprofil für passiv gekühlte Karten und die Freigabeliste des Serverherstellers. Nennen Sie uns Ihr Servermodell – wir prüfen alle fünf Punkte vor der Bestellung.

Für Inferenz zählt der Durchsatz pro Watt, nicht die Trainingsleistung. Die L40S (48 GB) deckt anspruchsvolle Inferenz ab, die L4 (24 GB, 72 W) ist die wirtschaftlichste Wahl für den Dauerbetrieb, A2 und T4 reichen für leichte Workloads. Eine H100 ist für reine Inferenz meist überdimensioniert.

Für hohe Nutzerdichte ist die A16 gebaut: 64 GB und vier GPU-Einheiten auf einer Karte. Brauchen einzelne Anwender echte Grafikleistung – etwa für CAD – sind L40S, A40 oder RTX-Karten die bessere Wahl. In jedem Fall kommt eine vGPU-Lizenz hinzu; wir weisen sie im Angebot direkt mit aus.

Architektonisch folgt auf die A100 (Ampere) die H100 (Hopper), danach die Blackwell-Generation. Die Praxisfrage ist aber weniger die Generation als der Engpass: Hängt Ihr Workload am Speicher, an der Bandbreite oder an der Rechenleistung? Bei der Erweiterung bestehender Cluster spricht zudem vieles dafür, in der vorhandenen Generation zu bleiben.

Ja – sobald eine GPU auf mehrere virtuelle Maschinen aufgeteilt wird. Lizenziert wird je nach Produktlinie pro gleichzeitig genutzter VM oder pro GPU; NVIDIA AI Enterprise läuft als Abonnement. Die Details erklärt unser Ratgeber NVIDIA GPU-Lizenzen – im Angebot kalkulieren wir Hardware und Lizenzen zusammen.

Auf dieser Seite finden Sie PCIe-Karten zum Nachrüsten bestehender Server. H200, B200 und GB200 sind SXM-Module, die auf einem herstellerspezifischen Baseboard sitzen und nur als Teil eines dafür gebauten Systems lieferbar sind. Solche Systeme setzen wir als Projekt über unsere GPU-Server um.

Die Spanne reicht von 30 W (T400) über 50–72 W (A2, RTX A400, L4) und 150–250 W (A10, A16) bis 350–400 W (L40S, H100); die RTX PRO 6000 Blackwell liegt bei 600 W. Wichtig: Die TDP nicht nur gegen das Netzteil rechnen, sondern auch gegen die Kühlleistung des Racks.

Unser Sortiment ist Neuware mit Herstellergarantie über den Server-OEM. Der Gebrauchtmarkt für Datacenter-GPUs ist unübersichtlich – Garantieübertragung und Firmware-Stand sind oft ungeklärt. Bei begrenztem Budget ist eine kleinere aktuelle Karte meist die bessere Investition als eine große gebrauchte; wir rechnen Ihnen beide Wege durch.