Übersicht zu SAS, SATA, PCIe, NVMe & Co.

1. Allgemeine Grundlagen: Parallel und seriell

In der Welt von Servern, Storage und Netzwerk dreht sich viel um die Geschwindigkeit von Datenübertragungen. Dabei wird grundsätzlich zwischen paralleler und serieller Übertragung unterschieden.

1.1 Parallel

Bei paralleler Übertragung werden die Datenelemente gleichzeitig über mehrere Stromkreise (physische Leitungen bzw. Kanäle) im gleichen Takt übertragen (Datenbus). Es entstehen Probleme durch eine Vielzahl von Datenübertragungspfaden und dem Umstand, dass bei einem parallelen Bus sehr viele Leitungen nebeneinander auf der Platine verlaufen. Sobald die Leiterbahnen abbiegen, haben die inneren Leitungen einen kürzeren Weg als die äußeren. Diese (und andere) Unterschiede in den Laufzeiten der einzelnen parallelen Kanäle müssen mit verschiedenen Verfahren synchronisiert werden, was wiederum mehr Aufwand bedeutet, z. B. mäanderförmig gestaltete Leiterbahnen, die die kleinen Abweichungen kompensieren und so für einheitliche Laufzeiten sorgen. Parallele Datenübertragung mit hoher Geschwindigkeit ist daher nur über sehr kurze Strecken möglich.

Mäanderförmige Leiterbahnen auf DDR2 RAM-Speichermodul
Mäanderförmige, parallele Leiterbahnen auf DDR2 RAM-Speichermodul

Beispiele für die parallele Datenübertragung sind die Schnittstellen ATA / ATAPI (Advanced Technology Attachment / Advanced Technology Attachment Packet Interface), PCI (Peripheral Component Interconnect) und SCSI (Small Computer System Interface), wie man es vom Anschließen interner und externer Peripheriegeräten, z. B. Grafikkarte, Netzwerkkarte, Tastatur, Maus, Bildschirm und Drucker, etc. kannte und kennt.

1.2. Seriell

Bei der seriellen Datenübertragung erfolgt die Weiterleitung der Datenbits getrennt und zeitlich nacheinander auf je einer Leitung oder einem Leitungspaar, sodass keine Laufzeitunterschiede ausgeglichen werden müssen, wodurch wiederum höhere Taktfrequenzen, also schnellere Geschwindigkeiten, möglich sind.
Werden Daten seriell, aber zusätzlich mit mehreren Leitungen übertragen, können wesentlich mehr Daten in der gleichen Zeit übermittelt werden.

Beispiele für die serielle Datenübertragung sind u. a. die Schnittstellen RS-232, SATA (Serial ATA), PCIe (PCI-Express), Fibre Channel (FC), Gigabit-Ethernet, High Definition Multimedia Interface (HDMI), Universal Serial Bus (USB), Bluetooth.

2. SAS und SATA

Die parallele Schnittstelle SCSI wurde aufgrund ihrer Leistungsgrenzen vom neuen Standard Serial Attached SCSI, kurz SAS, abgelöst. SAS wurde vor allem für professionelle Anwendungen in Rechenzentren etc. entwickelt.

Für den Datenaustausch mit Festplatten und anderen Speichergeräten bei alltäglichen Anwendungen auf PCs und mobilen Computern wurde ebenfalls ein besserer und schneller Standard benötigt: SATA, der seriell arbeitende Nachfolger des veralteten parallel arbeitenden Standards ATA. Der Standard wird inzwischen jedoch nicht mehr aktiv weiterentwickelt, da es inzwischen bessere Möglichkeiten gibt (siehe PCI, PCIe und NVMe).

Schema: SAS und SATA
Schema: SAS und SATA (eigene Darstellung)

Serielle Schnittstellen können in eine Richtung (Simplex) oder in beide Richtungen (Duplex) arbeiten, bei letzterem erfolgt dies abwechselnd (Halb-Duplex) oder gleichzeitig (Voll-Duplex). Generell erfolgt heutzutage die serielle Datenübertragung als Punkt-zu-Punkt-Übertragung. Dies bietet den Vorteil, dass keine Konfiguration mehr erforderlich ist und die Verkabelung wesentlich einfacher wird.

Weitere Vorteile von serieller Übertragung mit SAS:
SAS bietet Vollduplex-Übertragung (1 x bidirektional oder 2 x unidirektional) mit Übertragungsraten von 12 Gbit/S bis 48 Gbit/s (mit zwei Vollduplex-Ports) gegenüber SATA mit max. 6 Gbit/s sowie durchgängige Datensicherheit (End-to-End- bzw. Punkt-zu-Punkt-Verbindung).
Bei SAS werden bis zu 256 Kommandos unterstützt (Native Command Queueing, NCQ) – im Gegensatz zu max. 32 SATA-Kommandos. Da der SAS-Standard auch SATA erkennt, können an einem SAS-Hostadapter SAS und SATA-Geräte in einer gemischten Speicherlösung angeschlossen werden, um beispielsweise das teurere SAS mit hoher Geschwindigkeit für permanent benötigte Anwendungen und das günstigere und langsamere SATA für Backup-Speicherung zu verwenden.
SAS nutzt die gleichen Stecker wie SATA, und SAS-Laufwerke sind grundsätzlich immer Hot-Plug-fähig. Dank stärkerer SAS-Signalpegel (± 1,2 V) ist die Störanfälligkeit geringer als bei SATA (± 0,25 V), d. h. serielle Übertragung mit SAS ist besser geeignet, speziell für längere Strecken. SAS hat eine Reichweite von bis zu 100 Metern – im Gegensatz zu SATA mit 1 Meter. Des Weiteren lassen sich fast alle SAS-Laufwerke mit einen zweiten Port für Dual-Porting an mehrere Hosts anschließen, um Redundanz und Ausfallsicherheit zu schaffen. SAS ermöglicht auch die Zusammenführung mehrerer Ports zu einem logischen Verbund, um den Durchsatz zu verbessern. An SAS-Schnittstellen können auch SATA-Laufwerke angeschlossen und in Betrieb genommen werden – SATA hingegen kann keine SAS-Laufwerke steuern.
Der SAS-Standard wird immer noch weiterentwickelt und ist weiterhin in der Server-Technologie zu finden, auch wenn es inzwischen häufig von PCIe bzw. NVMe abgelöst wird.

2.1. Fazit SAS und SATA:

Der teurere Standard SAS ist u. a. wegen seiner höheren Geschwindigkeit, Datenübertragungsmenge und Reichweite bzw. wegen der besseren, flexibleren und vielfältigeren Einsatzmöglichkeiten gut geeignet für Anwendungen im professionellen Umfeld mit SSDs, ggf. auch für mehrere Tausende Laufwerke, während sich das günstigere SATA gut für alltägliche Heim-PC-Anwendungen eignet, da es aufgrund der kurzen Übertragungswege (1 m) für Anschlüsse auf dem PC-Motherboard begrenzt ist. SAS mit Vollduplex kann Daten simultan in beide Richtungen übertragen oder beide Kanäle für die gleiche Richtung nutzen. Daher eignet sich SAS für die Schaffung von Redundanzen bzw. die Verbindung mehrerer Systeme.
Aufgrund der Preis- und Leistungsunterschiede werden die günstigeren, langsameren SATA-Schnittstellen eher für selten abgerufene Speichermedien verwendet, die auf langsameren, aber wesentlich günstigeren Magnetfestplatten (HDD) gespeichert sind (Tier 2 / Tier 3 / Tier 4).
Das teurere SAS hingegen wird in erster Linie für Anwendungen, die hohe Datenübertragungsgeschwindigkeiten erfordern, eingesetzt. Hierfür findet die schnellere, weniger anfällige, leisere und energiesparsamere SSD-Technologie Verwendung. (In manchen Fällen werden aber auch SAS-SSDs für häufig stattfindende Speicheranfragen (Tier 0 / Tier 1) genutzt.)

Um ein Storage Area Network (SAN) anzubinden, gibt es neben SAS noch die anderen zwei klassischen Methoden Fibre Channel Protocol (FCP) und iSCSI. Relativ neu ist Periphal Component Interconnect express (PCIe) und das darauf basierende Non-Volatile Memory Express (NVMe) bzw. Non-Volatile Memory Express over Fabric (NVME-oF).

3. Fibre Channel Protocol (FCP)

SCSI-Daten werden per Glasfaser übertragen, wobei alle Switche innerhalb eines FC-Netzwerks wie ein einzelner logischer Switch fungieren können (Fabric). Da Licht zur Übertragung verwendet wird, sind Geschwindigkeiten bis 128 GB/s möglich, außerdem entfallen Probleme, wie elektromagnetische Interferenz (EMI), die bei anderen Netzwerktypen die Datenübertragung beeinträchtigen.

4. internet Small Computer Systems Interface (iSCSI)

Dieser Speicher-Netzwerkstandard basiert auf IP-Adressen, um SCSI-Befehle über Ethernetkabel und -switche an das angeschlossene Storage-System zu übertragen, wobei 1 GB/s bis mehr als 10 GB/s möglich sind.

5. PCIe

Peripheral Component Interconnect express (PCIe) ist die Weiterentwicklung des inzwischen veralteten Bus-Standards PCI zur Verbindung von internen und externen Systemkomponenten (Peripheriegeräte) mit der CPU eines Computers. Anders als beim Vorgänger verwendet PCIe dedizierte Punkt-zu-Punkt-Verbindungen, ist also kein geteiltes Bus-System mehr. Dadurch ergeben sich Vorteile: Einzelne Komponenten sind über Switches verbunden, sodass direkte Verbindungen zwischen den PCI-Komponenten möglich sind. Dies wiederum verhindert, dass die Geräte-Kommunikation untereinander die Datenratenleistung anderer Geräte beeinträchtigt. PCIe verwendet für die Datenübertragung je zwei unterschiedliche Leitungspaare, Lanes oder Links genannt. Dabei dient ein Leitungspaar dem Datenversand, das andere dem Datenempfang. Um die Übertragungsgeschwindigkeit zu erhöhen, können bis zu 32 Lanes gebündelt werden. Grundsätzlich gilt dabei, dass die Bandbreite und damit die Geschwindigkeit mit höherer Version und steigender Lane-Anzahl zunimmt:

PCIe-Versionen und Leistungen
PCIe-Versionen und Leistungen (FS Community)

Alle PCIe-Versionen sind stets abwärtskompatibel.
Aktuell unterstützt der Hersteller AMD bereits die PCIe-4.0.-Version bei seinen EPYC- und Ryzen-CPUs. Für Ende 2021 ist PCIe 5.0. vorgesehen und die nächste Version – PCIe 6.0 – ist für 2022 geplant.
PCIe 6.0 wird die doppelte Übertragungsrate, d. h. 64 GT/s mit 16 Lanes und circa 128 GB/s in beide Richtungen bieten. Dazu werden die Verfahren der Pulsamplitudenmodulation (PAM-4) und der vorausschauenden Fehlerkorrektur (RS-FEC) genutzt.

Bandbreitensteigerungen von PCIe
Bandbreitensteigerungen von PCIe (PCI-SIG)

PCIe-Karten und die dazugehörigen PCIe-Steckplätze gibt es in verschiedenen Ausführungen, die von zwei Faktoren bestimmt werden:

1. die physisch-mechanische Steckplatzlänge: PCIe ×1, PCIe ×4, PCIe ×8 oder PCIe ×16
(außerdem können in offenen Steckplätze auch beliebig lange PCIe-Karten eingesetzt werden)

2. maximal verfügbare Lanes pro Steckplatz / PCIe-Karte: können kleiner, aber nie größer als die mechanische Länge der Steckplätze sein, zum Beispiel mechanische Länge x16 mit elektrischer Belegung von nur x8 oder x4.

Verschiedene PCIe-Steckplätze
Verschiedene PCIe-Steckplätze

Stromversorgung:

An PCIe-Steckplätze angeschlossene Geräte können mit Strom versorgt werden, wobei die Leistungen variieren, da inzwischen je nach Anwendung und Gerät viele verschiedene Ausführungen von PCIe existieren (PCIe Card, MiniCard, M.2 für W-LAN und SSD etc.).

PCIe-Zusatzstecker: Links 6 Pins, rechts 8 Pins
PCIe-Zusatzstecker: Links 6 Pins, rechts 8 Pins

Ein PCIe-Steckplatz kann maximal 75 Watt bereitstellen, dies ist jedoch mit Zusatzsteckern (mit 6 bzw. 8 Pins) auf heutzutage bis zu 300 Watt erweiterbar (vor allem Grafikkarten im Gaming-Bereich), wie die folgende Tabelle verdeutlicht:

Tabelle: PCIe-Steckplätze und Watt-Leistung
PCIe-Steckplätze und Watt-Leistung

Mit den Zusatzsteckern wurden verschiedene Varianten für unterschiedliche Einsatzzwecke und Systeme möglich, wie USB 3.0, Solid-State-Discs (SSD), Grafikkarten, MiniPCIe-Karten, Gigabit-LAN, etc.:

Verschiedene Hardware-Komponenten mit PCI Express
Verschiedene Hardware-Komponenten mit PCI Express

6. NVMe

Non-Volatile Memory Express oder NVMe ist ein Protokoll bzw. eine logische Schnittstelle zur Verbindung von Flash-basierten, nichtflüchtigen Massenspeichermedien (z. B. Solid-State Drives, SSD) über PCIe mit einem Rechner. NVMe ist auch unter dem Begriff Non-Volatile Memory Host Controller Interface Specification (NVMHCIS) bekannt und zeichnet sich durch seine Optimierung für Flash-Speicher sowie die Multithreading-Fähigkeit aus und ist mit vielen IOPS und niedrigen Latenzen besonders leistungsstark. NVMe benötigt zudem keine herstellerspezifischen Treiber.

NVMe wurde 2011 vorgestellt. Neben der NVMe-Basisspezifikation gibt es weitere Spezifikationen: NVMe-over-Fabrics (NVMe-oF, beinhaltet z. B. NVMe-over-RDMA oder NVMe-over-TCP) zur Verwendung von NVMe-Befehlen über eine vernetzte Struktur und NVMe Management Interface (NVMe-MI) zur Verwaltung von NVMe-/PCIe-SSDs in Servern und Speichersystemen.

Die NVMe-Spezifikation wurde von Grund auf für SSDs entwickelt. Es handelt sich um eine viel effizientere Schnittstelle, die eine geringere Latenzzeit bietet und für SSDs besser skalierbar ist als ältere Schnittstellen, wie SATA. Die NVMe-Architektur bringt einen neuen Hochleistungs-Warteschlangenmechanismus mit, der 65.535 E/A-Warteschlangen mit jeweils 65.535 Befehlen unterstützt. Die Warteschlangen werden den CPU-Kernen zugeordnet, was eine skalierbare Leistung ermöglicht. Die NVMe-Schnittstelle reduziert die Anzahl der im Speicher abgebildeten Ein- und Ausgabebefehle erheblich und unterstützt Betriebssystem-Gerätetreiber, die im Interrupt- oder Polling-Modus laufen, um eine höhere Leistung und geringere Latenzzeiten zu erzielen.

SAS, SATA und NVMe im Vergleich
SAS, SATA und NVMe im Vergleich

Kompatibel mit NVMe sind die flashbasierten Massenspeicher in verschiedenen Ausführungen bzw. Bauformen, wie PCIe, SFF (Small Form Factor) mit U.2.-Anschluss oder der Standard NGSFF (Next Generation Small Form Factor), der besser als M.2. bekannt ist.
NVMe findet bisher vor allem in Servern und Workstations Anwendung.

Zusammenfassung der Vorteile von NVMe:

  • Mit vielen Betriebssystemen kompatibel
  • Parallele Datenverarbeitung
  • Kleiner Befehlssatz mit geringem Overhead
  • Keine herstellerspezifischen Treiber erforderlich
  • Optimiert für Flash-Speicher (SSD)
  • Hohe IOPS-Leistung
  • Hohe Datenübertragungsgeschwindigkeiten
  • Geringe Latenzen
  • Verwendung des bestehenden PCIe-Standards
  • Unterstützt unterschiedliche nichtflüchtige Speicherarten
  • Hot-Swap-fähig
  • Optimal für Workstation-, Hosting-, High Performance-Anwendungen
  • NVMe over Fabrics (NVME-oF) für Anbindung von Massenspeichermedien über Netzwerkzwischenebene

6.1. NVMe over Fabrics (NVME-oF)

NVMe funktioniert nur mit direkt angebundenen Flash-Speichermedien. Um jedoch auch Daten über Netzwerke (Ethernet, Fibre Channel, Infiniband) zu übertragen, wurde NVME over Fabrics (NVME-oF) entwickelt.

Das inzwischen veraltete SCSI war der Standard für Speichersysteme. Die Nachfolgerentwicklungen waren Fibre Channel (FC) und SAS. Aber erst mit iSCSI, der Internetvariante von SCSI, wurden auch entfernte Speichersysteme über Ethernet erreichbar für Datenübertragungen, jedoch liefert iSCSI aufgrund eines zu hohen Paket-Overheads zu wenig Transportleistung. Das Netzwerkprotokoll Fibre Channel (FC) für Großspeicher (Storage Attached Network, SAN) hingegen machte wiederum eigenes, teures FC-Zubehör erforderlich.

Die Lösung für diese Problem verspricht NVMe-oF, da es zum einen bei direktem SSD-Anschluss die Transportleistung um ca. 10 bis 15 Prozent steigert, zum anderen in der Netzwerkvariante Tausende von NVMe-Hosts über die Fabric und die NVME-Controller miteinander verbindet. Dabei sorgt ein Multi-Queue-Modell für die gemeinsame Auslastung der Ressourcen durch eine Vielzahl von Hosts und Clients ohne Engpässe und lange Wartezeiten, da separate Auftrags- und Warteschlangen des Multi-Queue-Modells ca. 65.000 Aufträge bewältigen können.

Die Standards SATA und PCIe konnten das gesamte Leistungspotenzial von Flash-Speichermedien noch nicht abrufen. NVMe hingegen wurde eigens für die Verbindung von SSDs mit PCIe entwickelt. Die Erweiterung von NVMe mit den Eigenschaften von Ethernet und Fibre Channel brachte schließlich die gewünschten hohen Übertragungsgeschwindigkeiten auch für SSD-basierte Systeme:

NVMe over Fabric (NVME-oF) ermöglicht eine schnellere und effizientere Konnektivität zwischen Server und Storage und reduziert die CPU-Auslastung der Anwendungen auf Servern.

Neben NVMe over TCP gibt es weitere NVMe-oF-Varianten, wie NVMe over RDMA [Remote Direct Memory Access, mit den Untervarianten RDMA over Converged Ethernet (RoCE), Internet Wide Area RDMA Protocol (iWARP) und InfiniBand].
NVMe-oF stellt sicher, dass NVMe auch in bereits existierenden FCP-Netzwerken funktioniert.

NVMe-Schema
NVMe-Schema (eigene Darstellung)

Durch die Übertragung von NVME-oF auf die Ebene des gesamten Unternehmens bzw. Rechenzentrums ergab sich das Konzept des All-Flash-Arrays, bei dem mehrere Flash-Laufwerke gemäß JBoF-Konzept („Just a Bunch of Flash-drives“) zu einem virtualisierten Pool zusammengefasst werden, sodass das Speichergerät vom Hardware-Controller entkoppelt ist. Durch diese Abstrahierung wird mehr Leistung erzielt als mit SAS oder SATA, und durch die schnellere Netzwerkgeschwindigkeit und die größere Bandbreite ist es möglich, Anwendungen statt auf der Hardware/Software des Host jetzt auf einem gemeinsam verwendeten Netzwerk-Storage laufen zu lassen, sodass Rechenzentrum und Netzwerk noch näher zusammengeführt werden. NVME-oF bietet den zentralen Zugriff auf NVMe-Geräte und damit auf netzwerkgebundene Laufwerke, als ob es lokale Laufwerke wären.

Dies steht ganz im Zeichen von „Software-Defined“, also die vermehrte Nutzung virtualisierter softwaredefinierter statt hardwarebasierter Lösungen für effizientere, besser skalierbare und verwaltbare Systeme mit weniger Fehleranfälligkeiten.
(All-)Flash-Array-Hersteller bieten vollständige NVME-oF-Lösungen an.

Die Schnittstelle für NVMe-Geräte heißt U.2, wobei das „U“ für „universal“ steht, da mit dieser Hardware-Schnittstelle SAS-, SATA- und PCIe-Signale transportiert werden können. Das Hot-Swap-fähige U.2.-Format ist für SSDs von Servern, Storage und Workstations auf Unternehmensebene konzipiert.
Der Nachfolger U.3 bietet einen Tri-Mode-Controller zur automatischen Erkennung, welches der drei Protokolle verwendet wird. Damit entfällt für Hersteller die Notwendigkeit, einen Controller für SAS/SATA und einen für NVMe zu verwenden.

Interessante Artikel zu vielen weiteren Themen finden Sie ebnefalls auf unserer Seite „Wissen2Go“, wie zum Beispiel:

Des Weiteren haben wir auf unserer Seite „Wissen2Go“ auch Steuer-Spartipps für Ihre IT-Anschaffungen und Informationen zur staatlichen Förderung von IT-Investitionen für Sie erstellt. Auch bei diesen Themen beraten wir jederzeit! Und falls Sie in einer Schule tätig sind, nutzen Sie unsere Beratung zu den Vorteilen des Digitalpakts der Bundesregierung! Informationen zu staatlichen Fördergeldern für Technologieinnovationen in Krankenhäusern finden Sie in unserer Übersicht Krankenhauszukunftsgesetz (KHZG) für die Digitalisierung von Krankenhäusern.

Sie haben Fragen zu diesem Thema oder anderen Speicher- und Netzwerklösungen? Auf unserer Website können Sie sich zu verschiedenen Herstellern und Lösungen informieren. Natürlich unterstützen wir Sie jederzeit gerne mit Beratung und Auskunft. Wenden Sie sich einfach per E-Mail, Telefon oder gleich hier auf der Seite im persönlichen Kundenchat an unsere freundlichen Mitarbeiter*innen – Sie sprechen immer direkt mit unseren zertifizierten Spezialist*innen!

Kennen Sie schon unseren Server-Konfigurator? Wenn Sie einen Server kaufen möchten, geht dies ganz einfach: Mit ein paar Klicks erstellen Sie sich auf unserer Seite Ihren persönlichen maßgeschneiderten Server! Fragen Sie bei der Gelegenheit auch gleich nach den Serverhero-Projektkonditionen: wir sind eines der wenigen IT-Unternehmen in Deutschland, das von allen führenden Herstellern, wie Veeam, Lenovo, Supermicro, Dell, Fujitsu, Hewlett Packard Enterprise, Lancom etc., mit Partner-Status zertifiziert wurde. Dadurch erhalten wir spezielle Konditionen, die wir direkt an Sie weitergeben: Sparen Sie mit unseren Projektkonditionen bis zu 40 % der Anschaffungskosten!

Serverhero. Wir sind die Experten für Server und Storage.

Michael Sowiecki

Haben Sie Fragen zu einem Produkt,
oder Sie benötigen Hilfe?

Sie erreichen uns unter: +49 2234 2196 500 Kostenloser Rückruf Service Rückruf anfordern

Fragen?

Wir rufen gern zurück! Einfach Telefonnummer und Name eintragen und gewünschte Zeit auswählen.

Haben Sie Fragen zu einem Produkt,
oder Sie benötigen Hilfe?

Wir freuen uns auf Ihre E-Mail: info@serverhero.de Wir freuen uns auf Ihre Nachricht: Kontaktformular

Wir freuen uns auf Ihre Nachricht. Bitte füllen Sie das nachfolgende Formular aus.

Absenden

Weitere Kontaktmöglichkeiten: