PCI-Express: Lanes, Routing, Sharing, Switches und Redriver erklärt [PCI-E-5.0-Update]

Anderthalb Jahre nach den PCI-Express-5.0-Hosts sind die ersten PCI-E-5.0-Clients erhältlich. Wir haben unseren Grundlagenartikel zu der wohl wichtigsten Schnittstelle überarbeitet und erklären neben Lanes, Switches und Plattform-Konzepten jetzt auch die Herausforderungen der Ausbaustufe 5.0.

55
Special Torsten Vogel
PCI-Express: Lanes, Routing, Sharing, Switches und Redriver erklärt
Quelle: PC Games Hardware
Aktuelle Änderungen hervorheben

Als Intel Ende 2004 zusammen mit dem Sockel 775 den neuen PCI-Express-Standard im Desktop-Segment einführt, sind einige Leute zunächst irritiert. Der damals übliche AG-Port gilt als schnell genug für Grafikkarten, viele Anwender sehen in der neuen Schnittstelle keinen (Leistungs-)Vorteil. Ganz anders die Mainboard-Hersteller, denn wesentlich dringender als AGP muss der PCI-Bus abgelöst werden - dessen Bandbreite reicht für SATA- und Gigabit-LAN-Controller schon länger nicht mehr aus. Seit damals hat sich die Menge und Leistung von PCI-Express-Geräten stetig weiter entwickelt und strebt nach einem quantitativen Desktop-Maximum bei der TR4-Plattform mit 68 Lanes jetzt vor allem nach qualitativen Höhepunkten, nämlich weiteren Geschwindigkeitsverdoppelungen. Auf die Besonderheiten von PCI-Express 5.0 gehen wir im jüngsten Update gezielt ein, weiterhin uneingeschränkt gültig sind aber auch die grundlegenden Teile des Artikels zu Aufbau, Routing und insbesondere Sharing in PCI-Express-Systemen. Genauso wie zu Artikel-Erstveröffentlichung 2015 gilt auch in der PCI-Express-5.0-Generation: Zählt man alle Zusatz-Controller, U.2- und M.2-SSDs, Erweiterungsslots sowie gegebenenfalls involvierte SATA-Ports zusammen, deren Nutzung Mainboard-Hersteller bewerben, so liegen die Bandbreitenanforderungen nicht selten über den von Grafikkarten und über den Möglichkeiten der Plattform. Wer sich mit der Technik nicht auskennt, läuft hier schnell Gefahr, auf leere Werbeversprechen hereinzufallen.

13:26
PCI-E 4.0 auf X470 und X570: Grundlagenwissen zum neuen Standard im Video

PCI-Express-Grundlagen: Was ist eine Lane?

Nach fast 20 Jahren hat es PCI-Express geschafft, den Vorgänger vollständig zu verdrängen. Das letzte Mainboard mit PCI in der PCGH-Redaktion war Biostars B550GTA. Quelle: PC Games Hardware Nach fast 20 Jahren hat es PCI-Express geschafft, den Vorgänger vollständig zu verdrängen. Das letzte Mainboard mit PCI in der PCGH-Redaktion war Biostars B550GTA. Der PCI-Bus war aus Anwendersicht übersichtlich: 32 parallele, durchgehende Datenleitungen verbanden alle Slots und, falls vorhanden, alle Onboard-Controller untereinander und mit dem Chipsatz. Bei Bedarf beanspruchte ein Endgerät die volle Bandbreite und sendete an alle anderen Geräte. Für Mainboard-Hersteller wurde diese Architektur jedoch zum Problem. Denn mit jedem Endgerät wurde das Layout der vielen Leiterbahnen komplizierter und die Störungen auf den Signalleitungen größer. Höhere Taktraten waren so kaum zu erreichen. PCI mit 66 statt 33 MHz konnte sich im Endkundensegment nie durchsetzen, für die zahlreichen Endgeräte wurde aber mehr Bandbreite benötigt. Im Server-Segment behalf man sich mit zusätzlichen Datenleitungen in Form von PCI64 und PCI-X (nicht mit PCI-E zu verwechseln), für den Desktop musste eine günstigere Lösung her.

PCI-Express übernahm von PCI daher nur den Namen und die Steuerbefehle. Letztere garantieren 100-prozentige Softwarekompatibilität - ein altes Betriebssystem bemerkt nicht einmal, dass es mit neuer Technik arbeitet. Die Schnittstelle selbst wurde aber auf sogenannte Lanes umgestellt. Jede Lane besteht aus je einem getrennten Sende- und Empfangskanal, die ihrerseits aus einem differentiellen Adernpaar bestehen. Das heißt: Informationen werden nicht als einzelner Impuls, sondern als Spannungsdifferenz zwischen zwei Adern übertragen - externe Störquellen führen nicht zu Phantom-Signalen, da sie beide Adern ähnlich beeinflussen. Genutzt werden diese Lanes als Punkt-zu-Punkt-Verbindung, jedes Endgerät hat seine eigene Lane. So entfallen auch die gegenseitigen Signalstörungen eines verzweigten Bus-Systems. Mit nur einem Kanal je Richtung arbeitet PCI-Express außerdem seriell - Bits werden also nacheinander übertragen und erreichen den Empfänger unabhängig von der Entfernung in korrekter Reihenfolge. Parallele Schnittstellen wie PCI erfordern dagegen abgestimmte Leiterbahnlängen, damit alle Bits einer Übertragung innerhalb des gleichen Takts eintreffen. Während PCI deswegen bei 33 MHz und 133 MB/s für beide Richtungen zusammen stagnierte, erreichte PCI-Express mit einem Sechzehntel der Datenleitungen bereits zum Start 2,5 GHz und somit bis zu 250 MB/s pro Lane und Richtung.

PCI-Express-Anbindungen: ×1, ×2, ×4, ×8, ×16?

Auf Endkunden-Mainboards eher selten zu sehen: Ein mechanischer ×4-Slot. Supermicro gibt vorbildicher Weise auch genau an, mit wie vielen Lanes er angebunden ist und woher diese stammen. Quelle: PC Games Hardware Auf Endkunden-Mainboards eher selten zu sehen: Ein mechanischer ×4-Slot. Supermicro gibt vorbildicher Weise auch genau an, mit wie vielen Lanes er angebunden ist und woher diese stammen. Benötigt ein Endgerät mehr als die 250 MB/s (PCI-Express 1.0/1.1), 500 MB/s (2.0) , 985 MB/s (3.0) oder 1.969 MB/s (4.0) einer einzelnen Lane, sieht der PCI-Express-Standard die Bündelung mehrerer Lanes innerhalb eines PCI-E-Links vor. Ein Klassiker ist der ×16-Slot für Grafikkarten, der mit "PCI-Express for Graphics" (PEG) sogar einen eigenen Namen hat. Darunter gibt es ×8, was für Grafikkarten ausreicht und vor allem in Multi-GPU-Systemen genutzt wurde, das vor allem für PCI-Express-SSDs interessante ×4-Format, seltener ×2-Verbindungen und natürlich ×1-Links mit nur einer Lane, die über die Jahre hinweg den alten PCI-Bus als Standard für Zusatzcontroller(-karten) verdrängt haben. Zusätzlich wurden ein ×12- und ein ×32-Format spezifiziert, praktisch aber nicht umgesetzt.

Auch bei den kombinierten Multi-Lane-Links handelt es sich übrigens weiterhin um serielle Schnittstellen. Ein Datenpaket wird jeweils nur über eine Lane übertragen und seine Bits können nicht durcheinander geraten. Erst der Empfänger setzt dann die einzelnen Pakete anhand ihrer Identifizierungsnummern wieder zu einer größeren Datenstruktur zusammen. Mit der elektrischen Anbindung skaliert die mechanische Ausführung der Slots, eine große Grafikkarte braucht schließlich eine bessere Arretierung als eine USB-Controller-Karte. Der Anfang aller Slots ist aber einheitlich gestaltet, nur die Länge des hinteren Bereiches wächst mit der Zahl der Lanes. So kann eine ×1 Karte auch in jedem ×16-Slot betrieben werden.

(Anmerkung: Das unten stehende Video wurde 2015 gedreht und beschreibt die Sockel-1151-Skylake-Plattform als neu. Die vermittelten Informationen zu PCI-Express sind aber weiterhin gültig.)

14:06
PCGH erklärt PCI-Express: Lanes, Routing, Sharing und Switches im Video

PCI-Express-Slots: Mechanisch? Elektrisch?

Das bis bislang vorgestellte PCI-Express-Grundkonzept stellt eine einfache, übersichtliche Punkt-zu-Punkt-Verbindung vom Controller zum Endgerät dar. In der Praxis kommen aber zahlreiche Stolpersteine hinzu. So sind beispielsweise nicht nur Karten mit unterschiedlicher Anbindung zu diversen mechanischen Slots kompatibel, auch lassen sich letztere frei mit wechselnder elektrischer Anbindung kombinieren. Beispielsweise werden alle für Grafikkarten gedachten Slots im mechanischen ×16-Format ausgeführt, auch wenn sie elektrisch nur mit ×8 angebunden sind. Auch für Slots, die nur über 4 Lanes verfügen, verwenden Mainboard-Hersteller gerne das mechanische ×16-Format. Das ist praktisch, wenn zu Testzwecken oder für 2D-Multimonitoring doch einmal eine Grafikkarte die vergleichsweise langsame Schnittstelle nutzen soll. Zugleich ist es aber auch ein gefundenes Fressen für Marketing-Experten, die derartige Slots natürlich trotzdem frech mit "×16" bewerben, obwohl sie sich elektrisch wie ein normaler ×4-Steckplatz verhalten. So gibt es am Markt durchaus mehrere Mainboards, die vier oder gar fünf derartige Slots tragen, aber nur eine einzige Grafikkarte mit voller Geschwindigkeit anbinden können. Ein Blick in Tests und technische Spezifikationen kann Fehlkäufe verhindern. Dies gilt in besonderem Maße für Intels Workstation-Plattformen Sockel 2066 und 4677, für die CPUs mit unterschiedlichen PCI-Express-Ausstattungsstufen gibt. Auch wenn der Mainboard-Hersteller alle Kontakte eines Slots mit dem CPU-Sockel verbunden hat, kann es hier vorkommen, dass die Leitungen inaktiv bleiben - weil den günstigeren Prozessoren der passende Controller fehlt.

PCI-Express-Sharing: Splitter

Sehr typisch: Eine regelmäßige Gruppe von vier Chips dieser Größe und Format in der unteren Boardhälfte ist meist eine Phalanx von PCI-Express-Splittern, die 8 Lanes eines Slots an einen anderen umleiten. Quelle: PC Games Hardware Sehr typisch: Eine regelmäßige Gruppe von vier Chips dieser Größe und Format in der unteren Boardhälfte ist meist eine Phalanx von PCI-Express-Splittern, die 8 Lanes eines Slots an einen anderen umleiten. Auch auf anderen Plattformen wird man oft auf wechselnde Anbindungen stoßen. Zwar kann eine PCI-Express-Lane nicht mehrere Geräte versorgen, aber man kann die Lane über elektrische Splitter mit verschiedenen Leiterbahnen verbinden. Auf High-End-Mainboards weiterhin anzutreffen sind beispielsweise zwei mechanische ×16-Slots mit "shared" Anbindung. 8 Lanes der CPU werden permanent zum ersten Slot geführt, 8 weitere Lanes aber zu einer Gruppe aus meist 4 Splittern. Diese leiten sie wahlweise ebenfalls an den ersten Slot, der dann als normaler elektrischer ×16 arbeitet. In diesem Betriebsmodus bleibt der zweite Slot aber komplett ohne Anbindung und ist funktionslos. Möchte man ihn zum Beispiel für SLI nutzen, leiten die Splitter hierfür ihre 8 Lanes um. Der erste Slot läuft nun im ×8-Modus, der zweite ebenfalls.

Da ×8-Slots ausreichend schnell für Grafikkarten sind und Mainstream-CPUs nicht über zweimal 16 Lanes verfügen, ist dies ein probates Mittel, um Dual-GPU-Betrieb zu ermöglichen. Ärgerlich kann es dagegen bei kleineren Slots werden. Während ein ×16-Link langsamer weiterarbeitet, wenn man ihn auf ×8 zusammenstaucht, fällt ein ×1-Slot ganz aus, wenn seine Lane z.B. für einen SATA-Zusatzcontroller benötigt wird. Gerade durch M.2-NVME-SSDs, die für optimale Performance einen M.2-Slot mit vier PCI-Express-Lanes erfordern, hat das Sharing neue Dimensionen erreicht, denn einige Plattformen verfügen nur über wenige derartige Ressourcen, Mainboard-Hersteller versprechen aber gerne eine umfangreiche Ausstattung. Der Käufer profitiert hiervon durch Flexibilität - eine Lane, die nicht fix auf die SATA-Versorgung gebucht ist, sondern sich auch für M.2 nutzen kann, ist nett, wenn man wenig SATA- und viele M.2-Geräte hat. Aber auch hier gilt: Vor dem Kauf sollten gute Tests studiert werden, um Enttäuschungen zu vermeiden. Im konkreten Beispiel wären viele SATA- und viele M.2-Geräte gleichzeitig unmöglich - bei einem Konkurrenzprodukt, das Lanes stattdessen zwischen M.2 und PCI-E-Slots shared, kann dies schon ganz anders aussehen, obwohl beide Hersteller mit den gleichen Ressourcen arbeiten und die gleiche Palette an Schnittstellen versprechen.

PCI-Express-Vervielfältigung: Switches

An dieser Stelle sei kurz ein Sonderfall erwähnt, der sich bis in PCI-E-3.0-Zeiten auf Mainboards (weit) jenseits der 300-Euro-Klasse fand, heute aber nur noch in Servern genutzt wird. Neben oben genannten Splittern, die oft auch als "Switches" (von engl. "Schalter") bezeichnet werden, gibt es nämlich auch PCI-Express-Switches, deren Funktion an Netzwerk-Switches erinnert. Diese können Daten aus mehreren Quellen annehmen und dynamisch an andere Geräte weiterleiten. So ist beispielsweise ein teurer 48-Port-PLX-Switch in der Lage, gleichzeitig eine ×16-Verbindung zur CPU und je eine ×16-Verbindung zu zwei GPUs unterhalten. Letztere können also abwechselnd mit ihrer vollen Bandbreite auf die CPU und deren Speichercontroller zugreifen, sie können ohne Belastung der knappen CPU-Bandbreite untereinander über den Switch kommunizieren und die CPU kann Daten, die beide GPUs benötigen, einmalig mit zwei Empfängeradressen versenden.

Noch nützlicher sind Switches im I/O-Hub-Umfeld. Viele Endgeräte brauchen nicht die volle Bandbreite einer PCI-Express-Lane respektive einer ×4-Anbindung oder sind nur selten aktiv. Relativ günstige 1-auf-4-Switch von AS Media ermöglichten es auf etlichen Oberklasse-Mainboards, dass sich mehrere LAN-Controller oder ×1-Slots eine der knappen Lanes teilten, ohne dass es zu Leistungsverlusten kam. Auch I/O-Hubs, auf AMD-Plattformen oft von AS Media selbst konstruiert, übernehmen unter anderem die Funktion eines PCI-E-Switches/-Vervielfältigers.

      • Von Hagal PC-Selbstbauer(in)
        Heute hörte ich zum ersten Mal von einem PCi Express Switch Port im Gerätemanger.

        Ich habe meinen PC gestartet und die Skalierung war falsch. HDR war offline und wenn ich mit der rechten Maustaste auf den Desktop klickte, war die AMD Adrenalin Software aus dem Dropdown-Menü verschwunden, also ging ich in den Gerätemanager und siehe da, einer der beiden PCI Express Streams war ohne Treiber.

        Ich bemerkte, dass Microcrap-Treiber installiert sind und keine von AMD und ein Treiber war offensichtlich verschwunden. Leider gibt es im Netz weder eine genaue deutsche Beschreibung, wozu diese beiden Geräte genau dienen, noch sonst etwas zu diesem Thema.

        Da dies heute zum ersten Mal aufgetreten ist und die Art und Weise, wie es passiert ist, scheint etwas nicht zu stimmen und wird sicher bald viele weitere Leute betreffen. ich installierte den Treiber neu und alles ist wieder normal. aber ich finde keinen Grund, wie der Treiber ohne mein Zutun verschwunden ist, der PC war vorher aus. seltsam...

        AMD 5950-X570-RX6900XT - Windows10 Build 22H2 19045.3393 (newst) und AMD Treiber 23.9.1

        dobryy den
      • Von Hagal PC-Selbstbauer(in)
        Heute hörte ich zum ersten Mal von einem PCi Express Switch Port im Gerätemanger.

        Ich habe meinen PC gestartet und die Skalierung war falsch. HDR war offline und wenn ich mit der rechten Maustaste auf den Desktop klickte, war die AMD Adrenalin Software aus dem Dropdown-Menü verschwunden, also ging ich in den Gerätemanager und siehe da, einer der beiden PCI Express Streams war ohne Treiber.

        Ich bemerkte, dass Microcrap-Treiber installiert sind und keine von AMD und ein Treiber war offensichtlich verschwunden. Leider gibt es im Netz weder eine genaue deutsche Beschreibung, wozu diese beiden Geräte genau dienen, noch sonst etwas zu diesem Thema.

        Da dies heute zum ersten Mal aufgetreten ist und die Art und Weise, wie es passiert ist, scheint etwas nicht zu stimmen und wird sicher bald viele weitere Leute betreffen. ich installierte den Treiber neu und alles ist wieder normal. aber ich finde keinen Grund, wie der Treiber ohne mein Zutun verschwunden ist, der PC war vorher aus. seltsam...

        AMD 5950-X570-RX6900XT - Windows10 Build 22H2 19045.3393 (newst) und AMD Treiber 23.9.1

        dobryy den
      • Von PCGH_Torsten Community Manager
        "*When M.2_3 is occupied with an SSD device, PCIEX16_1 will run x8 only" klingt für mich nicht nach "sharing-frei". Zusätzlich legt die Bennung der SATA Ports mit E1-E4 beim B650E-E nahe, dass ein externer Zusatzcontroller zum Einsatz kommt; bei nativen Ports verzichtet Asus sonst auf das "E". Ein ASM1064 würde zum Beispiel viermal SATA-Bereitstellen, aber nur einen der PCI-E-3.0-oder-SATA-Ports des B650 belegen, sodass zwei des Rests für LAN und WLAN zur Verfügung stehen, während die 4.0-Lanes für ×4 und quartären M.2 genutzt werden. Rein rechnerisch müsste Asus sogar noch eine 3.0-Lane frei haben, die man in einen ×1 hätte investieren können.

        Um das mit Sicherheit zu sagen, müsste ich das Board natürlich erstmal testen. Aber ein ASM-Switch ist auf alle Fälle die unwahrscheinlichere Erklärung, denn deren Portfolio umfasst nur PCI-E-3.0-Modelle und das B650E-E hängt lässt einen zusätzlich M.2 definitiv über 5.0-Lanes der CPU laufen und den zweiten über 4.0-Lanes des I/O-Hubs. Wer dafür einen packet switch haben will, muss bei PLX oder ähnlichen einkaufen und das war nach 3.0-Generation bislang jedem Desktop-Hersteller zu teuer.
      • Von ThorsHammer1 Komplett-PC-Käufer(in)
        Wenn PCIe Switches nur auf Serverboards verbaut sind, wie schafft dann das Asus Rog B650E-E Gaming 4 m.2 slots plus elekt. X4 Slot wo in den technischen Daten kein sharing vermerkt ist? Ich habe mir das B650E-F Gaming gegönnt, dass hat nur 3 m.2 wobei der Unterste mit dem unterstem PCIe Steckplatz geshared ist was in den technischen Daten vermerkt ist. Ich habe mir ausgerechnet dass das F Gaming alle PCIe Ports nutzt, das E Gaming hat 2 PCIe x1 weniger, damit aber mit 4 m.2 alle x4 dann 6 lanes zu viel. Ich habe mal gesucht, Asmedia stellt selber PCIe Switches her und illustriert das sogar am Bespeil m.2. Da ja auch Die Chips von Chipsätzen mit switches arbeiten und da nicht nur PCIe sondern auch mehrere USB-Controller rausswitchen sollte so ein switch auch gar nicht so exorbitant teuer sein müssen denke ich.
      • Von DARPA Volt-Modder(in)
        AW: PCGH erklärt PCI-Express: Lanes, Routing, Sharing, Switches - PCI-Express-Wirrwarr entschlüsselt

        Zitat von hammurapi
        ASUS Z190 Deluxe
        Da es kein Z390 Deluxe gibt, meinst du sicher das Z170 Deluxe

        Aber egal, bei praktisch allen Sockel 1151 Mainboards laufen NVMe Laufwerke über den PCH (Chipsatz). Die Grafikkarte immer über die CPU.
        Entsprechend kann man beides gemeinsam einbauen ohne dass sich Grafikkarte und NVMe gegenseitig ausbremsen.
      • Von hammurapi Schraubenverwechsler(in)
        AW: PCGH erklärt PCI-Express: Lanes, Routing, Sharing, Switches - PCI-Express-Wirrwarr entschlüsselt

        Danke für den Artikel. Durchblick etwas verbessert.
        Jedoch kann ich nach wie vor nicht abschätzen, ob auf einem

        ASUS Z190 Deluxe

        mit einer

        Plextor PX-G513M6e 512 M.2 SSD

        die

        NVIDIA 2080 RTX Ti

        reduzierter Durchsatz hat.
        lg
        Adrian
  • Print / Abo
    Apps
    PCGH Magazin 04/2024 PC Games 04/2024 PC Games MMore 04/2024 play5 04/2024 Games Aktuell 01/2024
    PCGH Magazin 04/2024 PC Games 04/2024 PC Games MMORE Computec Kiosk