Hände

Die Jetson-Reihe von Einplatinencomputern von NVIDIA macht etwas anderes in einem riesigen Meer relativ ähnlicher Linux-SBCs. Sie wurden für Edge-Computing-Anwendungen entwickelt, beispielsweise für einen Roboter, der im Feld Hochgeschwindigkeits-Computer-Vision ausführen muss. Sie bieten außergewöhnliche Leistung auf einer Platine, die in Größe und Gewicht mit anderen SBCs auf dem Markt vergleichbar ist. Der einzige Unterschied besteht erwartungsgemäß darin, dass sie tendenziell viel mehr kosten: Das aktuelle Spitzenmodell des Jetson AGX Orin-Entwicklerkits kostet 1.999 US-Dollar

Zum Glück für Hacker und Hersteller wie uns erkannte NVIDIA, dass sie einen erschwinglichen Zugang zu ihrem Ökosystem brauchten, und führte 2019 den 99 US-Dollar teuren Jetson Nano ein. Das Produkt erwies sich als so beliebt, dass das Unternehmen es nur ein Jahr später mit einem optimierten Trägerboard auffrischte, das nicht mehr erhältlich war Die Kosten für das Kit sind auf unglaubliche 59 US-Dollar gesunken. Um diesen Erfolg noch weiter auszubauen, kündigte NVIDIA heute einen neuen, hochwertigen Einstieg in die Nano-Familie an, die irgendwo in der Mitte liegt.

Auch wenn der Preis von 499 US-Dollar für das Jetson Orin Nano Developer Kit für Bastler etwas hoch sein mag, steht außer Frage, dass Sie für Ihr Geld viel bekommen. NVIDIA schätzt, dass der Orin Nano mit einer Leistung von 40 Billionen Operationen pro Sekunde (TOPS) unglaubliche 80-mal so leistungsstark ist wie der vorherige Nano. Es ist ein Leistungsniveau, das zugegebenermaßen nicht jeder Hackaday-Leser auf seiner Werkbank braucht. Aber der Reiz eines handflächengroßen Supercomputers ist sehr real, und jeder, der Interesse daran hat, mit maschinellem Lernen zu experimentieren, tut gut daran, den Orin Nano (im wahrsten Sinne des Wortes und im übertragenen Sinne) gegen einen Desktop-Computer mit einer vergleichbaren NVIDIA-Grafikkarte abzuwägen.

Wir erhielten eines der allerersten Jetson Orin Nano Developer Kits vor der offiziellen Enthüllung während der NVIDIA GTC (GPU Technology Conference) und ich habe die letzten Tage damit verbracht, mich mit der Hardware und Software aus der Nähe zu beschäftigen. Nachdem ich mich mit der Tatsache abgefunden habe, dass dieses winzige Board wesentlich leistungsfähiger ist als der Computer, auf dem ich dies gerade schreibe, bin ich gespannt, was die Community mit der unglaublichen Leistung dieses kleinen Systems erreichen kann.

Auf den ersten Blick sieht das Jetson Orin Nano Developer Kit dem vorherigen Nano bemerkenswert ähnlich. Es scheint klar zu sein, dass NVIDIA wusste, dass sie ein erfolgreiches Design hatten, und sich klugerweise dafür entschieden hat, daraus Kapital zu schlagen, anstatt zu versuchen, bei Null anzufangen. Es ist ein hervorragendes Beispiel dafür, wie man eine gute Idee aufgreift und besser macht – sie haben einfach mehr von allem hinzugefügt, sowohl innen als auch außen.

Die Vorderseite des Orin Nano Dev Kit verfügt über eine DC-Hohlbuchse für die Stromversorgung (19 V bei 2,4 A), vier USB-3.2-Typ-A-Anschlüsse, DisplayPort-Video, Gigabit-Ethernet und einen USB-C-Anschluss, der in der Dokumentation als Debugging-Gerät angegeben ist nur zu Zwecken. Auf der linken Seite befinden sich zwei CSI-Kameraanschlüsse und auf der rechten Seite derselbe 40-Pin-Erweiterungsanschluss wie auf den vorherigen Nano-Boards.

Von all diesen Änderungen fand ich die Umstellung auf DisplayPort etwas nervig. Während DP heutzutage kaum noch ein seltener Anschluss ist, gibt es keine Konkurrenz zur Allgegenwart von HDMI. Etwas interessant ist auch die Rückkehr der DC-Buchse, da deren Entfernung und Ersetzung durch einen USB-C-Anschluss eine der Änderungen war, die NVIDIA zwischen dem ursprünglichen Jetson Nano und der kostenoptimierten 59-Dollar-Version vorgenommen hat. Da der Strombedarf des Orin Nano innerhalb der Kapazitäten von USB-C Power Delivery liegt, kann ich nur davon ausgehen, dass einige Benutzerrückmeldungen den Wechsel zurück zum traditionelleren Anschluss ausgelöst haben müssen.

Wenn wir die Tafel umdrehen, können wir einige weitere Ergänzungen sehen. Im Gegensatz zu seinen Vorgängern verfügt das Orin Nano Dev Kit über drahtlose Funktionen in Form einer AzureWave AW-CB375NF WiFi/Bluetooth-Karte, die in den M.2 2230-Steckplatz des Boards eingesteckt wird, komplett mit zwei PCB-Antennen. Es gibt einen zweiten M.2-Key-M-Steckplatz zur Speichererweiterung und einen Key-E-Steckplatz, der laut Dokumentation PCIe, USB 2.0, UART, I2S und I2C unterstützt.

Stecker und Anschlüsse sind nett, aber bei so etwas stellt sich natürlich die Frage, wie leistungsstark es ist. Während der vorherige Jetson Nano eine Maxwell-GPU mit 128 Kernen mitbrachte, verfügt der neue Orin Nano über die Ampere-Architektur von NVIDIA mit 1.024 CUDA-Kernen und 32 Tensor-Kernen. Dazu kommen die 6-Kern-ARM-Cortex-A78AE-CPU und 8 GB LPDDR5-RAM, die für die Ausführung des Betriebssystems selbst verantwortlich sind.

Die Vergleiche der beiden von NVIDIA bereitgestellten Boards sind unglaublich einseitig, was deutlich macht, dass diese beiden Geräte in sehr unterschiedliche Kategorien fallen. Dementsprechend macht sich das Unternehmen nicht einmal die Mühe, den Orin Nano mit anderen SBCs auf dem Markt zu vergleichen. Wahrscheinlich aus gutem Grund – da der vorherige Jetson Nano (mit 472 GFLOPs bewertet) die reine Rechenleistung des Pi 4 (schätzungsweise 13,5 GFLOPS) bereits weit übertreffen konnte, wäre er in diesen Diagrammen nicht einmal ein Ausreißer.

Aber was bedeuten all diese Zahlen in der realen Welt? Als einfachen Test habe ich dieselbe Live-Objekterkennungsdemo erneut ausgeführt, die als Benchmark während meiner praktischen Arbeit mit dem 2020 Nano verwendet wurde. Während das Vorgängerboard noch respektable 25 Bilder pro Sekunde (FPS) schaffte, reizte es dabei den verfügbaren Arbeitsspeicher deutlich aus. Im Vergleich dazu schaffte der Orin Nano dieselbe Demo mit 180 FPS und verbrauchte dabei weniger als die Hälfte des verfügbaren Systemspeichers.

Einfach ausgedrückt: Wenn Sie ein Projekt zum maschinellen Lernen oder der künstlichen Intelligenz durchführen, stellt der Wechsel zum Orin Nano einen Generationssprung gegenüber der vorherigen Hardware dar.

Während es an der Orin Nano-Hardware kaum etwas auszusetzen gibt, bin ich auf der Softwareseite auf einige Probleme gestoßen. Nichts, was mich davon abhalten würde, das Produkt zu empfehlen, aber dennoch Dinge, die ich nach Möglichkeit in Zukunft verbessern möchte.

Mein größter Kritikpunkt ist letztendlich die Entscheidung von NVIDIA, ihre angepasste Linux-Version auf Ubuntu zu basieren. Auf die Gefahr hin, in den Kommentaren einen Heiligen Krieg auszulösen, kommt mir Ubuntu wie ein weitaus schwereres Betriebssystem vor, als man es sich von einem auf Spitzenleistung ausgelegten SBC wünschen würde. Tatsächlich wurde in der Dokumentation zum älteren Nano empfohlen, die GUI von Ubuntu zu deaktivieren, um RAM freizugeben. Das neue Orin hat dieses besondere Problem nicht, aber mir gefiel es trotzdem nicht, dass das Betriebssystem mit Snap-Paketen wertvollen Platz auf der SD-Karte verschlingt.

Wie ich bereits in meinem Praxistest zum 2020 Nano gesagt habe, wäre es schön, wenn NVIDIA ein schlankeres Betriebssystem für diese Boards anbieten würde, insbesondere eines, das besser für den Headless-Betrieb geeignet ist. So wie es aussieht, ist das Software-Setup wirklich darauf ausgerichtet, dass der Benutzer einen Monitor, eine Maus und eine Tastatur an den Orin Nano angeschlossen hat – was offensichtlich nicht die Art und Weise ist, wie er im Feld verwendet wird.

Dennoch schätze ich es sehr, dass alle Bibliotheken, Tools und Demos, die für die Verwendung der CUDA-Kerne des Boards erforderlich sind, vorinstalliert und einsatzbereit sind. Offiziell wird diese Suite als JetPack SDK bezeichnet und bietet alles, was Sie zum Schreiben Ihrer eigenen beschleunigten KI-Anwendungen benötigen. Das Beste daran ist, dass das SDK so aufgebaut ist, dass auf einem Jetson-Board geschriebener Code auf allen anderen laufen sollte, nur je nach Hardware mit unterschiedlicher Geschwindigkeit. Sie können Ihr Projekt also mit dem Orin Nano Dev Kit beginnen, es dann aber auf einem der High-End-Boards bereitstellen, wenn es Zeit für die Produktion ist.

Wie ich zu Beginn dieser praktischen Übung bereits sagte, wird nicht jeder diese Art von Leistung benötigen. Um noch einmal die Objekterkennungsdemo als Beispiel zu verwenden: Ihr DIY-Projekt muss mit ziemlicher Sicherheit nicht mit mehr als 150 Bildern pro Sekunde laufen. Selbst mit der RAM-Begrenzung wäre eines der älteren Jetson Nano-Boards mehr als geeignet, um Eichhörnchen in Ihrem Garten zu identifizieren.

Das zeigt sogar ein Blick auf die offiziellen Benchmarks von NVIDIA. Je nach Modell schafft der Vorgänger Jetson Nano immer noch mehr als 30 FPS. Wenn Sie daran interessiert sind, mit einer davon zu spielen, können Sie etwas Geld sparen, indem Sie auf die ältere Hardware zurückgreifen.

Wenn Sie sich jedoch ernsthafter mit KI-Software befassen und eine praktische Forschungs- und Experimentierplattform suchen, die stark genug für komplexere Modelle ist, ist das Jetson Orin Nano Developer Kit sehr überzeugend. Während ein älterer Gaming-PC potenziell mehr Rohdaten verarbeiten könnte, ist er in puncto Größe und Energieeffizienz unschlagbar, ganz zu schweigen vom Zugriff auf die offizielle Entwicklungsumgebung von NVIDIA – auch wenn diese etwas umfangreicher ist, als mir lieb ist.