Edge-KI-Architektur: Der Edge ist der richtige Ort für KI

KI scheint in letzter Zeit Teil jedes technologiebezogenen Gesprächs zu sein. Obwohl KI eine Zeit lang mehr Hype als Realität zu sein schien, befinden wir uns jetzt wahrscheinlich an einem wichtigen Wendepunkt. Um ein Beispiel für die Allgegenwärtigkeit von KI zu nennen: Im September 2023 hatte ich das Vergnügen, am Gipfel "AI Hardware and Edge AI" teilzunehmen. Andrew Ng, einer der führenden Köpfe auf dem Gebiet der KI, bezeichnete in seiner Eröffnungsrede KI als die "neue Elektrizität".

Nach Angaben der MIT Management Sloan School KI kann die Produktivität hochqualifizierter Arbeitnehmer mit 40% im Vergleich zu denen, die sie nicht nutzen, steigern. Das ist eine weitere vielversprechende Idee. Aus historischer Sicht würden wir bereits einen Gewinn von ein paar Prozent als große Verbesserung betrachten, aber Sprünge wie dieser sind wirklich revolutionär. Aber wie kommt das? Warum gibt es plötzlich so viel Schwung und Begeisterung für KI? KI ist nicht neu; die Kernkonzepte gibt es schon seit den 1950er Jahren. Schauen wir uns die Faktoren an, die das Wachstum der KI vorantreiben.

Was treibt das Wachstum der KI an?

Erstens wurden auf dem Gebiet der tiefen neuronalen Netze erhebliche Fortschritte erzielt. Die Einführung des'Transformer Model' von Ashish Vaswani im Jahr 2017 gilt als ein Wendepunkt in diesem Bereich. Das auf einem Transformator basierende Modell ist genauer als andere Modelle, da es die Beziehung zwischen weit voneinander entfernten sequenziellen Elementen verstehen kann. Außerdem ist es schnell, weil es den wichtigsten Teilen einer Sequenz mehr Aufmerksamkeit schenkt. Diese Herausforderungen behinderten die bisherigen Modelle. Das Transformationsmodell hat eine Schlüsselrolle bei den heutigen leistungsstarken Sprachmodellen gespielt. Darüber hinaus wurde in den letzten Jahren eine große Anzahl von vortrainierten Modellen entwickelt. Diese können frei verwendet werden. Dadurch hat sich der Arbeitsaufwand für die Erstellung eines benutzerdefinierten Modells für ein bestimmtes Anwendungsszenario drastisch verringert.

Der nächste Punkt ist die Fülle der Daten. Eine unglaubliche Menge an Daten wird an den Rändern produziert, zum Beispiel in modernen Fabriken. In ihrer Grundsatzrede auf der CES 2024 schätzt Dr. Roland Busch, CEO von Siemens, dass in einer hochautomatisierten Fabrik heute monatlich rund 2.000 TB (entspricht dem Datenvolumen von 500.000 Filmen) an Daten anfallen. Allerdings wird nur ein sehr kleiner Teil dieser Daten tatsächlich genutzt. Das bedeutet, dass es ein riesiges Potenzial gibt, diese Daten zu nutzen und daraus verwertbare Erkenntnisse zu gewinnen.

Ein weiterer wichtiger Faktor ist die zunehmende Rechenleistung, die KI-Workloads bewältigen können. Neben dem eher traditionellen Wachstum der CPU-Rechenleistung nach dem Mooreschen Gesetz gibt es auch das Aufkommen spezifischer sogenannter "Beschleunigerarchitekturen". Beispiele hierfür sind Neural Processing Units (NPUs), die bei der Verarbeitung neuronaler Netze wesentlich effektiver und leistungsfähiger sind. Sie bilden die Grundlage für viele KI-Modelle.

AI wird vertraut

Die Freigabe von ChatGPTs OpenAI für die Öffentlichkeit im November 2022 ist ein wichtiger Meilenstein in Sachen KI. Warum? Weil sie jedem, nicht nur Forschern oder Technologieexperten, die Möglichkeit gab, zu sehen, was KI leisten kann. Sie hat in einer kaum zu überschätzenden Weise dazu beigetragen, das Bewusstsein, das Interesse und das Verständnis für die Konzepte und das Potenzial der KI in einer breiten Öffentlichkeit zu steigern. Dies wiederum hat viele Menschen auf die Idee gebracht, KI zu nutzen.

Die Unternehmen erkennen zunehmend die potenziellen Vorteile des Einsatzes von KI in allen Unternehmensbereichen. Bei OnLogic haben wir zum Beispiel mehr als 100 mögliche Einsatzszenarien in den verschiedenen Unternehmensfunktionen identifiziert, in denen KI die Effizienz und Effektivität innerhalb des Unternehmens steigern könnte. Das ist eine riesige Menge an Möglichkeiten, und es ist wichtig zu bedenken, dass dies nur die Spitze des KI-Eisbergs ist. Die Unternehmen sehen ein echtes Risiko, ins Hintertreffen zu geraten, wenn sie KI nicht nutzen, um ihre Wettbewerbsfähigkeit auf ihren Märkten zu steigern. Viele Unternehmen fragen sich daher, ob sie es sich leisten können, nicht in KI zu investieren. Nach Angaben von Forbes 64% der Unternehmen erwarten eine Produktivitätssteigerung durch KI. Von Forschung zeigt jedoch, dass nur 35% der Unternehmen im Jahr 2023 KI einsetzen werden. Einmal mehr wird deutlich, dass auf der KI-Welle schäumende Köpfe entstehen.

Infolgedessen wird erwartet, dass die KI von 2023 bis 2030 eine durchschnittliche jährliche Wachstumsrate von 37,3% haben wird. Lassen Sie uns das in die richtige Perspektive setzen. Nehmen wir an, Sie haben zu Beginn des Jahres 2023 100 € auf Ihrem Rentensparplan und legen nichts mehr ein. Wenn Ihr Guthaben um 37,3% pro Jahr wächst, wird es Ende 2030 1.262.886 € betragen, also um mehr als das Zwölffache im Vergleich zu Anfang des Jahres 2023. Das ist eine enorme Wachstumsrate! Dieses atemberaubende erwartete Wachstum der KI bedeutet, dass viel Arbeit auf die Entwicklung und Implementierung dieser KI-Lösungen und der Geräte und Infrastrukturen, die sie unterstützen, zukommt.

Was und wo ist die Grenze?

Okay, wir haben also festgestellt, dass KI Potenzial hat, aber was hat das mit Edge Computing zu tun? Lassen Sie uns zunächst sicherstellen, dass wir in Bezug auf Edge auf der gleichen Wellenlänge sind. Nachfolgend finden Sie eine Übersicht, die von der Linux-Stiftung und zeigt das Kontinuum von Rand zu Wolke".

Unser Schwerpunkt liegt auf dem "User Edge", d. h. der Hardware in den Fabrikhallen. Dies kann alles umfassen, von Endpunktgeräten wie SPS, die Produktionsanlagen steuern, bis hin zu Hardware auf AGVs (Automated Guided Vehicles), die Produkte oder Teile in einer Fabrikhalle bewegen. Zum User Edge gehören auch alle Industrie-PCs, die in der Fabrikhalle eingesetzt werden und beispielsweise abgeleitete Arbeitslasten für ein Bildverarbeitungssystem ausführen können. Das folgende Diagramm zeigt einen Fertigungsbetrieb mit zwei Fabriken. Jede Fabrik kann viele Edge-Geräte beherbergen, die z. B. Ableitungsoperationen durchführen. Zum User Edge gehört in der Regel auch ein lokales Datenzentrum, das für die Datenspeicherung, das Trainieren von Modellen, die Datenanalyse usw. genutzt werden kann.

Warum Edge-KI-Architektur?

Jetzt kommen wir zum Kern der Frage: Warum ist es in vielen Fällen vorteilhaft, KI-Workloads am Rand des Netzwerks auszuführen, anstatt sich auf die Cloud zu verlassen?

Zunächst einmal ist der Rand der Ort, an dem die Daten erzeugt werden. Hier befindet sich die gesamte Betriebstechnik (OT) einer Fabrik. Es ist teuer, alle Daten in die Cloud zu schicken. Erinnern Sie sich? In einer hochautomatisierten Fabrik wird jeden Monat das Datenvolumen von 500.000 Filmen erzeugt. Es wäre unerschwinglich, alle diese Daten in die Cloud zu schicken und dort zu speichern. Neben den Kosten für das Senden und Speichern der Daten fallen auch Kosten für die Nutzung der Computerressourcen in der Cloud an. Die Cloud boomt heutzutage, und die Kosten für Rechenressourcen in der Cloud sind beträchtlich. Wird die Datenverarbeitung dagegen vor Ort, auf der Hardware des Kunden, durchgeführt, fallen nur die Kosten für die Hardware sowie die Betriebs- und Wartungskosten an. Diese können durch den Einsatz der richtigen industriellen Hardware weiter gesenkt werden.

Neben dem Kostenaspekt ist auch die Latenzzeit ein wichtiger Aspekt. Diese kann je nach Nutzungsszenario problematisch und einschränkend sein. Schließlich müssen Entscheidungen in der Fertigung oder am Rande der Fertigung im Allgemeinen oft schnell getroffen werden. Wenn z. B. neu produzierte Steckverbinder mit hoher Geschwindigkeit durch die Produktionslinie rasen, ist es entscheidend, dass die Entscheidung, welcher Steckverbinder die Qualitätsprüfung besteht und welcher nicht, fast sofort getroffen wird. Wenn sich eine Produktionslinie auf Entscheidungen verlässt, die ausschließlich in der Cloud getroffen werden, führt eine Unterbrechung der Verbindung wahrscheinlich zu Ausfallzeiten der Produktionslinie, was Geld, Zeit und wertvollen Produktionsdurchsatz kostet.

Ein weiterer großer Vorteil einer Edge-Computing-Architektur ist die Sicherheit. Viele Unternehmen zögern, wenn es darum geht, vertrauliche Daten über ihr Unternehmen in die Cloud zu übertragen. Sie ziehen es vor, diese Daten vor Ort zu speichern, um die Risiken eines Cyberangriffs zu verringern. Die Verschmelzung von IT und OT vergrößert die potenzielle Angriffsfläche, und es ist wichtig für Unternehmen, ihre Edge-Computing-Knoten zu stärken, um ihre Daten zu schützen. Viele Techniken, darunter Secure Access Service Edge (SASE) und Zero Trust, werden zunehmend zur Verbesserung der Datensicherheit eingesetzt. Viele Unternehmen bevorzugen jedoch nach wie vor eine Edge-Computing-Architektur.

Umweltaspekte sind ein zusätzlicher Anreiz für den Einsatz von Edge Computing. Die Nutzung des Edge Computing im Vergleich zur Cloud senkt beispielsweise das Gesamtenergieprofil. Rechenzentren verbrauchen große Mengen an Energie und tragen damit zu den Treibhausgasemissionen bei. Darüber hinaus wird Energie benötigt, um Daten zwischen der Cloud und dem Edge hin und her zu senden. Unternehmen können ihre Energiekosten senken durch die Verlagerung von KI-Workloads aus der Cloud in den Edge-Bereich.

Lassen Sie mich einen weiteren Beweis dafür anführen, dass Edge AI Realität wird. Schauen wir uns die 2023 Gartner Hype Cycle™. Das Bild unten wurde im Juli 2023 veröffentlicht und zeigt, wie die Edge-KI innerhalb von zwei Jahren das "Plateau der Produktivität" erreicht, d. h. den Zustand, in dem sie voll einsatzbereit ist. Werfen wir also einen Blick darauf, wie wir KI am Rande implementieren.

Implementierung von KI in den Randbereichen

Angenommen, Sie haben alle Optionen (und die obigen Informationen) in Betracht gezogen und beschlossen, dass eine Edge-KI-Implementierung die richtige Wahl für Ihr Unternehmen ist. Wo sollten Sie beginnen? Im Grunde genommen ist KI eine Software, aber um diese Software zu implementieren, brauchen Sie die richtige Hardware. Hier sind ein paar Punkte, die Sie berücksichtigen sollten.

Umgebung

Beim Edge-Computing unterscheidet sich die Installationsumgebung oft stark von der eines Rechenzentrums oder eines klimatisierten Büros. Es kann heiß, kalt oder feucht sein und sich im Freien oder zum Beispiel in einem glühend heißen Stahlwerk befinden. Die Luft kann voller Staubpartikel sein, die von Sägemehl bei einem Schrankhersteller bis hin zu pulverförmigen Aromen an einer knusprigen Produktionslinie reichen. Der Rand besteht aus vielen Stellen, an denen ein Standardcomputer nicht lange überleben würde. Um in solch rauen Umgebungen bestehen zu können, brauchen Sie industrielle oder robuste Computer. Diese Art von Systemen ist für raue Umgebungen ausgelegt und bietet dem Benutzer Zuverlässigkeit und Sicherheit.

Arbeitsbelastungen

Der Bedarf an Rechenleistung für Inferenzoperationen hängt vom genauen Nutzungsszenario ab und davon, wie viele und wie schnell Daten verarbeitet werden müssen. Es mag einige überraschen, aber für viele KI-Nutzungsszenarien ist die integrierte Rechenleistung der CPU manchmal bereits ausreichend. Prozessorhersteller wie Intel® erhöhen nicht nur die CPU-Leistung von Generation zu Generation, sondern fügen dem Prozessorpaket auch mehr integrierte GPU-Rechenleistung hinzu. Die neuesten Generationen von Prozessoren enthalten manchmal Neural Processing Units (NPUs). Dies hat zur Folge, dass immer mehr Inferenzanwendungen ohne einen zusätzlichen Beschleuniger bewältigt werden können. Wenn die Anwendung mehr Leistung benötigt, als das CPU-Paket zur Verfügung stellen kann, z. B. mehrere Kameraeinspeisungen mit hohen FPS, sind Industrie-PCs mit Grafikkarten oder speziellen Beschleunigern erforderlich.

Modellhafte Ausbildung

Zusätzlich zum Arbeitsaufwand für die Schlussfolgerungen müssen die Modelle in den meisten Anwendungen kontinuierlich trainiert werden, um weiter zu lernen. Dieses Training erfordert in der Regel eine größere Menge an Rechenleistung. Dieses Training kann von einem Edge-Server übernommen werden, der sich in der Produktionshalle oder in einem speziellen Serverraum befinden kann. Edge-Server können dann auch zur Überwachung und Verarbeitung von Datendrifts oder zur Durchführung von Analysen verwendet werden, die für das Unternehmen erforderlich sind. Siehe KI-Beschleunigung an der Grenze für weitere Informationen. Dies ist eine Sitzung, die auf der AWS re:invent 2023 abgehalten wird und sich auf verschiedene Aspekte von Edge-Bereitstellungen konzentriert.

Anforderungen an die Software

Um diese Art von Edge-Computing-Architektur zu nutzen, sind über die Betriebssystemebene hinaus eine Reihe von Softwareschichten erforderlich. Edge-Implementierungen erfordern oft eine große Anzahl von Gateways, Edge-Servern, Inferenzgeräten usw. Die Fähigkeit, Geräte nahtlos zu integrieren, einzusetzen und effizient zu aktualisieren, ist von entscheidender Bedeutung. Dies ist besonders wichtig, da oft nur wenige oder gar keine technischen Ressourcen vor Ort vorhanden sind. Bei Unternehmen mit mehreren Standorten kann es zu Problemen kommen, wenn Systemaktualisierungen oder -bereitstellungen nicht synchronisiert sind. Dies wird in der Regel durch Edge-Orchestrierungs- und Remote-Management-Software gelöst. Auch KI-Workloads werden häufig als Container ausgeführt. Hierfür benötigen Sie die richtige Software. Und über all diesen Ebenen wird die KI-Anwendungssoftware für den jeweiligen Anwendungsfall benötigt.

Rückführung in die Cloud

Wir haben uns also angeschaut, wie man KI erfolgreich am Rande des Netzwerks implementieren kann. Dennoch beginnen Unternehmen oft mit einer KI-Lösung, die in der Cloud implementiert ist. Immer mehr Unternehmen erkennen den Wert von Edge Computing und arbeiten an Wolken-Rückführung die Verlagerung von Rechenressourcen zurück an den Rand. Nach Angaben von ComputerWeekly.com 71% der Befragten einer kürzlich durchgeführten IDC-Umfrage gaben an, dass sie eine teilweise oder vollständige Repatriierung planen. Die häufigsten Gründe für diese Absicht sind Kostensenkung, verbesserte Leistung und höhere Sicherheit. Kommt Ihnen das bekannt vor?

Jedes Unternehmen ist einzigartig, und der optimale Standort für Datenverarbeitungsressourcen hängt davon ab, was genau Sie mit Ihren Daten tun wollen. In einigen Fällen wird die endgültige Implementierung nicht so schwarz-weiß sein wie Cloud oder Edge, sondern eher eine Hybridlösung. Viele Softwarepakete können Workloads sowohl in der Cloud als auch am Edge ausführen und sind nicht auf die jeweils verwendete Hardware zugeschnitten. Dies gibt den Nutzern eine große Flexibilität, um das Beste aus beiden Welten zu nutzen: die Vorteile der Rechenleistung der Cloud und die physische Kontrolle des Edge.

Schlussfolgerungen

Lassen Sie mich mit einigen weiteren Zahlen schließen: Laut Gartner werden bis Ende 2026 70% der Großunternehmen eine dokumentierte Strategie für Edge Computing haben. Im Jahr 2023 waren es noch weniger als 10%. Derselben Studie zufolge werden bis 2026 50% der Edge-Computing-Implementierungen maschinelles Lernen beinhalten, gegenüber 5% im Jahr 2022. All dies bedeutet, dass das Edge Computing auch in den kommenden Jahren der richtige Ort für Unternehmen jeder Größe sein wird, und dass diejenigen, die sich damit auskennen, am besten davon profitieren können.