Edge AI-architectuur: De edge is de plek waar je moet zijn voor AI

AI lijkt de laatste tijd deel uit te maken van elke technologie-gerelateerde conversatie. Hoewel AI een tijd meer hype dan realiteit leek te zijn, zijn we nu waarschijnlijk op een belangrijk kantelpunt aangekomen. Om een voorbeeld van de alomtegenwoordigheid van AI te noemen: in september 2023 had ik het genoegen de top “AI Hardware and Edge AI” bij te wonen. Andrew Ng, een van de kennisleiders in de AI-ruimte, opende zijn toespraak door AI te omschrijven als de ‘nieuwe Elektriciteit’.

Volgens de MIT Management Sloan School kan AI de productiviteit van hoogopgeleide werknemers met 40% verhogen in vergelijking met werknemers die er geen gebruik van maken. Dat is nog eens een veelbelovend idee. Historisch gezien zouden we een winst van enkele procenten al als een enorme verbetering beschouwen, maar dit soort sprongen zijn echt revolutionair. Maar hoezo dan? Waarom is er ineens zoveel momentum en enthousiasme rond AI? AI is niet nieuw; de kernconcepten bestaan al sinds de jaren 1950. Laten we eens kijken naar de factoren die de groei van AI stimuleren.

Wat stimuleert de groei van AI?

Ten eerste is er aanzienlijke vooruitgang geboekt op het gebied van Deep Neural Networks. De invoering van het‘Transformer Model’ door Ashish Vaswani in 2017 wordt beschouwd als een keerpunt op dit gebied. Het transformer-gebaseerde model is nauwkeuriger dan andere modellen omdat het de relatie kan begrijpen tussen sequentiële elementen die ver van elkaar verwijderd zijn. Bovendien is het snel omdat het meer aandacht besteedt aan de belangrijkste onderdelen van een opeenvolging. Deze uitdagingen belemmerden vorige modellen. Het transformermodel heeft een sleutelrol gespeeld in de krachtige taalmodellen van tegenwoordig. Daarnaast is er de afgelopen jaren een enorm aantal vooraf getrainde modellen ontwikkeld. Deze kunnen vrij worden gebruikt. Daardoor is de hoeveelheid werk die nodig is om een aangepast model voor een specifiek gebruiksscenario te maken, drastisch afgenomen.

Vervolgens is er de overvloed aan gegevens. Er worden ongelooflijk veel gegevens geproduceerd aan de edge, bijvoorbeeld in moderne fabrieken. In zijn keynote op de CES van 2024 schat Dr. Roland Busch, CEO van Siemens, dat een sterk geautomatiseerde fabriek nu maandelijks ongeveer 2000 TB (gelijk aan het datavolume van 500.000 films) aan data genereert. Slechts een heel klein deel van deze gegevens wordt echter daadwerkelijk gebruikt. Dat betekent dat er een enorm potentieel ligt in het benutten van deze gegevens en het creëren van bruikbare inzichten uit deze gegevens.

Een andere belangrijke factor is het toenemende computervermogen dat AI-workloads kan verwerken. Naast de meer traditionele groei van CPU-verwerkingsvermogen volgens de wet van Moore, zien we specifieke zogenaamde “accelerator-architecturen” ontstaan. Voorbeelden hiervan zijn Neural Processing Units (NPU’s) die veel effectiever en krachtiger zijn in het verwerken van neurale netwerken. Zij vormen de basis voor veel AI-modellen.

AI wordt bekend

De OpenAI-release van ChatGPT aan het publiek in november 2022 is een belangrijke mijlpaal als het gaat om AI. Waarom? Omdat het iedereen, niet alleen onderzoekers of professionals in technologie, de mogelijkheid gaf om te zien wat AI zoal kan. Het heeft geholpen, op een manier die moeilijk te overschatten is, om het bewustzijn, de interesse en het begrip van de concepten en het potentieel van AI in een breed publiek te vergroten. Dit heeft op zijn beurt veel mensen op ideeën gebracht om AI te gebruiken.

Bedrijven realiseren zich steeds meer de potentiële voordelen van het gebruik van AI in alle functies van een bedrijf. Bij OnLogic hebben we bijvoorbeeld meer dan 100 mogelijke gebruiksscenario’s geïdentificeerd voor de verschillende functies van het bedrijf waar AI de efficiëntie en effectiviteit binnen de organisatie misschien kan bevorderen. Dat is een enorme hoeveelheid kansen, en het is belangrijk om te onthouden dat dit nog maar het topje van de AI-ijsberg is. Bedrijven zien een reëel risico dat ze achterblijven als ze AI niet gebruiken om hun concurrentievermogen op hun markt te vergroten. Veel bedrijven stellen zich dan ook de vraag of zij het zich kunnen veroorloven niet te investeren in AI. Volgens Forbes verwacht 64% van de bedrijven dat AI de productiviteit zal verhogen. Uit onderzoek blijkt echter dat slechts 35% van de bedrijven in 2023 gebruik maakte van AI. Nogmaals, het is duidelijk dat er schuimkoppen ontstaan op de AI-golf.

Als gevolg hiervan wordt verwacht dat AI van 2023 tot 2030 een samengesteld jaarlijks groeipercentage van 37,3% zal hebben. Laten we dat in perspectief plaatsen. Stel, je hebt aan het begin van 2023 € 100 op je pensioenspaarplan en dat je niets meer inlegt. Als je saldo met 37,3% per jaar groeit, dan bedraagt dit eind 2030 € 1.262.886, meer dan een factor 12 in groei ten opzichte van begin 2023. Dat is een enorme groei! Deze onthutsende verwachte groei van AI betekent dat er veel werk moet worden gedaan op het gebied van de ontwikkeling en implementatie van deze AI-oplossingen en de apparaten en infrastructuur om ze te ondersteunen.

Wat en waar is de edge?

Oké, we hebben dus vastgesteld dat AI potentieel heeft, maar hoe verhoudt het zich tot edge computing? Laten we er eerst voor zorgen dat we op dezelfde golflengte zitten waar het de edge betreft. Hieronder vind je een overzicht dat is ontwikkeld door de Linux Foundation en dat het ‘edge-naar-cloud’-continuüm laat zien.

Onze focus ligt op de ‘user edge’, die de hardware op bedrijfsvloeren beschrijft. Deze kan van alles omvatten, van eindpuntapparatuur zoals PLC’s die productieapparatuur bestuurt, tot hardware op AGV’s (Automated Guided Vehicles) die producten of onderdelen verplaatst op een fabrieksvloer. De user edge omvat ook alle industriële pc’s die op de fabrieksvloer worden gebruikt en die bijvoorbeeld afgeleide workloads kunnen uitvoeren voor een machine vision-systeem. In onderstaand diagram zie je productieactiviteiten met twee fabrieken. In elke fabriek kunnen veel edge devices worden ondergebracht die bijvoorbeeld inferentiebewerkingen uitvoeren. De user edge omvat meestal ook een gelokaliseerd datacenter dat kan worden gebruikt voor gegevensopslag, trainingsmodellen, gegevensanalyse en meer.

Waarom edge AI-architectuur?

Nu komen we bij de kern van de vraag – waarom is het in veel gevallen voordelig om AI-workloads aan de edge van het netwerk uit te voeren in plaats van op de cloud te vertrouwen?

Om te beginnen bevindt de edge zich waar de gegevens worden gemaakt. Het is waar alle Operational Technology (OT) van een fabriek zich bevindt. Het is duur om alle gegevens naar de cloud te verzenden. Herinner jij het nog? In een sterk geautomatiseerde fabriek wordt maandelijks het equivalente gegevensvolume van 500.000 films gegenereerd. Het zou onbetaalbaar zijn om al deze gegevens naar de cloud te verzenden en daar op te slaan. Naast de kosten voor het verzenden en opslaan van gegevens, zijn er ook de kosten voor het gebruik van computerresources in de cloud. De cloud is tegenwoordig sterk in trek en de kosten voor computerresources in de cloud zijn aanzienlijk. En omgekeerd, als de gegevensverwerking aan de edge wordt uitgevoerd, op de hardware van de klant, dan zijn de enige kosten de kosten van de hardware en de kosten voor exploitatie en onderhoud. Deze kunnen verder worden beperkt door het gebruik van de juiste industriële hardware.

Naast het kostenaspect is ook latentie een belangrijke overweging. Dit kan problematisch en beperkend zijn, afhankelijk van het gebruiksscenario. Er moeten immers vaak snel beslissingen worden genomen op de werkvloer of aan de edge in het algemeen. Als bijvoorbeeld zojuist geproduceerde connectoren met een hoge snelheid langs de productielijn razen, is het van groot belang dat de beslissing welke connector wel en niet door de kwaliteitsinspectie komt, vrijwel onmiddellijk wordt genomen. Als een productielijn afhankelijk is van beslissingen die uitsluitend in de cloud worden genomen, leidt een verbroken verbinding waarschijnlijk ook tot downtime van de productielijn, wat geld, tijd en waardevolle productiedoorvoer kost.

Een ander groot voordeel van een edge computing-architectuur is beveiliging. Veel bedrijven zijn terughoudend als het gaat om het verzenden van vertrouwelijke gegevens over hun bedrijf naar de cloud. Ze slaan deze gegevens liever op locatie op om de risico’s van een cyberaanval te beperken. De fusie van IT en OT vergroot het potentiële aanvalsgebied en het is belangrijk dat bedrijven hun edge computing-knooppunten versterken om hun gegevens te beschermen. Veel technieken, waaronder SASE (Secure Access Service Edge) en Zero Trust, worden steeds vaker ingezet om de gegevensbeveiliging te verbeteren. Toch geven veel bedrijven nog steeds de voorkeur aan een edge computing-architectuur.

Milieuoverwegingen zijn een extra stimulans voor het gebruik van edge computing. Zo vermindert het gebruik van de edge versus de cloud het totale energieprofiel. Datacenters verbruiken grote hoeveelheden energie en dragen zo bij aan de uitstoot van broeikasgassen. Daarnaast is er energie nodig om gegevens heen en weer te sturen tussen de cloud en de edge. Bedrijven kunnen hun energiekosten verlagen door AI-workloads van de cloud naar de edge te verplaatsen.

Laat me nog één bewijs geven dat Edge AI werkelijkheid aan het worden is. Laten we eens kijken naar de 2023 Gartner Hype cycle™. Onderstaande afbeelding werd uitgebracht in juli 2023 en laat zien hoe Edge AI binnen twee jaar vanaf dat moment het ‘Plateau van productiviteit’ – dat is de staat waarin het volledig klaar is voor implementatie – bereikt. Dat gezegd hebbende, gaan we eens kijken hoe we AI aan de edge implementeren.

AI aan de edge implementeren

Stel, je hebt alle opties (en bovenstaande informatie) overwogen en besloten dat een edge AI-implementatie de juiste keuze is voor je bedrijf. Waar moet je beginnen? In principe is AI software, maar om die software te implementeren heb je de juiste hardware nodig. Hier volgen een paar punten om rekening mee te houden.

Omgeving

Bij edge computing verschilt de installatieomgeving vaak sterk tussen een datacenter of kantoor met klimaatregeling. Deze kan warm, koud of vochtig zijn, en zich buiten of bijvoorbeeld in een loeihete staalfabriek bevinden. De lucht kan vol stofdeeltjes zitten, variërend van zaagstof bij een kastenfabrikant tot poederaroma’s op een productielijn voor aardappelchips. De edge bestaat uit een groot aantal plaatsen waar een standaardcomputer niet lang zou overleven. Om stand te kunnen houden in dergelijke ruwe omgevingen, heb je industriële of rugged computers nodig. Dit soort systemen zijn gebouwd voor ruwe omgevingen en bieden operators betrouwbaarheid en gemoedsrust.

Workloads

Voor inferentiebewerkingen zijn de behoeften op het gebied van rekenkracht afhankelijk van het exacte gebruiksscenario, hoeveel en hoe snel gegevens verwerkt moeten worden. Misschien dat het sommigen verrast, maar voor veel AI-gebruiksscenario’s is het ingebouwde computervermogen van de CPU soms al voldoende. Processorfabrikanten zoals Intel® verhogen niet alleen de CPU-kracht van generatie op generatie, maar voegen ook meer geïntegreerde GPU-computers aan het processorpakket toe. De nieuwste generaties processors bevatten soms Neural Processing Units (NPU’s). Daardoor kunnen steeds meer inferentietoepassingen zonder extra versneller worden afgehandeld. Als de toepassing meer vermogen nodig heeft dan het CPU-pakket kan bieden, bijvoorbeeld meerdere hoge FPS-camerafeeds, dan zijn industriële pc’s met grafische kaarten of speciale versnellers vereist.

Modeltraining

Naast de inferentieworkload moeten de modellen in de meeste toepassingen voortdurend worden getraind om te blijven leren. Deze training vereist doorgaans een grotere hoeveelheid computervermogen. Deze training kan worden afgehandeld door een edge server en die kan zich op de productievloer of in een speciale serverruimte bevinden. Edge servers kunnen vervolgens ook worden gebruikt om gegevensdrift te bewaken en te verwerken of om alle analyses uit te voeren die nodig zijn voor het bedrijf. Zie AI acceleration at the Edge voor meer informatie. Dit is een sessie, gehouden op de AWS re:invent 2023, die zich richt op verschillende aspecten van edge-implementaties.

Softwarevereisten

Om dit type edge computing-architectuur te kunnen gebruiken, is een aantal softwarelagen nodig die verder gaan dan de besturingssysteemlaag. Edge-implementaties vereisen vaak een groot aantal gateways, edge servers, inferentieapparaten, enzovoort. De mogelijkheid om apparaten naadloos te integreren, te implementeren en efficiënt te updaten is essentieel. Dit is vooral belangrijk omdat er vaak weinig tot geen technische resources op locatie zijn. Bedrijven met meerdere locaties kunnen problemen ondervinden wanneer systeemupdates of -implementaties niet synchroon lopen. Dit wordt meestal afgehandeld door edge orchestration en remote management software. AI-workloads worden ook vaak uitgevoerd als containers. Daarvoor heb je de juiste software nodig. En bovenop al deze lagen is de AI-toepassingssoftware voor de specifieke gebruikssituatie vereist.

Cloudrepatriëring

We hebben dus gekeken hoe we AI aan de rand van het netwerk succesvol kunnen implementeren. Toch beginnen bedrijven vaak met een AI-oplossing die in de cloud is geïmplementeerd. Steeds meer bedrijven realiseren zich de waarde van edge computing en zijn bezig met cloudrepatriëring om computerresources weer naar de edge te verplaatsen. Volgens ComputerWeekly.com gaf 71% van de respondenten in een recente IDC-enquête aan dat zij van plan zijn om gedeeltelijk of volledig te repatriëren. De meest voorkomende redenen voor deze beoogde verhuizing zijn kostenverlaging, betere prestaties en betere beveiliging. Klinkt dit bekend?

Elk bedrijf is uniek en de optimale locatie van computerresources is afhankelijk van wat je precies met je gegevens probeert te doen. De uiteindelijke implementatie zal in een aantal gevallen niet zo zwart-wit zijn als cloud of edge, maar eerder een hybride oplossing. Veel softwarepakketten kunnen de workloads zowel in de cloud als aan de edge uitvoeren en zijn niet afgestemd op de specifieke hardware die wordt gebruikt. Dit biedt gebruikers veel flexibiliteit om een ‘beste van twee werelden’-benadering te volgen; de voordelen van de cloud op het gebied van computervermogen en de fysieke controle van de edge.

Conclusies

Ik wil afsluiten met nog wat cijfers: Volgens Gartner zal 70% van de grote ondernemingen tegen het einde van 2026 beschikken over een gedocumenteerde strategie voor edge computing. In 2023 was dit nog geen 10%. Volgens dezelfde studie zal 50% van de edge computing-implementaties tegen 2026 machine learning omvatten, tegenover 5% in 2022. Dit alles betekent dat de edge de komende jaren voor bedrijven van elke omvang de juiste plaats zal blijven en dat degenen die hier met kennis van zaken mee aan de slag gaan, hier het best van kunnen profiteren.