Der Blätterkatalog benötigt Javascript.
Bitte aktivieren Sie Javascript in Ihren Browser-Einstellungen.
The Blätterkatalog requires Javascript.
Please activate Javascript in your browser settings.
14 Elektronik 04 2025 EmbEddEd-SyStEmE Historisch gesehen trainierten Unternehmen KI-Modelle in der Cloud und setzten die trainierten Modelle dann für Inferenzaufgaben an der Edge ein Dabei wurden regelmäßig Daten und Vorhersageergebnisse von den Endgeräten zurück in die Cloud übertragen Fortschritte in der Hardwaretechnologie und die gesteigerte Rechenleistung von Edge-Geräten ermöglichen es jedoch inzwischen die Anforderungen des KI-Modelltrainings direkt an der Edge zu erfüllen Gleichzeitig haben die steigenden Kosten für die Übertragung großer KI-IoT-Datenmengen von der Edge in die Cloud Unternehmen dazu veranlasst das Training von KI-Modellen direkt an der Edge zu erforschen In Reaktion darauf hat Advantech Edge-KI-Server entwickelt die Software Hardware und Dienstleistungen integrieren und Unternehmen helfen KI zu einem angemessenen Preis zu nutzen Sollten KI-Modelle in der Cloud oder am Edge trainiert werden? Tony Kuo Produktmanager der Embedded-IoT-Geschäftseinheit von Advantech schlägt vor dass Unternehmen auf Grundlage verschiedener Faktoren entscheiden sollten ob KI-Modelle in der Cloud oder an der Edge trainiert werden Diese Faktoren umfassen den Anwendungsbereich der KI die Größe der Modellparameter das Datenvolumen und das Maß an Datenvertraulichkeit Für KI-Modelle mit großen Parametern oder unzureichender Rechenleistung an der Edge ist die Cloud aufgrund der verkürzten Trainingszeit vorzuziehen Zudem ist das Hochladen hochsensibler Unternehmensdaten in die Cloud in der Regel nicht ratsam Wenn die für das Finetuning eines Modells erforderlichen Datenmengen zu groß für ein Cloud-Upload sind können Edge-Geräte diese Aufgaben übernehmen und so hohe Übertragungskosten vermeiden Bei generativen KI-Anwendungen entwickeln Unternehmen nicht nur Chatbots für den Kundenservice sondern integrieren auch Wissensmanagementsysteme Wartungsanleitungen und andere Datenquellen um die Arbeitseffizienz zu optimieren Diese Integration beschleunigt die Datenabfrage und hilft neuen Mitarbeitern sich schneller einzuarbeiten Da interne Daten meist vertraulich sind und sich nicht für Cloud-Uploads eignen können Unternehmen Edge-KI-Server einsetzen um Large Language-Models LLMs vor Ort effektiv nachzutrainieren Das Finetuning von LLMs für generative KI erfordert jedoch viel Speicher VRAM Ist der VRAM-Speicher unzureichend wird das Finetuning unmöglich was Unternehmen zwingt teure GPU-Karten für zusätzliche VRAM-Kapazitäten anzuschaffen Um die Kosten für VRAM-Erweiterungen zu senken und gleichzeitig Datensicherheit und Vertraulichkeit zu gewährleisten müssen Lösungen gefunden werden die die wachsenden Parameter generativer KI-Modelle bewältigen Drei Schlüsselaspekte einer umfassenden Anwendung Um den wachsenden Bedarf von Unternehmen an KI-Modelltraining und Inferenz an der Edge zu decken hat Advantech die »AIR-500«-Serie von Edge-KI-Servern entwickelt Diese Server bieten hochfrequente und leistungsstarke Hardware und werden durch integrierte Software und Dienstleistungen ergänzt Durch die Kombination dieser drei Schlüsselkomponenten hat Advantech ein umfassendes System für Edge-KI-Anwendungen geschaffen das auf verschiedene Unternehmens bedürfnisse zugeschnitten ist Die AIR-500-Serie wurde entwickelt um den Anforderungen leistungsstarker KI-Inferenz an der Edge sowie dem Training von KI-Modellen mit spezifischen Parametergrößen gerecht zu werden Sie erfüllt die Anforderungen an EMV-Tests und Sicherheitszertifizierungen des Marktes für industrielle Steuerungen und wird mit einer langfristigen Versorgungsgarantie von zehn Jahren geliefert Für das Wärmemanagement bei Hochgeschwindigkeits-KI-Berechnungen hat Advantech die Wärmeableitung verbessert um einen stabilen Betrieb bei Umgebungstemperaturen Antonios tsetsos ist Product Sales Manager bei Advantech Europe von bis zu 40 °Czu gewährleisten Effiziente Lüftermodule sorgen für zusätzliche Luftzirkulation und verhindern Überhitzung und Leistungsreduzierung Die AIR-500-Serie umfasst drei Modelle AIR-520 AIR-530 und AIR-510 Der AIR-520 ist Advantechs erster Versuch eine Server-Chipplattform in Edge-Systeme zu integrieren Dieses Modell unterstützt KI-Modelltraining vor Ort und eignet sich besonders für LLMs wie Llama-2-70B Zusammen mit Phisons aiDAPTIV+ ermöglicht der AIR-520 fortgeschrittene KI-Trainingsmodelle mit nahezu unbegrenzter Rechenleistung Phisons patentierte KI-Computing-Technologie aiDAPTIV+ nutzt eine integrierte SSD-KI-Computing-Architektur Diese Technologie teilt große KI-Modelle in kleinere Teile auf und synchronisiert Modellparameter im Laufe der Zeit mit SSD-Operationen Dadurch wird die Leistung von KI-Modellen auch bei begrenzten GPUund DRAM-Ressourcen maximiert was die Hardwarekosten für die Bereitstellung von KI-Diensten erheblich senkt Der AIR-530 ist für die Verarbeitung großer Datenmengen mit hoher Geschwindigkeit konzipiert und nutzt den Nvidia-SmartNIC-Chip um die Netzwerkbandbreite auf 200 Gbit s zu erhöhen Dies macht ihn ideal für Anwendungen im Bereich des High-Speed-Streaming wie zum Beispiel medizinische Endoskopiesysteme oder Systeme mit mehreren Überwachungskameras Der AIR-510 bietet eine Vielzahl von I O-Schnittstellen und eignet sich hervorragend für KI-Anwendungen die die Integration mehrerer Geräte erfordern Dazu gehören beispielsweise optische Inspektionssysteme in der Halbleiterindustrie oder Paketsortiersysteme in der Logistik Advantech auf der embedded world Halle 3 Stand 339 Offizieller Medienpartner