Working on the Edge
Nota AI aus dem CHIC optimiert und entwickelt energieeffiziente, unabhängige KI-Anwendungen
Die KI-Branche liebt große Modelle. Je mehr Parameter, desto besser. Doch das frisst Speicherplatz. Und Energie. Soll die künstliche Intelligenz nicht mehr in der Cloud, sondern direkt auf einem Gerät laufen, wird das zum Problem. Dieses zu lösen, hat sich Nota AI zum Ziel gesetzt.
„Wir haben uns darauf spezialisiert, KI-Modelle zu verkleinern und effizienter zu machen“, erklärt Seul-Ki Yeom. Daran forscht das Unternehmen aus dem südkoreanischen Seoul seit dem vergangenen Jahr auch im CHIC. Der KI-Ingenieur, der zuvor als Postdoktorand an der Technischen Universität Berlin tätig war, leitet dort die Forschungsaktivitäten.
Von Seoul nach Berlin
Die Wurzeln von Nota AI reichen bis ins Jahr 2015 zurück. Damals standen vor allem KI-Lösungen für die automatische Texterkennung und Fehlerkorrektur im Vordergrund. In den folgenden Jahren verlagerte sich der Schwerpunkt zunehmend auf die Optimierung künstlicher Intelligenz. Heute entwickelt Nota AI Software, mit der sich KI-Modelle an unterschiedliche Hardware anpassen und effizienter betreiben lassen.
Neben seinem Hauptsitz in Seoul ist das Unternehmen auch in den USA präsent. Und in Berlin. „Für die Suche nach einem europäischen Standort war uns das Umfeld sehr wichtig“, sagt Seul-Ki Yeom. „Wir haben gezielt nach einem Technologiecluster mit Universitäten, Start-ups und potenziellen Kooperationspartnern gesucht.“ Dank einer Empfehlung nennt das sechsköpfige Deutschland-Team das CHIC seit knapp einem Jahr sein Zuhause. Hier in Berlin liegt der Schwerpunkt auf Forschung und Entwicklung. „Wir konzentrieren uns hier zu hundert Prozent auf die Forschung“, sagt Seul-Ki Yeom. „Natürlich unterstützen wir auch die anderen Teams in Südkorea und den USA bei Demonstratoren, Projekten und technischen Konzepten für Kunden und Partner.“
Eine wichtige Rolle spielt dabei die Plattform NetsPresso. Sie unterstützt Entwickler dabei, KI-Modelle automatisiert für unterschiedliche Hardware zu optimieren und für den Einsatz auf Geräten vorzubereiten. Zu den Technologiepartnern des Unternehmens zählen unter anderem Arm, NVIDIA, Qualcomm und Renesas.
KI für den Rand des Netzes
Das zentrale Arbeitsfeld von Nota AI ist die Edge AI. Darunter versteht man Anwendungen, bei denen künstliche Intelligenz nicht in einem entfernten Rechenzentrum, sondern direkt auf einem Gerät ausgeführt wird. Das kann ein Smartphone sein, eine Kamera, ein Fahrzeug oder eine Industriemaschine. Der Vorteil: Die Daten müssen nicht erst in die Cloud übertragen und dort verarbeitet werden. Das spart Zeit und reduziert die Abhängigkeit von einer stabilen Internetverbindung.
Besonders wichtig wird das bei Anwendungen, die in Echtzeit reagieren müssen. Seul-Ki Yeom erzählt von intelligenten Verkehrssystemen, deren Kamera einen Unfall oder eine Gefahrensituation erkennt. Er berichtet von Assistenzsystemen in den Fahrzeugen selbst und auch vom Bedarf solcher Systeme in Fabriken. „Für Echtzeitanwendungen können selbst die Millisekunden entscheidend sein, die der übliche Weg durch die Cloud benötigt“, sagt er.
Ein zweiter Aspekt ist ihm ebenfalls wichtig. In den modernen Systemen, von denen er spricht, laufen häufig mehrere KI-Anwendungen parallel. „Werden viele Modelle gleichzeitig betrieben, wird Energieeffizienz zu einem entscheidenden Faktor“, erklärt der KI-Experte. Kleinere und effizientere Modelle können helfen, den Ressourcenverbrauch zu senken und gleichzeitig schnelle Reaktionszeiten zu ermöglichen.
Von der Forschung in die Praxis
Nota AI optimiert aber nicht nur KI-Modelle. Mit dem Nota Vision Agent (NVA) bietet das Unternehmen auch eine Plattform an, die Videodaten in Echtzeit analysieren kann. In der Industrie zum Beispiel, wo damit auf den Arbeitsschutz geachtet werden kann. Oder bei der Verkehrsüberwachung, wo sich Gefahrensituationen automatisch überwachen lassen. Oder in Smart-City-Projekten, wo sich zum Beispiel ungewöhnliche Ereignisse aufzeichnen und automatische Warnungen auslösen lassen.
Damit zeigt sich auch, wie eng die verschiedenen Geschäftsfelder von Nota AI zusammenhängen. Die in Berlin erforschten Verfahren zur Optimierung von KI-Modellen bilden die Grundlage dafür, dass Anwendungen wie NVA direkt auf Geräten ausgeführt werden können und nicht auf die Rechenleistung entfernter Rechenzentren angewiesen sind.
Für Seul-Ki Yeom steht fest: Immer leistungsfähigere Modelle und der Wunsch nach Unabhängigkeit von der Cloud lassen den Bedarf an effizienter KI stetig weiter wachsen. In Berlin möchte Nota AI deshalb seine Forschungsaktivitäten weiter ausbauen und gemeinsam mit europäischen Partnern neue Projekte entwickeln.
„Der Trend geht zunächst zu immer größeren Modellen. Danach beginnt die Suche nach Wegen, sie effizienter zu machen“, sagt Seul-Ki Yeom.
Kai Dürfeld für CHIC!