KI für den Betrieb
Maschinenüberwachung
Analytik und KPIs

Die Kamera als universeller Sensor: Wie die Wiedergabe in der Fabrik die Betriebsabläufe verändert

Elise Jones

AI Summary

Operations Calling 2025 showcased how modern manufacturing depends on open ecosystems, with dozens of partners demonstrating integrated AI, hardware, and software solutions. The event emphasized that collaboration and interoperability—not single all-in-one systems—are key to scalable, future-ready operations.

Moderne Hardware ist schnell. Die neuesten Bildverarbeitungsmodelle sind bemerkenswert leistungsfähig. Und doch ist der Engpass für die meisten Prozessingenieure – und die IT-Teams, die sie unterstützen – nicht die Technologie selbst, sondern die Komplexität ihrer Bereitstellung in großem Maßstab.

Unterschiedliche Anwendungsfälle erfordern unterschiedliche Pipelines, unterschiedliche Modelle und unterschiedliche Inferenzkonfigurationen. Die Erstellung eines Berichts mit langem Zyklus, der menschliche Aktivitäten nach SKU kategorisiert, hat nichts mit der Auslösung einer Steuerungsmaßnahme durch eine Handgeste in Echtzeit zu tun. Die Bewältigung dieser Komplexität bedeutet selbst mit modernen Tools, dass anfällige benutzerdefinierte Integrationen gepflegt werden müssen, die bei Modellaktualisierungen, Hardwareänderungen oder dem Hinzufügen neuer Anwendungsfälle versagen.

Factory Playback wurde entwickelt, um diese Belastung zu beseitigen. Es handelt sich um eine Laufzeitumgebung, mit der Prozessingenieure jedes Bildverarbeitungs Anwendungsfall -System instrumentieren können, ohne dass die zugrunde liegende Komplexität bei jeder Bereitstellungsentscheidung zum Tragen kommt.

Vier Dimensionen jeder Vision Anwendungsfall

Um zu verstehen, wo Kameras helfen können und wie das System richtig konfiguriert wird, ist es hilfreich, vier Achsen zu betrachten. Diese sind nicht nur konzeptioneller Natur. Sie lassen sich direkt auf die Pipeline-Konfiguration abbilden: Welches Modell wird ausgeführt, wie oft, mit welchen Eingabedaten und wie werden die Ausgabedaten weitergeleitet?

1. Kontext (spezifisch → allgemein)

Bezieht sich die Analyse auf eine bestimmte SKU, einen bestimmten Schritt oder einen bestimmten Bediener? Oder gelten dieselben Kriterien unabhängig davon, was gerade auf der Linie läuft? Eine kontextspezifische Bereitstellung wird möglicherweise nur während eines bestimmten Schritts der „ Montage “ ausgelöst. Eine kontextübergreifende Bereitstellung führt dieselbe Prüfung kontinuierlich durch. Beide Varianten sind zulässig, erfordern jedoch unterschiedliche Auslösungslogik und sehr unterschiedliche nachgelagerte Datenmodelle.

2. Unmittelbarkeit (jetzt → wann immer)

Muss das System innerhalb von Millisekunden reagieren, oder kann die Analyse asynchron im Hintergrund ablaufen? Die Anforderungen an die Latenz bestimmen hier, wo die Inferenz ausgeführt wird (auf dem Gerät am Netzwerkrand oder gebündelt in der Cloud) und welche Art von Alarmierungsinfrastruktur nachgeschaltet ist. Eine falsche Entscheidung ist kostspielig: Eine übermäßige Auslegung für Echtzeit, wenn eine Batch-Verarbeitung ausreichen würde, verschwendet Rechenleistung; eine unzureichende Auslegung für Echtzeit, wenn Geschwindigkeit entscheidend ist, führt dazu, dass Warnmeldungen zu spät eintreffen, um noch darauf reagieren zu können.

3. Fokus (eng → weit)

Verfolgen Sie feine Handbewegungen innerhalb eines kleinen Bereichs des Bildes oder überwachen Sie allgemeine Aktivitätsmuster auf einer gesamten Workstation? Anwendungsfälle mit engem Fokus profitieren von hochauflösenden Ausschnitten und einer engen Modellspezialisierung. Anwendungsfälle mit breitem Fokus erfordern Modelle, die die Klassifizierung auf Szenenebene effizient bewältigen. Diese Entscheidung wirkt sich sowohl auf die Modellauswahl als auch darauf aus, wie die Bilder vor der Inferenz vorverarbeitet werden.

4. Dauer (Schnappschuss → Video)

Enthält ein einzelnes Bild genügend Signaldaten, oder sind für aussagekräftige Erkenntnisse Beobachtungen einer sich im Zeitverlauf entfaltenden Sequenz erforderlich? Die Erkennung der Anwesenheit von Objekten und deren statische Positionierung sind Probleme, die sich mit Einzelbildern lösen lassen. Die Kategorisierung von Aktivitäten, Gestensequenzen und die Einhaltung von Abläufen über einen Zyklus hinweg sind hingegen Probleme, die mit Videomaterial gelöst werden müssen. Diese erfordern unterschiedliche Strategien zur Daten Datenerfassung , unterschiedliche Speicherarchitekturen und grundlegend unterschiedliche Modelltypen.

Wie das in der Praxis aussieht

Das Rahmenwerk wird erst dann konkret, wenn man es auf reale Anwendungsfälle anwendet. Vier Beispiele veranschaulichen die Bandbreite:

Durch eine Geste ausgelöste Aktion

Ein Bediener gibt ein Handzeichen, um eine Systemreaktion auszulösen – einen Schritt vorwärts gehen, einen Fehler melden, Hilfe anfordern. Dies befindet sich am spezifischen, in Echtzeit ablaufenden, eng gefassten Momentaufnahme-Ende jeder Achse. Die Pipeline muss schlank sein: Inferenz mit geringer Latenz, enge Bildausschnitte, ein leichtgewichtiges Klassifizierungsmodell und ein direkter Ausgabepfad zur Steuerungsebene. Die Reaktionszeit wird hier in Hunderten von Millisekunden gemessen. Alles, was langsamer ist, bricht das Interaktionsmodell vollständig ab.

Step vs. Goldstandard

Während eines komplexen Verdrahtungsschritts vergleicht das VLM die aktuelle Handhaltung des Bedieners und die Positionierung der Bauteile mit einer Bibliothek verifizierter Referenzbilder. Dies ist zwar noch relativ kontextspezifisch und eng gefasst, muss aber nicht sofort erfolgen. Der Bediener befindet sich mitten in der Aufgabe, und ein Analysefenster von ein bis zwei Sekunden ist akzeptabel. Die wichtigste Anforderung an die Infrastruktur ist die Referenzbibliothek selbst: Sie muss versioniert, mit SKUs verknüpft und zur Laufzeit abfragbar sein, damit das Modell stets mit dem richtigen Standard vergleicht.

Erweiterte Nachverfolgung von „ Montage “

Mehrere Bediener arbeiten in einem vier- bis fünfstündigen Fertigungszyklus, in dem jede Einheit einem individuellen Auftrag folgt. Das System kategorisiert die menschlichen Aktivitäten kontinuierlich und fasst sie anschließend nach Artikelnummer (SKU), Schicht und Bediener zusammen. Dies ist die anspruchsvollste Konfiguration hinsichtlich der Zeit- und Kontextachse. Sie erfordert eine dauerhafte Videospeicherung, ein Datenmodell, das Aktivitätssegmente mit den bestehenden Prozessaufzeichnungen von „ Tulip “ verknüpft, sowie ausreichend Rechenleistung, um erweiterte VLM-Analysen durchzuführen, ohne andere Arbeitslasten zu beeinträchtigen. Der Vorteil ist ein lückenloser Prüfpfad, den Prozessingenieure nach Belieben aufschlüsseln können, ohne dass jemand etwas manuell protokollieren muss.

Echtzeit-Überwachung der PSA

Kameras überwachen, ob sich Personen ohne ordnungsgemäße PSA im Arbeitsbereich aufhalten, und alarmieren den Vorgesetzten in Echtzeit. Hierbei handelt es sich um einen Einsatz mit allgemeinem Anwendungsbereich, hoher Dringlichkeit und breitem Erfassungsbereich. Die Überprüfung gilt für jede Person, überall im Bildausschnitt und zu jeder Zeit. Die Architektur legt hier mehr Wert auf Abdeckung und Verfügbarkeit als auf Präzision: Lieber gelegentliche Fehlalarme als das Übersehen eines tatsächlichen Verstoßes. Die Weiterleitung von Warnmeldungen, die Eskalationslogik und die Integration in bestehende Sicherheitsabläufe sind ebenso wichtig wie das Modell selbst.

Den Feedback-Kreislauf schließen

Bei den vier oben genannten Anwendungsfällen geht es hauptsächlich um Reaktionen in Echtzeit oder nahezu in Echtzeit. Es gibt jedoch noch eine zweite, ebenso wichtige Art von Mehrwert, den Kameras erschließen: die nachträgliche Analyse, die Verbesserungen ermöglicht.

An dieser Stelle kommt die Analogie zur Boxencrew ins Spiel. Eine Boxencrew im Rennsport ist der Inbegriff koordinierter menschlicher Leistung unter Zeitdruck. Doch das erreichen sie nicht allein durch Instinkt. Jeder Boxenstopp wird gefilmt, zeitlich erfasst und analysiert. Abweichungen vom Idealablauf sind sichtbar, können diskutiert und korrigiert werden. Der Feedback-Kreislauf ist eng und unerbittlich.

In den meisten Fertigungshallen gibt es so etwas nicht. Prozessingenieure arbeiten mit aggregierten Daten (Zykluszeiten, Fehlerquoten, Durchsatzzahlen), ohne Einblick in die zugrunde liegenden Abläufe zu haben, die diese Zahlen beeinflussen. Wenn die Leistung je nach Schicht oder SKU schwankt, erfordert die Ermittlung der Ursachen entweder direkte Beobachtung (die sich nicht skalieren lässt) oder von den Bedienern selbst gemeldete Daten (die uneinheitlich sind).

Die Zeitachsenansicht von Factory Playback wurde entwickelt, um diese Lücke zu schließen. Daten aus dem „ Tulip “, Videos und Maschinenereignisse werden pro Station in einer einzigen Zeitachse zusammengeführt, wobei von VLM generierte Anmerkungen Muster aufzeigen, die in strukturierten Daten allein nicht sichtbar wären. Gibt es bei bestimmten Artikelnummern (SKUs) mehr ungeplante Pausen? Hält ein bestimmter Bediener regelmäßig an einem Schritt an, an dem andere dies nicht tun, und wenn ja, handelt es sich dabei um eine Schulungslücke oder um ein Problem bei der Prozessgestaltung? Gibt es ein nachgelagertes Maschinenereignis, das einer Verlangsamung regelmäßig vorausgeht?

Das sind keine Fragen zur Überwachung. Es sind dieselben Fragen, die ein guter Wirtschaftsingenieur stellen würde, wenn er überall gleichzeitig sein könnte. Der Unterschied besteht darin, dass mit „Factory Playback“ die Daten vorhanden sind, um diese Fragen systematisch und nicht nur anhand von Einzelbeobachtungen zu beantworten.

Aus Sicht der IT-Architektur bedeutet dies, dass das System nicht nur eine Sensorebene, sondern eine Datenebene ist. Die Aktivitätszeitleiste speist dasselbe „ Tulip “-Datenmodell, das Prozessingenieure bereits für Anwendungslogik, Analysen und Berichterstellung nutzen. Aus der Bildverarbeitung abgeleitete Signale werden neben Maschinensensordaten und manuellen Eingaben zu vollwertigen Daten. Diese Integration ist entscheidend: Ein eigenständiges Bildverarbeitungssystem, das einen eigenen, isolierten Datenspeicher erzeugt, bedeutet lediglich einen weiteren Wartungsaufwand. Eine Bildverarbeitungs-Laufzeitumgebung, die in das bestehende Betriebsdatenmodell schreibt, gewinnt mit der Zeit zunehmend an Wert.

Die Kamera als Infrastruktur

Der rote Faden, der all dies miteinander verbindet: Die Kamera ist keine Punktlösung für ein bestimmtes Problem. Durch den Einsatz von Factory Playback wird sie zu einer Infrastruktur – einem Sensor, den jeder Prozessingenieur für jede Anwendungsfall konfigurieren kann, ohne dass bei jeder Änderung der Anforderungen ein maßgeschneiderter Engineering-Einsatz erforderlich ist.

Für IT- und Technologieteams bedeutet dies, „Factory Playback“ weniger als Vision-Anwendung, sondern vielmehr als Plattformfunktion zu betrachten. Die entscheidenden Fragen lauten: Wie lässt sich die Lösung in die bestehende Dateninfrastruktur integrieren? Wie werden Modelle aktualisiert und versioniert, ohne dass laufende Bereitstellungen beeinträchtigt werden? Wie sieht der Rechenbedarf bei einer standortübergreifenden Bereitstellung aus? Wie funktionieren Zugriffskontrolle und Daten-Governance für gespeicherte Videodaten?

Das sind die richtigen Fragen. Das vierdimensionale Rahmenwerk für Anwendungsfälle ist letztlich ein Werkzeug, um dieses Gespräch produktiv zu führen und die Anforderungen der Prozessingenieure in Systemanforderungen zu übersetzen, auf deren Grundlage die IT-Teams ihre Planung ausrichten können.

Wenn Sie einen Einsatz planen oder prüfen, wie sich Kameras in eine umfassendere Strategie für Betriebsdaten einfügen lassen, ist dies ein guter Ausgangspunkt.