現実世界のデバッグ:NVIDIAが支える「Factory Playback」の内部

Natalia Gutierrez

AI Summary

Operations Calling 2025 showcased how modern manufacturing depends on open ecosystems, with dozens of partners demonstrating integrated AI, hardware, and software solutions. The event emphasized that collaboration and interoperability—not single all-in-one systems—are key to scalable, future-ready operations.

ソフトウェアエンジニアなら誰でもデバッガーを使っています。ブレークポイントを設定し、実行をステップ実行して、1命令ずつ状態の変化を確認します。何か問題が発生したときは、ダッシュボードから推測するのではなく、その状況を再現して確認するのです。

製造現場にはデバッガーなど存在しない。工場では、機械の状態、作業指示書の処理履歴、品質検査結果、オペレーターの承認など、膨大なテレメトリデータが生成される。 これらはすべてテーブルの行として記録されます。しかし、治具の取り付けミス、作業台の反対側に部品が置かれていた、3つのステーションで共有されているトルクツールが11分間使用不能だったなど、実際に欠陥を引き起こした事象は、ログ行と行の間の「隙間」で発生しています。トランザクションにはその工程が完了したことは記録されていますが、どのように完了したかは記録されていません。Factory Playbackは、まさにその「隙間」を埋めるものです。

「ファクトリー・プレイバック」とは何か、そしてそれが実際に解決する問題

「Factory Playback」は、生産現場のカメラから得られる映像と、Tulip が記録した操作業務のイベントストリームを、単一のタイムライン上で同期させます。記録内の漏れ検査の不合格箇所をクリックすると、その現象が発生した瞬間に映像がジャンプします。「先週、2番ラインで技術者がハーネスの配線経路を修正したすべての場面を見せて」と尋ねれば、レポートではなく、実際の映像クリップが表示されます。

ビジョンエージェントを構築する者にとって、この枠組みの捉え方は重要です。これは単なる映像解析の問題ではなく、グラウンディングの問題なのです。ビジョン言語モデル(VLM)に工場の生映像を提示しても、「人がテーブルで作業している」といった一般的なキャプションしか得られません。 このモデルには、そのテーブルが「ステーション7」であること、その人物が作業指示書88213のステップ4を実行していること、トルク仕様が42 Nmであること、あるいはこのステーションを通過した直近の3台が最終検査に不合格だったことといった、業務上の文脈に関する知識が一切ありません。

こうした環境において、業務の可視化が本質的に困難であるのは、以下の3つの構造的な理由によるものです:

  • 大規模で動的な物理環境。複数の作業ステーション、広範囲にわたる作業エリア、そして絶えず移動する資材、工具、治具。固定された形状を基準とすることはできません。
  • 受注生産。特定の工程にある製品は、唯一無二のもの、あるいは高度にカスタマイズされたものである場合があります。「正しい製品がどのようなものか」を学習したモデルは、すぐに精度が低下してしまいます。
  • その仕事は、一連の出来事の間に存在している。システムは取引を記録するが、それを説明する物理的な文脈が欠けている。

まさにこの点が、NVIDIAとTulipの技術スタックが融合する部分です。NVIDIAのモデルと演算能力は、知覚および推論能力の高速化をもたらします。一方、Tulip のイベントストリームは、どの瞬間が重要であり、それが工場の文脈においてどのような意味を持つのかを、それらのモデルに伝える運用上のコンテキストを提供します。

Tulip がNVIDIAを採用している理由

NVIDIAは長年にわたり、物理AIのためのモデルおよびマイクロサービス層の構築に取り組んできました。具体的には、世界の推論と生成を担う「 NVIDIA Cosmos」、 動画検索・要約(VSS)向けの 「 NVIDIA Metropolis Blueprint」、 デプロイ可能な推論を実現する「NIM」、そしてシミュレーション向けの「Omniverse」 などです。これらは意図的に汎用性の高い基盤として構築されており、特定の分野を前提とするのではなく、各分野に合わせて適応できるよう設計されています。これを産業現場の運用に適応させるには、真に希少な1つの入力要素、すなわち大規模な「ラベル付けされた運用実態」が必要となります。Cosmosが特に得意とする合成データの生成は、その「種」を倍増させますが、何らかの「種」が必要であり、その「種」は、熟練した作業者が実際に複雑な物理的な作業をどのように遂行しているかを忠実に記録したものでなければなりません。これは、誰でもクラウドソーシングで集められるようなデータセットではありません。それは、その作業がすでにソフトウェアを通じて実行されている場所にのみ存在するものです。

Tulip 本業の副産物としてこれに取り組んでいる。このプラットフォームは45カ国、1,000以上の工場で稼働しており、現場のアプリを通じて年間約190億件のイベントが処理され、組立、検査、キット作成、バッチ実行など、41,000以上のアクティブなアプリケーションが利用されている。これらのイベントはすべて、本来何が起こるはずだったか、そして実際に何が起きたかについて、人間が作成し、タイムスタンプが付けられたアサーションである。

ここには見事な対称性があり、私たちはこれを「人間からのフィードバックによる強化学習(RLHF)」として「カイゼン」と呼ぶようになりました。継続的な改善とは、そもそも人間が作業を観察し、評価し、修正するというフィードバックループそのものです。このループを形式化してタイムスタンプを付ければ、それは「選好シグナル」となります。これは、優れた実際の作業がどのようなものかを示す「グラウンドトゥルース」であり、その作業を行う人々によって継続的に生成されるものです。

つまり、役割分担は明確です。NVIDIAが「脳」を構築し、Tulip は「神経系」であり、それを実際の作業につなぐランタイムです。

スタックの構成

Factory Playbackは、NVIDIA Metropolis VSSブループリントを基盤としており、推論用VLMとしてNVIDIA Cosmos 3を採用し、Tulip が運用インデックスを提供しています。このパイプラインはオンプレミスで実行されるため、カメラ映像が建物外へ流出することはありません。これは、GxP、ITAR、および労働協議会が関与する環境において必須の要件となっています。

取り込みと検出。ステーションのカメラからの映像は、オンプレミスのGPUサーバー上のVSS取り込みパスにストリーミングされます。現在、エッジ側ではNVIDIA RTX PRO 6000クラスのハードウェアが使用されています。映像はチャンクに分割され、NIMで展開された物体検出モデル(現在の構成ではYOLOX)が、トラッキングID付きのフレームごとの検出結果を生成します。これにより、物体はチャンクの境界を越えて追跡され続け、数秒ごとに再検出されることはありません。

推論。チャンクは、高密度でタイムスタンプ付きのキャプション生成および時空間推論を行うために、NVIDIA Cosmos 3に送られます。Cosmos 3の「Mixture-of-Transformers」アーキテクチャは、推論トランスフォーマーと専門的な生成トランスフォーマーを組み合わせているため、モデルはオブジェクト間の相互作用、動き、時空間的な関係について、フレームレベルのキャプションから推論するのではなく、第一級の操作として推論を行います。 再生処理において、重要なペイロードはタイムスタンプの精度と関係性の理解です。つまり、「コンポーネントが治具に固定されている」という記述ではなく、「ユニットが待機している間、00:03:47から00:04:12まで治具は固定されていない状態にある」という記述です。この時間間隔こそが、実際の知見となります。

検索。キャプション、CVメタデータ、およびTulip イベントは、NeMoのテキスト埋め込みおよびNIMの再ランク付けを通じて埋め込まれ、インデックス化されます。これにより、タイムラインをカメラや時刻ではなく、自然言語で検索できるようになります。

Tulip のハーフ。 Tulip のイベントストリームは 、ビジョンパイプラインだけでは実現できない3つの役割を果たします。

  • このシステムは、ステーション、作業指示書、オペレーター、工程ステップ、機械の状態、品質結果といったスキーマを提供します。これは、単に「その瞬間がどのように見えるか」だけでなく、「その瞬間が何であるか」を表す用語体系です。
  • このシステムはトリガーを提供します。テストの失敗やアンドン信号によって、パイプラインはどの数秒間の映像を推論の対象とするべきかが判断されます。これが、処理可能な推論リソースの範囲内に収めることと、24時間365日稼働するマルチカメラ映像をすべて処理しようとする「海を沸かすような」無謀な試みとの違いなのです。
  • そして、それは「時計」の役割を果たす。つまり、映像、テレメトリ、そして人間の行動のすべてが、この唯一の信頼できるタイムラインに合わせて調整されるのだ。

最後の点はありふれたように聞こえますが、そこがまさに肝心な点なのです。共有クロックがなければ、2つのアーカイブが存在することになります。共有クロックがあれば、1つの記録が得られます。下流では、同じように整列されたシーケンスが、デジタルツインの基盤層として Omniverseに実際の運用挙動を反映させるため、シミュレーションはプロセスエンジニアの仮定ではなく、現場での実際の動作に基づいて可視化され、検証されることになります。

その価値とは

そのメリットを最も明確に把握するには、現在の調査にかかるコストを検証するのが一番です。現場から問題が報告されてくると、チームは残っている情報――マシンのログ、エクスポートされたレポート、当直者の記憶など――をもとに、何が起きたのかを手作業で再構築しなければなりません。この作業には数時間から数日かかり、通常は数人の人員を動員することになりますが、その結果得られるものはあくまで「再構築」であり、「記録」ではありません。

コストがかかる原因は、専門知識の不足ではありません。チームは通常、出発点と最終結果を知っています。しかし、その間に何が起きたかについて確かな全体像を把握できていないため、労力の大部分は事後の証拠作りにかかっています。その証拠が再生可能なタイムラインとしてすでに存在している場合、調査はかつての終了地点からほぼ同じ地点で始まることになります。

そこから4つの価値のカテゴリーが導き出され、それらはプラント全体にカバー範囲が拡大するにつれて相乗効果を生み出します:

  • スループット。ビルド間のサイクルタイムのばらつきが、単なる噂話ではなく、可視化・定量化できるようになります。高付加価値の個別生産においては、スループットの向上率が1桁台前半であっても大きな意味を持ち、その1ポイントの向上が、出荷数量に直接つながります。
  • 品質と手直し。品質上の事象を、それが発生した映像の瞬間と関連づけることで、欠陥分析は統計的なものから原因究明型へと変わります。チームは、4つのあり得るメカニズムのうちどれが故障モードを引き起こしたかについて議論するのをやめ、実際に原因となったメカニズムを映像で確認するようになります。
  • 異常検知。徐々に性能が低下する(そのため閾値を超えない)マシンの挙動は、数週間にわたって同じ操作を再生し、その変化を確認することで明らかになります。
  • 安全性と生産性。不必要な動き、待ち時間、不適切な作業場のレイアウトなどは、再生可能なタイムライン上では一目瞭然ですが、トランザクションログ上ではほとんど見分けがつきません。この同じ証拠が、ラインのバランス調整や作業場の再設計の根拠となります。

大規模な離散型製造現場におけるモデリング演習では、これらのカテゴリーは、単一の工場において年間7桁規模の機会として算出されています。これらはモデル化された数値であり、実際の成果ではありませんが、生産価値密度に大きく依存しているものの、当社が調査対象とした導入事例全体を通じて、その傾向は一貫しています。

時間の経過とともに、より重要になる二次的な効果があります。同期された動画やイベントは、プロセスが実際にどのように稼働しているかを示す構造化された記録として蓄積されます。これには、現在、工場で最も経験豊富な従業員の頭の中にのみ存在し、彼らが退職すると失われてしまう実践的なノウハウも含まれます。 プロセスデータとして記録されたその専門知識は、次に採用される人材に伝授できるようになり、その上に構築されるあらゆる産業用AIの基盤となります。これは、プラントの稼働に伴う副産物として蓄積されていくのです。

Cosmos上で開発を行うすべての人にとって重要な点は、もはやモデルがボトルネックではなく、グラウンディングこそがボトルネックであるということです。産業現場においてフィジカルAIから真の価値を引き出せるチームとは、その作業が本来どうあるべきかを人間が作成した構造化された記述をモデルに与え、モデルに「本来あるべき姿」と「実際に起きたこと」とのギャップについて推論させることができるチームです。工場はこれまで、現実をデバッグすることができませんでした。しかし今や、現実を段階的に検証することができるようになったのです。

建築を、その場で体験しよう

以上が要約版です。 詳しい内容を知りたい方は、Tulip の共同創業者兼CISOであるRony Kubat氏が、LinkedIn Liveセッションを開催します。このセッションでは、Factory Playbackのアーキテクチャを端から端まで解説します。具体的には、ステーションの動画がエッジGPU上のVSS取り込みパスをどのように通過するか、Cosmos 3の推論がすべてのフレームで実行されるのではなく、Tulip のイベントトリガーによって範囲が限定される仕組み、運用イベントが1つのクエリ可能なタイムラインにインデックス化される仕組み、そして実際にどのような困難な技術的課題があったかについて説明します。 また、質疑応答の時間も設けられますので、この記事で答えられなかった質問があればぜひお寄せください。

LinkedIn Live に登録する →
9月30日(水)午後2時(EST)/午前11時(PST)

実際に体験してみましょうOperations Calling

Operations Calling で、すでにAIから成果を上げているメーカーの仲間入りをしましょう。SOPに基づいてソリューションを構築し、接続された機械データや映像データを活用し、拠点間で共有しましょう。

今すぐチケットをお求めください!
ボトムCTAグローバル