トヨテックが札幌トヨタ自動車と共に、作業映像を Azure 活用の生成 AI で分析・言語化する PoC を実施、作業報告作成の自動化や技術継承の円滑化を目指す

目指したのは現場の作業内容を「作業者自身が入力しなくてもいい」環境

トヨタモビリティ東京グループの一員として、東京地区のトヨタ販売店を強力にバックアップしている株式会社トヨテック (以下、トヨテック)。販売力を支える情報戦略と IT を活用した視える化で、自動車販売に関わる業務プロセスの革新を支援し続けています。その「視える化」に関して、同社は新たな一歩を踏み出しつつあります。カメラで撮影した動画から一定の時間間隔で静止画を抽出し、それを生成 AI で分析して現場の作業内容を言語化する、という取り組みが進められているのです。

「販売店の現場では作業者が自分で作業実績を入力していますが、『実態と異なる』『すぐに入力されない』『入力作業が徹底されず現場の実情がわからない』といった課題を抱えていました」と語るのは、トヨテックで代表取締役社長を務める藤原 靖久 氏です。そもそもこのようなデータ入力は、作業者にとって「価値を産まない」ものであり、以前から「これを撤廃できないか」と考えていたと言います。

その実現に向けた取り組みがスタートするきっかけになったのは、社長自らによる ChatGPT の活用でした。まず作業現場の写真を撮影し、それを ChatGPT に読み込ませたところ、そこで何が行われているのかを言語化できることがわかったのです。

「これを最初に自分でやったのは 2024 年 10 月でしたが、人間がちょっと見ただけでは判断できない写真でも、生成 AI なら何をしているのかわかるようになっていました。これを時系列に沿って連続的に行えば、いつ整備作業に着手しいつ完了したのか、その間にどのような作業を行ったのかのレポートを、自動的に作成できると考えました」。

その一方で 2025 年 2 月には、札幌トヨタ自動車株式会社(以下、札幌トヨタ自動車) から「作業の確認漏れ」や「属人化による技術継承の難しさ」に関する相談が持ちかけられていました。この時「生成 AI による作業内容の言語化」というアイディアは、具体的な現場の悩みと結びつくことになります。そして 2025 年 5 月には、実際に PoC 環境を構築し検証を進める、という方針が決定。2025 年 7 月に具体的な意見交換を行った上で、その翌月から PoC がスタートするのです。

カメラの映像を生成 AI が分析、ユーザーが望む形で言語化可能に

ここでまず行われたのが、作業現場で撮影された動画を一定の時間間隔で静止画として切り出し、それを生成 AI に読み込ませて分析させるアプリケーションの作成です。その構築・運用基盤としては Azure OpenAI in Foundry Models と Azure App Service を活用。その理由について、トヨテック システム開発部 販売店DX推進室 販売店DX推進1グループでグループ長を務める関口 新 氏は次のように説明します。

「今回の検証に Azure を活用しているのは、親会社であるトヨタモビリティ東京の基幹システムが Azure を採用しており、これとの親和性が高かったからです。また整備現場のデータという機密性の高い情報を扱うため、セキュリティが高い状態で安全に提供できるクラウド基盤であることも評価しました。販売店のスタッフが Excel などの Microsoft 製品に慣れ親しんでおり、導入に伴う現場への負担が抑えられる点も大きなメリットです」。

このアプリケーションは、生成 AI に与える指示 (プロンプト) をカスタマイズでき、ユーザーの望む形で作業内容を言語化できます。この事例記事で示している画面例では、「タスクの説明」「良い点」「悪い点」「改善点」「採点結果」「作業者の視点」「全体のまとめ」という項目で、作業内容を整理しています。

ここで重視されたのが、生成 AI の出力をそのまま鵜呑みにするのではなく、最終判断・活用は必ず人が行う「Human-in-the-loop」設計にしていることです。プロンプトをユーザーがカスタマイズできるようにしているのもそのためです。これによって「現場に受け入れられやすい」実践的なプロセスを構築したのです。

撮影用のカメラとしては、作業現場に固定されたものの他、作業者が装着して視線追跡が可能なメガネ型の「POV カメラ」も利用されています。固定カメラだけでは作業者の影に隠れて作業内容が見えないケースもあるからです。また POV カメラで視線を追跡することで、作業者が何を意識しているのかがわかりやすくなる、というメリットもあります。

POV カメラの視線座標合成アプリケーションをわずか 2 日で開発

ただし POV カメラの映像を効果的に活用するには、解決すべき課題が存在しました。POV カメラが取得した視線座標データを生成 AI に認識させるには、画像の中でその位置を表示させる「合成処理」が必要になりますが、POV カメラ ベンダーが提供する専用ツールでは、10 分間程度の映像でも合成処理に約 1 時間かかっていたのです。これでは作業後すぐに、生成 AI による分析を行うことができません。

そこでトヨテックは 2025 年 12 月に、視線座標データを映像に合成する独自アプリケーションの開発に着手。GitHub Copilot を活用した自然言語からコードへの機能実装を行うことによって、短期間での開発・実装を成功させています。その開発・リリース作業について、トヨテック システム開発部 販売店DX推進室 販売店DX推進1グループでアソシエイトを務める杉浦 翔真 氏は次のように述べています。

「GitHub Copilot は今回初めて使いましたが、10 分程度で正確なコードが生成されることに驚きました。非常に細かく気を配ってコーディングしてくれる上、コメントも細かく入れてくれるため、何をしているのか後から思い出しやすいことも大きなメリットです。また Azure は GUI が直感的にわかりやすく、リソースの立ち上げやサービス同士の接続が容易であるため、リリース作業も短縮できました」。

トヨテックはわずか 2 日間で、ファイルのドラッグ＆ドロップで合成処理を行えるアプリケーションを完成。その間に GitHub Copilot で 8 回コードを生成し、改善を重ねていったと言います。この独自アプリケーションによって、視線座標データの合成処理時間はわずか 5 分にまで短縮。即時フィードバックによる改善ループが可能になりました。

札幌トヨタ自動車ではトヨテックが構築したこれらのアプリケーションを、現場の作業内容の記録だけではなく、熟練エンジニアと若手エンジニアの作業内容比較にも活用しています。これによってより円滑な技術継承の実現が目指されているのです。

PoC に参画した札幌トヨタ自動車も成果と将来性を高く評価

実際にこれらのアプリケーションを活用している、札幌トヨタ自動車 代表取締役会長兼社長 相茶 省三 氏は、次のように語っています。

「AI による動画解析の結果、ベテラン エンジニアと若手エンジニアの作業の違いが一目瞭然になりました。整備に携わる者でなければ馴染みのない専門用語を、プロンプトに明記していないにもかかわらず正しく理解している点も、AI の高い知識レベルを示しています。動画から作業手順を文字起こしすることも可能であり、教育用ビデオとしての活用や、整備作業の正しいマニュアル作成にも応用できるなど、幅広い活用の余地があると感じています」。

札幌トヨタ自動車における PoC は現在も継続中ですが、トヨテックではすでに次のフェーズに向けた検討が始まっています。親会社であるトヨタモビリティ東京の現場環境へ、これらのアプリケーションを展開することが計画されているのです。ただしそのためには、乗り越えるべきハードルもあると藤原 氏は指摘します。

「現場でどのような作業を行っているのか、作業者が記入作業を行うことなく事実をそのまま記録できる技術基盤を、今回の検証で確立することができました。これを多くの販売店に入れていただくにはもっとコストを下げ、エッジだけでも実現できる仕組みにする必要があるでしょう。しかしこれを活用することで作業のムダが少なくなり、作業エビデンスを提示することでお客様からのより高い信頼も獲得できるようになるはずです」。

これが実現できれば、作業現場の「視える化」は大きな進歩を遂げることになるでしょう。また作業の標準化による属人性の排除も容易になるはずです。トヨテックの今回の PoC が今後どのような果実を生み出すのか、これからも目が離せません。