コンテンツにスキップ

Backends: MoveNet / Whisper / STGCN — 接続手順

[!NOTE] 最新の実装状況は 機能実装ステータス (Remaining Functionality) を参照してください。

このドキュメントは、実際のモデルバックエンド(MoveNet/MediaPipe、Whisper/faster_whisper、Torch-STGCN)の環境を構築し、evospikenet.video_analysis.backends*_real バックエンドを利用するための手順をまとめます。

1) 必要パッケージ(推奨 python 3.9+)

基本的な依存関係は requirements.txt にありますが、実際のバックエンドを有効化するには追加で以下をインストールしてください。

  • MoveNet / MediaPipe (Pose)
python3 -m pip install mediapipe
  • Whisper (faster_whisper 推奨)
python3 -m pip install faster-whisper
  • Torch + STGCN モデル (推奨: CPU または CUDA 環境)
python3 -m pip install torch
# TorchScript 形式の STGCN モデルを用意し、環境変数 VIDEO_ANALYSIS_STGCN_MODEL にパスを設定
export VIDEO_ANALYSIS_STGCN_MODEL=/path/to/stgcn_model.pt

2) 環境変数 / 設定

  • VIDEO_ANALYSIS_WHISPER_MODEL : Whisper モデル名(例 tiny
  • VIDEO_ANALYSIS_WHISPER_DEVICE : cpu または cuda
  • VIDEO_ANALYSIS_STGCN_MODEL : TorchScript モデルのパス。

または Docs/video_analysis_config.yamlsettings.*.yaml に設定を追加してください。

3) 動作確認(スモーク)

リポジトリルートから以下を実行して、利用可能なバックエンドを一覧化できます。

python3 tools/smoke_backends.py

出力は pose / action / asr のそれぞれに対して available フラグを返します。

4) CI での検出

CI では必ずしも実機 GPU を用意できないため、tools/smoke_backends.py は実バックエンドが利用可能かを報告するだけに留め、必須条件にはしないのが推奨です。