Backends: MoveNet / Whisper / STGCN — 接続手順
[!NOTE] 最新の実装状況は 機能実装ステータス (Remaining Functionality) を参照してください。
このドキュメントは、実際のモデルバックエンド(MoveNet/MediaPipe、Whisper/faster_whisper、Torch-STGCN)の環境を構築し、evospikenet.video_analysis.backends の *_real バックエンドを利用するための手順をまとめます。
1) 必要パッケージ(推奨 python 3.9+)
基本的な依存関係は requirements.txt にありますが、実際のバックエンドを有効化するには追加で以下をインストールしてください。
- MoveNet / MediaPipe (Pose)
python3 -m pip install mediapipe
- Whisper (faster_whisper 推奨)
python3 -m pip install faster-whisper
- Torch + STGCN モデル (推奨: CPU または CUDA 環境)
python3 -m pip install torch
# TorchScript 形式の STGCN モデルを用意し、環境変数 VIDEO_ANALYSIS_STGCN_MODEL にパスを設定
export VIDEO_ANALYSIS_STGCN_MODEL=/path/to/stgcn_model.pt
2) 環境変数 / 設定
VIDEO_ANALYSIS_WHISPER_MODEL: Whisper モデル名(例tiny)VIDEO_ANALYSIS_WHISPER_DEVICE:cpuまたはcuda。VIDEO_ANALYSIS_STGCN_MODEL: TorchScript モデルのパス。
または Docs/video_analysis_config.yaml や settings.*.yaml に設定を追加してください。
3) 動作確認(スモーク)
リポジトリルートから以下を実行して、利用可能なバックエンドを一覧化できます。
python3 tools/smoke_backends.py
出力は pose / action / asr のそれぞれに対して available フラグを返します。
4) CI での検出
CI では必ずしも実機 GPU を用意できないため、tools/smoke_backends.py は実バックエンドが利用可能かを報告するだけに留め、必須条件にはしないのが推奨です。