分散脳ノードタイプ仕様

[!NOTE] 最新の実装状況は機能実装ステータス (Remaining Functionality) を参照してください。

このドキュメントは、EvoSpikeNet分散脳システムにおけるノードタイプの仕様を説明します。各ノードタイプは生物学的脳の機能的専門化に対応し、分散システムでの役割を定義します。

ノードタイプの概要

分散脳システムでは、以下の11つのノードタイプが定義されています：

ノードタイプ	Rank	対応脳部位	主な機能	実装状態
`executive`	0	前頭前野 (dlPFC)	実行制御、意思決定、計画立案	✅ 完了
`vision`	1	後頭葉 (V1-V5)	視覚処理、物体認識	✅ 完了
`spatial`	2	頭頂葉 + 後頭頭頂接合部	空間認識・生成、空間注意	✅ 完了
`motor`	3	運動野 (M1) + 小脳 + 脊髄	運動制御、協調動作	✅ 完了
`auditory`	5	側頭葉 (A1-A2)	聴覚処理、音声認識	✅ 完了
`speech`	6	ブローカ野	音声生成、言語出力	✅ 完了
`memory_spike`	N/A	海馬/皮質圧縮経路	スパイク貯蔵・圧縮・忘却制御	✅ 新規実装
`spatial_where`	12	頭頂葉背側 (Where経路)	空間位置・距離認識、深度推定	✅ 新規実装
`spatial_what`	13	視覚皮質/側頭皮質 (What経路)	視覚生成、物体認識、シーン理解	✅ 新規実装
`spatial_integration`	14	後頭頭頂接合部	What-Where統合、世界モデル	✅ 新規実装
`spatial_attention`	15	前頭眼窩野	空間注意制御、saccade計画	✅ 新規実装
`general`	N/A	汎用	汎用処理、補助機能	✅ 完了

実装ノート: これらのノードタイプは evospikenet/node_types.py で定義されており、ランク付けにより処理優先度が決定されます。Feature 13 で実装された Rank 12-15 のノード（◆新規実装）は spatial_processing.py に実装されています。 メモリ拡張ノート: memory_spike はスパイク圧縮レイヤと忘却制御（evospikenet/snn_memory_extension.py, evospikenet/forgetting_controller.py）を指し、長期記憶統合は evospikenet/long_term_memory.py に実装されています。

各ノードタイプの詳細仕様

Executive Node (実行制御ノード)

Rank: 0 (最高優先度) 対応脳部位: 前頭前野 (dlPFC) 主な役割: - 高レベル意思決定 - タスク計画と実行制御 - リソース割り当て - 他のノードの調整

実装クラス: ExecutiveController 通信パターン: ブロードキャスト制御信号、コンセンサスベースの決定 依存関係: 全ノードタイプと連携

Vision Node (視覚ノード)

Rank: 1 対応脳部位: 後頭葉 (V1-V5) 主な役割: - 視覚データ処理 - 物体検出と認識 - 空間的特徴抽出 - 視覚フィードバック

実装クラス: VisionProcessor 通信パターン: センサーデータ受信、エンコードデータ送信 依存関係: Sensing nodes, Encoder nodes

Spatial Node (空間ノード)

Rank: 2 対応脳部位: 頭頂葉 (上頭頂小葉) + 後頭頭頂接合部 主な役割: - 空間認識とマッピング - 空間シーンの生成 - 空間注意の制御 - 視覚-空間統合

実装クラス: SpatialProcessor 通信パターン: 視覚特徴受信、空間データ生成、注意制御信号送信 依存関係: Vision nodes, Executive nodes, Motor coordination

Motor Node (運動ノード)

Rank: 2 対応脳部位: 運動野 (M1) + 小脳 + 脊髄 主な役割: - 運動指令生成 - 動作協調制御 - 力学計算 - フィードバック制御

実装クラス: MotorController 通信パターン: コンセンサスベースの協調動作 依存関係: Executive nodes, Sensory feedback

Auditory Node (聴覚ノード)

Rank: 5 対応脳部位: 側頭葉 (A1-A2) 主な役割: - 音声信号処理 - 音声認識 - 環境音分析 - 聴覚フィードバック

実装クラス: AuditoryProcessor 通信パターン: 音声ストリーム処理、特徴抽出 依存関係: Audio sensors, Encoder nodes

Speech Node (音声生成ノード)

Rank: 6 対応脳部位: ブローカ野 主な役割: - 言語生成 - 音声合成 - コミュニケーション出力 - 表現制御

実装クラス: SpeechGenerator 通信パターン: テキスト入力、音声出力 依存関係: Language models, Motor coordination

Feature 13: 高度な空間処理ノード (Rank 12-15) ✅ 新規実装完了

EvoSpikeNetの分散脳システムに追加された高度な空間認知・生成システム。これらのノードは生物学的脳の視覚システム（後頭葉～側頭葉～頭頂葉）をシミュレートします。

実装ファイル: spatial_processing.py (3500+ 行)
テストファイル: test_distributed_brain_simulation.py (2000+ 行)
実装完了日: 2026年2月17日

Spatial Where Node (空間位置認識ノード)

Rank: 12 対応脳部位: 頭頂葉背側 (LIP, MT+, V5A) 主な役割: - 空間位置・距離・方向認識 - 視覚的注意の焦点化 - 眼球運動（Saccade）の計画 - 順応性空間座標系の生成

実装クラス: spatial_processing.py 入力: Rank 1 (Vision) からの視覚特徴抽出出力: 空間座標、深度マップ、網膜中心座標 通信パターン: Zenoh PubSub (spikes/spatial/where/*) パフォーマンス: < 50ms 平均レイテンシ

機能: - ✅ CoordinateTransformer: 異なる座標系間の変換 (Egocentric ↔ Allocentric) - ✅ DepthEstimationNetwork: 単眼深度推定 (CNN ベース) - ✅ SpatialCoordinateEncoder: 3D座標 → スパイク表現変換 - ✅ Retinotopic map: 視覚野の網膜地図構造をシミュレート

依存関係: Vision nodes, Spatial Integration nodes

Spatial What Node (視覚生成・認識ノード)

Rank: 13 対応脳部位: 視覚皮質/側頭皮質 (IT皮質) 主な役割: - 物体認識と分類 - シーン理解 - 視覚属性の抽出 - 高次視覚情報の処理

実装クラス: spatial_processing.py 入力: Rank 1 (Vision) からの低レベル視覚特徴出力: 物体クラス確率、シーングラフ、属性ベクトル 通信パターン: Zenoh PubSub (spikes/spatial/what/*) パフォーマンス: < 30ms 平均レイテンシ

機能: - ✅ 物体認識: 100+ クラス分類 (ImageNet準拠) - ✅ シーン理解: 物体間関係の推論 - ✅ 属性抽出: 色、サイズ、方向などの特徴 - ✅ マルチスケール処理: ローカル～グローバル特徴の統合

依存関係: Vision nodes, Spatial Integration nodes

Spatial Integration Node (What-Where統合ノード)

Rank: 14 対応脳部位: 後頭頭頂接合部 (Parietal-Temporal Junction) 主な役割: - Where経路とWhat経路の統合 - 統一的な視覚表現の生成 - 世界モデルの維持 - 予測的符号化

実装クラス: spatial_processing.py 入力: Rank 12 (Where) と Rank 13 (What) の両方の出力出力: 統合視覚表現、世界状態、予測 通信パターン: Zenoh PubSub (spikes/spatial/integration/*) パフォーマンス: < 50ms 平均レイテンシ

機能: - ✅ マルチヘッド注意メカニズム: Where/What情報の重み付け - ✅ 空間構造符号化: オブジェクトの相対位置 - ✅ 世界モデル更新: 環境の内部表現 - ✅ 予測部: 次フレームの予測

依存関係: Spatial Where/What nodes, Attention control nodes

Spatial Attention Control Node (注意制御ノード)

Rank: 15 対応脳部位: 前頭眼窩野 (Frontal Eye Fields) 主な役割: - 空間注意の指向 - Saccade（急速眼球運動）の計画と実行 - 注意優先度の設定 - 動作モジュレーション

実装クラス: spatial_processing.py 入力: Rank 14 (Integration) の統合表現出力: 注意優先度マップ、Saccadeターゲット、モジュレーション信号 通信パターン: Zenoh PubSub (spikes/spatial/attention/*) パフォーマンス: < 30ms 平均レイテンシ

機能: - ✅ 注意優先度マップ: 視覚野への投射 - ✅ Saccade計画: 目標位置の決定 - ✅ モジュレーション強度: ゲーティング信号 - ✅ タスク駆動制御: 高レベルタスク情報の統合

依存関係: Spatial Integration nodes, Motor coordination nodes

Spatial Processing System Integration

統合システムクラス: spatial_processing.py 実装状態: ✅ 完全実装

# 統合システムの構造
DistributedSpatialCortex:
  ├── spatial_where_node: SpatialWhereNode
  ├── spatial_what_node: SpatialWhatNode
  ├── spatial_integration_node: SpatialIntegrationNode
  ├── spatial_attention_node: SpatialAttentionControlNode
  └── performance_stats: Dict[str, Any]  # profile_section 計測データ

E2E パイプライン: 1. 視覚入力 (Rank 1) → 2. Where処理 (Rank 12): 空間位置・深度 → 3. What処理 (Rank 13): 物体認識 → 4. 統合 (Rank 14): What-Where融合 → 5. 注意制御 (Rank 15): Saccade計画 → 6. 運動出力 (Rank 3) へ

テスト統計: - 総テストケース: 17+ - Spatial Integration テスト: 5+ - パフォーマンス計測テスト: 3+ - エラーリカバリーテスト: 3+ - 合格率: 100%

General Node (汎用ノード)

Rank: N/A (動的割り当て) 対応脳部位: 汎用領域 主な役割: - 補助処理 - 負荷分散 - バックアップ機能 - 実験的機能

実装クラス: GeneralProcessor 通信パターン: 柔軟なメッセージング 依存関係: 状況に応じて動的 - 学習: データ拡張・自己教師ありフィルタ（ノイズ耐性向上）

ノード4: Vision Encoder
- 役割: 画像→埋め込み変換
- モデル: ViT/Vision Transformer 系 or ResNet→Projection、またはイベント向け Spiking-ViT
- データ: ImageNet, COCO, ドメイン固有データ（収集時のメタデータ付き）
- 学習: 事前学習（大規模データ）→ドメイン微調整（Fine-tune）、場合により継続学習
ノード5: Audio Encoder
- モデル: Wav2Vec2 / HuBERT →埋め込み
- データ: LibriSpeech, AudioSet, ドメイン音声コーパス
- 学習: 事前学習 + タスク微調整（音声分類・転写）
ノード6: Text Encoder
- モデル: SentenceTransformer（SBERT系）または軽量トランスフォーマー埋め込み
- データ: Wikipedia, CC-News, 専門ドメインコーパス
- 学習: 事前学習→タスク微調整（意味検索用）
ノード7: Spiking Encoder
- モデル: SNN（Spiking Neural Network）ベースのエンコーダ（イベントカメラ向け）
- データ: DVS (Dynamic Vision Sensor) データセット等
- 学習: STDP/Surrogate-gradient training / 変換学習
ノード8-12: 推論ノード（Inference x5）
- ノード8: LM-Inference（短文/対話）
  - モデル: 小中規模のトランスフォーマーLM（数百M〜数十億パラメータ）
  - データ: 会話コーパス、システムプロンプト、履歴
  - 学習: 事前学習済みモデルのオンライン微調整（リトレーニングはTrainerノードが管理）
- ノード9: Classifier/Detector
  - モデル: YOLOvX / Faster-RCNN / ResNet-based classifier
  - データ: COCO, OpenImages, 専用アノテーション
  - 学習: 転移学習＋継続的ラベリング（Human-in-the-loop）
- ノード10: Spiking-LM（生体指向生成）
  - モデル: スパイキングニューラルネットワークを用いた生成/記憶インタフェース
  - データ: センサ時系列+イベント履歴
  - 学習: 生体模倣のオンライン適応（少量データでの微調整）
- ノード11: Ensemble / Multimodal Inference
  - 役割: エンコーダ群／推論ノードの出力を統合して高信頼度出力を生成
  - 手法: 重み付きアンサンブル、メタ学習による信頼度推定
- ノード12: Retriever-Augmented Generation (RAG)
  - 役割: 記憶ノードからのコンテキストを付与してLM推論を支援
  - モデル: 軽量検索器＋LM
- ノード13-14: 長期記憶ノード（Long-Term Memory x2）
  - 役割: エピソディックメモリ（出来事ベース）とセマンティックメモリ（知識ベース）を管理
  - モデル: FAISSベースのベクトル検索、Zenoh通信統合
  - データ: スパイク埋め込み、時系列イベント、メタデータ
  - 学習: オンライン適応、重要度ベースの保持/忘却
  - 機能: 類似検索、連想想起、メモリ統合
ノード17-18: 意思決定ノード（Decision x2）
- ノード17: 高レベルプランナー
  - 役割: 目標を受け、複数候補（サブゴール）を生成
  - モデル: 強化学習ベースのポリシー or Symbolic Planner + 学習済みポリシー
  - 学習: シミュレーションでの強化学習（PPO/IMPALA 等）＋現地微調整
- ノード18: 実行コントローラ
  - 役割: プランをモーター指令に変換（MotorConsensusと連携）
  - モデル: 既存モーターモデル＋分散合意によるアクチュエータ出力の協調
ノード19-20: 記憶ノード（Memory x2）
- ノード19: ベクトルDB（Milvus/FAISS）
  - 役割: 埋め込みの格納と高速近傍検索
  - データ: 埋め込み、メタデータ、シグナルの時間情報
  - 運用: レプリカ、シャーディング、TTLポリシー
- ノード16: エピソード記憶（時系列ストレージ）
  - 役割: 生のイベントログ・トランザクション保存、長期履歴
  - ストレージ: MinIO / Time-series DB
ノード21: 学習ノード（Trainer x1）
- 役割: モデルのバッチ学習／分散トレーニング／フェデレーテッド集約の指揮
- 手法: PyTorch DDP / Horovod / Federated Averaging（サーバ側）
- 機能: チェックポイント、メトリクス集約、A/Bテスト用のモデル配信
ノード22-23: 集約／調停ノード（Aggregator x2）
- ノード22: フェデレータ（Federator）
  - 役割: フェデレーテッド学習の集約（安全な集計、差分プライバシーの適用）
- ノード23: 結果アグリゲータ
  - 役割: 複数ノードの出力を統合（重み付け、信頼度管理）、ポリシー決定支援
ノード24-25: 管理／ユーティリティ（Management x2）
- ノード24: 認証／認可／構成配布
  - 役割: APIキー管理、RBAC、TLS証明書管理
- ノード25: 監視・ロギング
  - 役割: Prometheus/Grafanaでメトリクス可視化、ELKでログ集約

5. 各ノードのモデル割当と学習方法（詳細）

事前原則:
- 主要モデルは「事前学習（Pretrain）→ドメイン微調整（Fine-tune）→運用中継続学習（Continual / Federated）」のパスを採る。
- プライバシー保護はデフォルトで適用（差分プライバシー、Secure Aggregation、暗号化転送）。
データパイプライン:
- 観測→エンコーダ→ベクトルDB／推論のパスはストリーミングを基本とし、同時にサンプリングしたデータはTrainerへバッチで供給。
- アノテーションはHuman-in-the-loopで段階的に追加し、品質保証されたデータのみを学習に投入。
学習方式（ノード別）:
- エンコーダ（Vision/Audio/Text/Spiking）: 大規模事前学習（分散GPU）→ドメイン微調整（少量データで高速）→エッジでの知識蒸留
- 推論ノード（LM等）: 事前学習済みLMのパラメータの一部を固有タスクで微調整。オンライン微調整はTrainerの承認下で行う。
- Trainer（ノード17）: モデル重みの集約、検証、モデル署名、配信。フェデレーテッド学習時はAggregatorと共同で安全に集約。

6. 運用上の注意（安全性・冗長性・監視）

冗長性: 重要ノード（記憶、aggregator、auth）は複数レプリカで運用し、自動フェイルオーバーを設定
セキュリティ: mTLS、RBAC、APIキー回転、監査ログの保存
モニタリング: レイテンシ、スループット、メモリ/GPU使用率、訓練メトリクスを収集

7. 完全脳の機能（End-to-End）

観測: センサがデータを収集し、エンコーダに渡す
知覚: エンコーダが特徴を抽出、ベクトルDBへ格納し、同時に推論ノードへ提供
推論: RAGやLMで文脈付き応答や分類を実行
記憶・検索: ベクトルDBが類似コンテキストを返し、長期のエピソード記憶が履歴を提供
学習: Trainerが新しいデータでモデルを更新し、Aggregatorで安全に集約して配信
意思決定・行動: Decisionノードが行動計画を作成し、MotorConsensusを通じてアクチュエータを制御

8. 次のアクション（推奨）

上記ノードごとに実装可能なモデルアーティファクト名（例: resnet50-v2, wav2vec2-large, gpt-small-v1）の候補リスト化
24ノードの上でのスケジューリング（K8s）テンプレート作成（CPU/GPU/メモリ要求を含む）
フルスケール負荷試験計画とCI統合（自動ベンチマーク）

この文書を基に、さらに詳しいノード実装仕様書（API、メッセージスキーマ、モデルバージョニングポリシー等）を作成できます。希望するアウトプット（例えば docs/ 内の別ファイル、CSV、PR作成）を教えてください。

使い方

各セクションは「分類（機能）」を示します。
カテゴリ例 は実装やモデル登録時に使える候補ラベルです。

観測ノード (Sensing)

カテゴリ例: vision, audio, sensor
ノード機能: 環境データの取り込み・前処理（画像/音声/センサ値）
入力: 生データストリーム（カメラ、マイク、IoTセンサ）
出力: 正規化された特徴量、エンコーダ入力（テンソル/バイナリ）
必要資源: CPU/GPU、低遅延I/O、変換ライブラリ（OpenCV, librosa等）
権限: センサデータ取得の認可、プライバシー制御
備考: フィルタ／サンプリングやローカルプライバシー処理を推奨

エンコードノード (Encoding / Feature Extractor)

カテゴリ例: vision-encoder, audio-encoder, text-encoder, spiking-encoder
ノード機能: 生データを埋め込み／低次元表現へ変換
入力: 観測ノード出力、生データ
出力: 埋め込みベクトル、特徴テンソル
必要資源: GPU、モデルアーティファクト、バッチ処理パイプライン
権限: モデル利用許可（ライセンス/APIキー）
備考: 埋め込み次元・フォーマットの互換性を管理

理解／推論ノード (Perception / Inference)

カテゴリ例: classifier, detector, lm-inference, spiking-lm
ノード機能: 分類、検出、生成などの推論処理
入力: 埋め込み、プロンプト、コンテキスト
出力: ラベル/スコア、生成テキスト、確信度
必要資源: 大型モデル（GPU/TPU）、低レイテンシ推論環境
権限: 機密データの扱い制御、認証（X-API-Key等）
備考: レイテンシ制約に応じ分散推論を設計

意思決定／行動ノード (Decision / Actuation)

カテゴリ例: planner, policy, controller, action-executor
ノード機能: 推論結果に基づく行動決定、外部システム制御
入力: 推論結果、目標、制約
出力: 制御コマンド、行動プラン、API呼び出し
必要資源: リアルタイム通信、セーフガード、認可フロー
権限: アクチュエータ制御の多段認可
備考: フェイルセーフ、ログ記録を必須とする

記憶ノード (Memory / Storage / Retriever)

カテゴリ例: episodic-memory, vector-db, retriever, knowledge-base
ノード機能: 長短期記憶の保持・検索、履歴管理
入力: 生成結果、センサ履歴、メタデータの書き込み要求
出力: 検索結果、コンテキスト断片（テキスト/埋め込み）
必要資源: 永続ストレージ（MinIO、DB）、ベクトルDB（Milvus/FAISS）
権限: データアクセス制御、暗号化、監査ログ
備考: TTL／サニタイズ、アクセス制御ポリシーを定義

学習ノード (Learning / Trainer / Updater)

カテゴリ例: trainer, federated-learner, fine-tuner
ノード機能: オンライン／バッチ学習、モデル更新、フェデレーテッド学習
入力: トレーニングデータ、検証データ、ハイパーパラメータ
出力: モデルアーティファクト、メトリクス、学習ログ
必要資源: GPUクラスタ、データ転送帯域、チェックポイント領域
権限: モデル署名／承認ワークフロー、アップロード権限
備考: 安全なモデル配布とロールバック機構を実装

集約／調停ノード (Aggregator / Orchestrator)

カテゴリ例: federator, aggregator, coordinator
ノード機能: 複数ノードの出力集約、重み付け、合意形成
入力: 各ノードの出力、メタステータス、ヘルス情報
出力: 集約決定、ルーティング指示、統計メトリクス
必要資源: 低レイテンシ通信、状態管理、トランザクション制御
権限: ノード間通信の認証、トラストポリシー
備考: フェイルオーバー戦略とバージョン互換性を含む

ユーティリティ／管理ノード (Utility / Management)

カテゴリ例: monitoring, logging, health-check, auth
ノード機能: ロギング、監視、ヘルスチェック、APIキー管理
入力: メトリクス、ログイベント、設定変更要求
出力: アラート、ダッシュボード用データ、認証トークン
必要資源: 時系列DB、監視ツール、認証基盤
権限: 管理者ロール制御、監査ログ保持ポリシー
備考: セキュリティと可観測性を最優先

次の提案

このMarkdownをベースに、node-types / model-categories の既存値を反映して個別候補を生成できます。
CSV形式やリポジトリの docs/ への自動追加が必要なら指示ください。

作成日: 2025-12-27

実装済み機能（Implemented Features）

長期間記憶システム（Long-Term Memory System）

以下の長期間記憶関連機能が実装済みです：

1. メモリノードクラス

LongTermMemoryNode: 基底クラス、FAISSベクトル検索とZenoh通信統合
EpisodicMemoryNode: 時系列イベントベースのエピソディック記憶
SemanticMemoryNode: 事実知識ベースのセマンティック記憶
MemoryIntegratorNode: エピソード記憶とセマンティック記憶の統合・連想

2. コア機能

ベクトル類似性検索: FAISSを使用した高速近傍検索
Zenoh分散通信: ノード間メモリ操作のPub/Sub通信
PTP時刻同期: ナノ秒精度のタイムスタンプ生成（テスト環境ではシステム時間にフォールバック）
メモリ統合: 重要度ベースの保持・忘却ポリシー
クロスモーダル連想: 異なる記憶タイプ間の関連付け

3. 実装ファイル

evospikenet/memory_nodes.py: メモリノードの実装
examples/run_zenoh_distributed_brain.py: 分散脳へのメモリ統合
tests/test_memory_nodes.py: 包括的なテストスイート（9テストケース）
requirements.txt: FAISS依存関係追加
Dockerfile: FAISSインストール設定

4. テスト結果

================== test session starts ==================
collected 9 items

tests/test_memory_nodes.py::TestLongTermMemoryNode::test_initialization PASSED
tests/test_memory_nodes.py::TestLongTermMemoryNode::test_store_memory PASSED
tests/test_memory_nodes.py::TestLongTermMemoryNode::test_query_memory PASSED
tests/test_memory_nodes.py::TestLongTermMemoryNode::test_retrieve_memory PASSED
tests/test_memory_nodes.py::TestEpisodicMemoryNode::test_store_episodic_sequence PASSED
tests/test_memory_nodes.py::TestSemanticMemoryNode::test_store_knowledge PASSED
tests/test_memory_nodes.py::TestMemoryIntegratorNode::test_associate_memories PASSED
tests/test_memory_nodes.py::TestMemoryEntry::test_memory_entry_creation PASSED
tests/test_memory_nodes.py::TestMemoryEntry::test_memory_entry_serialization PASSED

================== 9 passed, 4 warnings in 0.33s ==================

5. 分散脳統合

24ノードアーキテクチャへのメモリノード追加
Zenoh通信プロトコルを使用したリアルタイムメモリ操作
長期学習と適応のための永続的知識保持

次の実装予定（Remaining Features）

ベクトルDB統合: Milvusなどの分散ベクトルデータベースへの移行
メモリ最適化: 大規模メモリセットの効率的処理とシャーディング
学習統合: メモリからの経験再生による継続学習
セキュリティ強化: メモリデータの暗号化とアクセス制御
パフォーマンス監視: メモリ操作のレイテンシとスループット監視
分散合意: 複数メモリノード間の一貫性確保プロトコル