← 学習レポート

交換可能な個別NN・
統合E2E・ハイブリッド計画

開発時の分離評価と、配備時の単一計算グラフを両立する。各ブロックはNN版・決定論版・Oracle診断版を同じTensor契約で交換できる。

全体構成: 1つの耳・3つのモード・2種類の記憶(2026-09-23)

お手本の入力と自分の演奏の入力は、同じマイクと同じNeural Ear(同じ重み)を通る。二本のパイプラインに見えるのは、モードによって耳の出力の行き先が変わるためで、全体としては一つのNNである。同じ耳で聴くので、マイク特性や部屋の響きによる偏りは比較の段で打ち消される。

モード入力お手本の記憶機体の記憶出力(PWM)
聴くお手本書く読まないなし
学習(較正)自分の音読む(較正曲)書くあり
演奏自分の音読む読むあり

お手本の記憶は次のお手本を聴くまで、機体の記憶は次の学習モードまで残る。演奏中の速い補正はその場限り。鳴禽の歌学習や、発話運動制御のDIVAモデル(聴覚目標・フィードフォワード・フィードバック)と同じ構造である。

演奏側の役割分担

段役割
Position Planner記憶したお手本から、どのタイミングでどの位置にいるべきかを決める。休符中に次の音へ先回りする計画を含む
Motor Control10 msごとにPWMを計算し直す。エンコーダが無いので「今どこにいるか」の推定も含む
Feedback(その場)自己音の音程で位置推定と指令を直す。Motor Controlとほぼ一体
機体の記憶(次回へ)機体のくせを保持し、PlannerとMotor Controlへ渡す

閉管シミュレーターでの検証から分かったこと

並行実装する3方式

modular_learned

各Gateで合格した個別NNを凍結して接続する。中間出力を保存でき、故障箇所を特定しやすい。

joint_e2e

個別NNをComposite modelへ登録し、補助損失を残して全体微調整する。配備時は一つのgraphとcheckpointにする。

hybrid

任意ブロックを固定BPM、物理式、dead reckoning、PID等へ交換し、学習器の必要性と性能上限を測る。

Composite pipeline

reference waveform
 → Neural Ear → Tempo/Beat → Musical Memory → Temporal Aligner
 → Position Planner ───────────────────────────────┐
previous actions → Motor State Estimator ──────────┼→ Position Controller
self waveform → Neural Ear → Error Comparator ─────┴→ Feedback → PWM / valve

ブロック契約

出力必須情報
EarOutputembedding, continuous pitch, voiced probability, confidence, mask
BeatOutputBPM分布, beat/bar/subdivision phase, boundary, confidence
MusicalMemoryOutputセル潜在, pitch/slope, rest, onset/offset, harmonic context
PlannerOutputtarget position/velocity, urgency, valve, done
MotorStateOutputestimated position/velocity, rig embedding, confidence
ErrorOutputpitch error, timing error, voicing mismatch, confidence

NN版と決定論版は同じ形状、単位、mask、状態reset規約を守る。状態を持つブロックは initial_state、step、reset_maskを共通化する。

交換候補

ブロックNN版決定論・比較版
Audioraw CNNSTFT/CQT frontend
Earlearned pitch/voiceYIN、評価限定
Tempotempo/phase NN固定BPM clock
MemoryGRU/TransformerOracle拍グリッド
Alignermonotonic attention固定index
Plannerlearned mapper管長物理式
Motor Staterecurrent estimatordead reckoning/encoder
Controllerlearned policyPID/open-loop/oracle
Comparatorlearned comparator単純差
Feedbacklearned residual比例補正/無補正

学習順序

  1. 各ブロックを正解入力で単独学習
  2. 未知データで単独Gate
  3. 前段NNの実出力を与えるpredicted-upstream Gate
  4. 合格前段を凍結して次段を学習
  5. 全段を凍結接続して物理閉ループ評価
  6. 後段から順に解凍
  7. 全体を低学習率でE2E微調整
  8. 全Gateを再評価し退化checkpointを不採用

joint E2Eの保護損失

total = physical performance
      + ear pitch/voice
      + tempo/phase
      + memory reconstruction
      + planner position
      + motor state
      + signed error
      + stability and actuation penalties

評価

各ブロックを oracle input、predicted upstream、closed loop の3段階で評価する。精度だけでなく、P90/P99、失敗率、レイテンシ、メモリ、モデルサイズ、100 Hz deadline達成率、clean/乱数化/実録音を記録する。

WAVとPages

UNO Q

成立まではPC容量を優先する。成立後にblock別profile、蒸留、量子化、attention削減を行い、Python境界を避けて一つのexport graphへ統合する。平均ではなく100 Hz周期に対するP99レイテンシを合格条件にする。

完了条件

完全な原文: modular-hybrid-model-plan.md