交換可能な個別NN・
統合E2E・ハイブリッド計画
開発時の分離評価と、配備時の単一計算グラフを両立する。各ブロックはNN版・決定論版・Oracle診断版を同じTensor契約で交換できる。
全体構成: 1つの耳・3つのモード・2種類の記憶(2026-09-23)
お手本の入力と自分の演奏の入力は、同じマイクと同じNeural Ear(同じ重み)を通る。二本のパイプラインに見えるのは、モードによって耳の出力の行き先が変わるためで、全体としては一つのNNである。同じ耳で聴くので、マイク特性や部屋の響きによる偏りは比較の段で打ち消される。
| モード | 入力 | お手本の記憶 | 機体の記憶 | 出力(PWM) |
|---|---|---|---|---|
| 聴く | お手本 | 書く | 読まない | なし |
| 学習(較正) | 自分の音 | 読む(較正曲) | 書く | あり |
| 演奏 | 自分の音 | 読む | 読む | あり |
お手本の記憶は次のお手本を聴くまで、機体の記憶は次の学習モードまで残る。演奏中の速い補正はその場限り。鳴禽の歌学習や、発話運動制御のDIVAモデル(聴覚目標・フィードフォワード・フィードバック)と同じ構造である。
演奏側の役割分担
| 段 | 役割 |
|---|---|
| Position Planner | 記憶したお手本から、どのタイミングでどの位置にいるべきかを決める。休符中に次の音へ先回りする計画を含む |
| Motor Control | 10 msごとにPWMを計算し直す。エンコーダが無いので「今どこにいるか」の推定も含む |
| Feedback(その場) | 自己音の音程で位置推定と指令を直す。Motor Controlとほぼ一体 |
| 機体の記憶(次回へ) | 機体のくせを保持し、PlannerとMotor Controlへ渡す |
閉管シミュレーターでの検証から分かったこと
- 閉管笛で変位に線形なのは周期(1/f)で、音程(cent)ではない。1オクターブを直線近似すると±52 cent。
PhysicalPlantConfig.realistic()を以後の標準とする。 - エンコーダ無しでは「音程を位置センサーにする」オブザーバが最も効く(推測航法のみ約300 → 90 cent)。
- 残りの誤差の大半は音の立ち上がりのモーター移動時間で、距離に応じた先回りが効く(90 → 56 cent)。
- 発音中は音程サーボにより笛の切片・傾きの誤差が打ち消されるため、真の係数を与えても改善は約1 cent。機体の記憶で覚える価値が高いのは、笛の係数よりモーター側(速さ・不感帯・動き出しのタイミング)である。
並行実装する3方式
modular_learned
各Gateで合格した個別NNを凍結して接続する。中間出力を保存でき、故障箇所を特定しやすい。
joint_e2e
個別NNをComposite modelへ登録し、補助損失を残して全体微調整する。配備時は一つのgraphとcheckpointにする。
hybrid
任意ブロックを固定BPM、物理式、dead reckoning、PID等へ交換し、学習器の必要性と性能上限を測る。
Composite pipeline
reference waveform → Neural Ear → Tempo/Beat → Musical Memory → Temporal Aligner → Position Planner ───────────────────────────────┐ previous actions → Motor State Estimator ──────────┼→ Position Controller self waveform → Neural Ear → Error Comparator ─────┴→ Feedback → PWM / valve
ブロック契約
| 出力 | 必須情報 |
|---|---|
| EarOutput | embedding, continuous pitch, voiced probability, confidence, mask |
| BeatOutput | BPM分布, beat/bar/subdivision phase, boundary, confidence |
| MusicalMemoryOutput | セル潜在, pitch/slope, rest, onset/offset, harmonic context |
| PlannerOutput | target position/velocity, urgency, valve, done |
| MotorStateOutput | estimated position/velocity, rig embedding, confidence |
| ErrorOutput | pitch error, timing error, voicing mismatch, confidence |
NN版と決定論版は同じ形状、単位、mask、状態reset規約を守る。状態を持つブロックは initial_state、step、reset_maskを共通化する。
交換候補
| ブロック | NN版 | 決定論・比較版 |
|---|---|---|
| Audio | raw CNN | STFT/CQT frontend |
| Ear | learned pitch/voice | YIN、評価限定 |
| Tempo | tempo/phase NN | 固定BPM clock |
| Memory | GRU/Transformer | Oracle拍グリッド |
| Aligner | monotonic attention | 固定index |
| Planner | learned mapper | 管長物理式 |
| Motor State | recurrent estimator | dead reckoning/encoder |
| Controller | learned policy | PID/open-loop/oracle |
| Comparator | learned comparator | 単純差 |
| Feedback | learned residual | 比例補正/無補正 |
学習順序
- 各ブロックを正解入力で単独学習
- 未知データで単独Gate
- 前段NNの実出力を与えるpredicted-upstream Gate
- 合格前段を凍結して次段を学習
- 全段を凍結接続して物理閉ループ評価
- 後段から順に解凍
- 全体を低学習率でE2E微調整
- 全Gateを再評価し退化checkpointを不採用
joint E2Eの保護損失
total = physical performance
+ ear pitch/voice
+ tempo/phase
+ memory reconstruction
+ planner position
+ motor state
+ signed error
+ stability and actuation penalties
評価
各ブロックを oracle input、predicted upstream、closed loop の3段階で評価する。精度だけでなく、P90/P99、失敗率、レイテンシ、メモリ、モデルサイズ、100 Hz deadline達成率、clean/乱数化/実録音を記録する。
WAVとPages
- 各ブロックのbefore/after sonification
- 制御段以降の物理演奏WAV
- 個別接続、joint E2E、主要hybridの同一曲比較
- 不採用試行をattempt履歴として保存
- manifest JSONを数値の唯一のsource of truthにする
UNO Q
成立まではPC容量を優先する。成立後にblock別profile、蒸留、量子化、attention削減を行い、Python境界を避けて一つのexport graphへ統合する。平均ではなく100 Hz周期に対するP99レイテンシを合格条件にする。
完了条件
- 全ブロックが単独Gateとpredicted-upstream Gateを通過
- 個別NN接続が物理Gateを通過
- joint E2Eが既存Gateを壊さず改善
- 少なくとも3つのhybridを全learned構成と比較
- UNO Q exportとWAV/manifest/HTMLを再生成可能
完全な原文: modular-hybrid-model-plan.md