最新の計画と結果は やまびこ1号 開発計画と結果 にまとめています。 このページは、そこに至るまでの試行の記録です。

PHYSICAL AI / OBJECTIVE GATED DEVELOPMENT

お手本は、
本当に演奏になったか。

単一の総合スコアで隠さず、聴覚・記憶・フィードフォワード・状態推定・モータ制御・誤差補正を分けて評価する。Position Plannerが音楽的フィードフォワードを担い、Motor PhysicsとLinear Fluteは学習用シミュレータとして実変位と音を作る。

全体フローと現在地

緑は固定Gate PASS、赤はFAIL、橙は工程内に未評価部分あり、灰は未学習・未評価。

全体 E2E: FAIL / 未完成
1
聴く・拍を理解するお手本から音程、休符、BPM、拍位置を取り出す
工程 PASS
  1. INPUTお手本音声raw waveform工程の結果を見る ↓
  2. PASSNeural EarMAE 11.9 cent工程の結果を見る ↓
  3. PASSTempo / BeatBPM誤差 1.13%工程の結果を見る ↓
↓理解した音程と拍を保存する
2
お手本をTimelineとして覚える演奏時刻に沿った音程と休符の地図を保存する
工程 PASS
  1. PASSTimeline MemoryMAE 57.5 cent工程の結果を見る ↓
↓同一フレーム再評価 — 持ち込み 14.1 | Planner追加 0.5 | 出口 14.5 cent(各MAEは非加算)
3
身体で演奏するPosition Plannerがフィードフォワード目標を作り、PWM履歴の潜在表現でモータを制御する
Physical FAIL
  1. PASSPosition Planner = Feedforward音程Timeline → 先読み位置 / 出口 14.5 cent工程の結果を見る ↓
  2. FAILMotor Controller位置MAE 12.12% stroke工程の結果を見る ↓
  3. PASSMotor Physicstorque rise・摩擦・慣性 → 実変位工程の結果を見る ↓
  4. PASSLinear Flute実変位 → 音程 / valve → 発音工程の結果を見る ↓
  1. PASSMotor Audio World ModelPWM履歴 → 次の可聴音程工程の結果を見る ↓
  2. FAILMotor ControllerPlanner目標 + 潜在履歴 → PWM工程の結果を見る ↓
↓シミュレータ自己音と目標の差を閉ループ補正へ渡す
4
自分の音を聴いて直す目標との差を測り、Position Plannerの出力へPWM補正を足す
Correction FAIL
  1. FAILError Comparatorerror MAE 70.5 cent工程の結果を見る ↓
  2. FAILFeedback Residual閉ループMAE 111.7 cent工程の結果を見る ↓

Motor PhysicsとLinear Fluteは決定論的な訓練環境。NNは内部の位置・速度・トルク・物理定数を受け取らず、World ModelはPWMと可聴音程の関係だけを学ぶ。ここで示す結果は内部シミュレーションであり、実機検証は 未実施。

現在の総合判定: 未完成 — 全段がPASSし、さらに実機で再検証するまでE2E成功とは呼ばない。Physical simulationはMotor Controller FAIL / Feedback Residual FAIL。実機検証は未実施。

パイプライン別の結果と試行記録

採用予定と代替案を混在させず、同じパイプラインのフロー・結果・WAV・グラフ・失敗試行を一つのタブへまとめた。

採用予定

Beat-conditioned Timeline + Physical Control

Physical simulation FAIL / 実機未検証

この方式は何をしている?

お手本を「時間に沿った音程と休符の地図」として覚え、Position Plannerが先読み位置を作ります。これがフィードフォワードです。Motor ControllerはPWM履歴から作る潜在状態で位置を追い、実変位から合成した自己音をNeural Earで再び聴き、Feedback ResidualがPWMへ補正を足します。

Feedforward
Position Planner(別Policyは置かない)
関係学習
PWM履歴 → 可聴音程のWorld Model
訓練環境
決定論的なtorque rise・摩擦・慣性 + 線形笛
検証範囲
内部simulationのみ / 実機未検証

raw audio → Neural Ear → Tempo/Beat → Timeline Memory → Position Planner (= Feedforward) → Motor Controller → Motor Physics → Linear Flute → deterministic waveform → Neural Ear (self) → Comparator → Adaptive Feedback ↩ PWM
学習時: PWM/audio → Motor Audio World Model → Motor Controller

1

工程 1: 聞く・拍を取る

生音声から音程・発音、BPM、拍位相を推定する。

1PASS

Neural Ear

生の20 ms波形 → 音程・発音状態

NNの前
NNの後
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: お手本 / 橙: Neural Ear出力
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: お手本 / 橙: Neural Ear出力
mae
11.900
correlation
0.996

afterはNNが推定した音程を診断用音色で再合成。外部の音程解析器は推論入力に使わない。

BPASS

Tempo / Beat NN

raw reference → BPM・連続beat phase

お手本
予測拍click
横軸: 時間 / 縦軸: 音程。橙の縦線は予測拍(このNNは音程列を出力しない)
横軸: 時間 / 縦軸: 音程。橙の縦線は予測拍(このNNは音程列を出力しない)
tempo median relative error
0.0113
phase MAE cycle
0.0572

afterはTempo NNの拍だけを鳴らした診断clickで、演奏音ではない。official path: predicted_upstream

2

工程 2: 覚えて時間軸へ戻す

お手本を保存し、演奏時刻に沿った100 Hz音程・休符列へ戻す。

LPASS

Beat-conditioned Timeline Memory

Beat内部系列 + Ear → 保存100 Hz profile → 再現

生のお手本
保存tensorから再現
横軸: 時間 [s] / 縦軸: 音程 [cent] — お手本とTimeline再現
横軸: 時間 [s] / 縦軸: 音程 [cent] — お手本とTimeline再現
pitch MAE cents
57.5
correlation
0.900
voice F1
1.000
rest false positive
0.0000
onset F1 30 ms
0.871

現行本線。remember後はraw音声とEar入力を破棄し、保存NN tensorだけでdecode。音源別: bird 31.6c / hum 92.8c / recorder 74.5c / whistle 35.1c

3

工程 3: 身体で演奏する

音程目標を位置へ変換し、モータと笛で音にする。

PPosition Gate PASS

Position Planner NN = Feedforward

100 Hz音程・発音 → 先読みした正規化プランジャ位置

Timeline入力
位置→定常笛音
横軸: 時間 [s] / 縦軸: 音程 [cent] — Timeline入力と位置計画後
横軸: 時間 [s] / 縦軸: 音程 [cent] — Timeline入力と位置計画後
① 持ち込み誤差
14.1 cent
② Planner追加誤差
0.5 cent — PASS
③ 出口の総誤差
14.5 cent — PASS
参考: 正解入力時
0.5 cent — PASS
Planner追加位置MAE
0.039%
入口からの正味MAE変化
0.3 cent
分解式の最大残差
0.000000 cent

このNNが音楽的フィードフォワードであり、別のFeedforward Policyは置かない。判定は正解入力・実Timeline入力でのPlanner固有変換・接続出口の3つを分離。同一曲・同一フレームの符号付き誤差は、持ち込み+Planner追加=出口総誤差。MAE同士は符号を失うため足し算にはならない。afterは定常位置の診断再合成で、モータ動特性は次Gate。

WPASS

Motor Audio World Model NN

PWM履歴 → 次に聞こえる音程

物理パラメータを推定せず、決定論的シミュレータを入出力だけから同定する。位置・速度・トルク・摩擦は教師にも入力にも使わない。

holdout audio MAE
34.9 cent
real rig
未検証
CFAIL

Motor Controller NN

Position Planner目標 + 過去PWMの潜在履歴 → PWM・valve

Position Plannerが先読みした位置目標を追跡する低レベル制御器。音楽的なフィードフォワードを別に重複実装しない。

position MAE
12.122 % stroke
feedforward pitch MAE
145.0 cent
PPASS

Motor Physics Simulator

PWM → torque rise・摩擦・慣性 → 実変位

学習対象NNではなく、遅れ・オーバーシュート・摩擦を再現する訓練環境。乱数化した物理条件で制御器を評価する。

公称最大速度
150.0 mm/s
最大速度90%到達
300 ms
100 ms時の速度
39.8 mm/s
39.4 mm移動
430 ms

実機未計測の暫定設定。旧設定は最大141.8 mm/s、90%到達370 ms、39.4 mm移動490 ms。

FPASS

Linear Flute Simulator

実変位 → 線形音程 / valve → 発音ON・OFF

笛の変位と音程を線形対応させた解析モデル。学習対象ではなく、モータの実変位を評価可能な音へ変換する。

見直し中: 実際の閉管は f = c/4(L−x) で、変位に線形なのは周期であり音程(cent)ではない。閉管モデル(flute_model="closed_tube")を追加し、下の「シミュレーター妥当性の検証」で比較した。

WFAIL

Physical simulation WAV / plots

目標 → Feedforward物理演奏 → Feedback補正後

目標
Feedforward
Feedback後
横軸: 時間 [s] / 縦軸: 音程 [cent] — 目標・Feedforward・Feedback後
横軸: 時間 [s] / 縦軸: 音程 [cent] — 目標・Feedforward・Feedback後
横軸: 時間 [s] / 縦軸: 正規化変位 — 目標位置と物理シミュレータ変位
横軸: 時間 [s] / 縦軸: 正規化変位 — 目標位置と物理シミュレータ変位
横軸: 時間 [s] / 縦軸: PWM — Feedforward出力とFeedback補正
横軸: 時間 [s] / 縦軸: PWM — Feedforward出力とFeedback補正

これは内部シミュレータの音であり、実機録音ではない。real_rig_validated=false。

4

工程 4: 聴いて差を直す

自己音と目標を比較し、次の操作を補正する。

4FAIL

Error Comparator

目標Ear + 自己音Ear → 符号付き誤差

このモデルは何をしている?

記憶した目標音程と、Neural Earが聴いた現在の自己音を比べ、「何cent上げる/下げるべきか」を出力する。正なら音程を上げ、負なら下げる指示になる。

ここでは誤差を測るだけで、モータは直接動かさない。この出力を次段のFeedback Residualが操作量の補正へ変換する。

NNの前
NNの後
上段: 目標・自己音・補正後音程。下段: 必要な補正量とComparator予測 [cent]
上段: 目標・自己音・補正後音程。下段: 必要な補正量とComparator予測 [cent]
error mae
70.526
sign accuracy
0.991

beforeは意図的に外した自己音、afterは推定誤差を足し戻した診断用再合成。物理演奏ではない。

RFAIL

Adaptive Feedback NN

目標音程 − 自己音 + PWM/音程変化履歴 → PWM補正

Position PlannerのフィードフォワードPWMを置き換えず、自己音のずれだけを小さな補正として加える。再生テンポは機構速度に合わせて0.5倍、音符境界では40 msだけバルブを閉じる。

closed-loop pitch MAE
111.7 cent
improvement
38.6 %
non-worse rigs
69.3 %

評価は乱数化シミュレータ。実機適応と反復練習はまだ検証していない。

INTERACTIVE PIPELINE

NN/決定論モジュール交換ラボ

10サンプル × 各24構成

10種類のお手本を切り替え、各工程でNNか決定論モジュールを選ぶ。選んだ工程の出力が共通pitch/voice/position契約で次工程へ渡り、下流の音とグラフも作り直される。

上下する4音。従来サンプルとの比較用。
→ → →
Planner追加MAE — cent最終音程MAE — cent発音率 —
グラフ表示(各工程を個別に比較)
1 聴覚の出力音程・発音を次の記憶へ
2 記憶の出力0.5倍Timelineを次の計画へ
3 計画の出力位置を名目笛音へ変換した診断音
4 最終演奏選択した制御器による物理simulation音

4 制御の閉管モード: 閉管笛・不感帯・聴こえの遅れ/ノイズ/欠落を含む現実的simulatorで、乱数化機体16台を演奏。NNは同じフレーズを2回演奏し、適応後の2回目を表示する。決定論は較正でモーター速度を測った状態。音と線は1台目、MAEは16台平均。計画は制御の内部で行うため、3計画の選択は影響しない。

10サンプル×全16組合せを実モデルと決定論モジュールで事前評価。NN MemoryへDet Earを渡す場合は、共通pitch/voice契約上で学習済みMemory residualを加えるrepresentation adapterを使用。NN Controlは遅い適応状態を保持した3回目。 音源は選択済み評価列からブラウザ内で合成する。これは自由な未評価組合せを推測した表示ではない。

全工程を実際に接続した結果

ALL接続済み / 未合格

全工程 Connected Composite

お手本raw音声 → 記憶 → 0.5倍速計画 → PWM → 決定論的実変位・発音 → 自己音raw波形 → 同じNeural Ear → Comparator → Feedback

元のお手本
0.5倍速の演奏目標
全NN接続後
決定論的診断器
横軸: 時間 [s] / 縦軸: 音程 [cent] — 目標・全NN接続・決定論的診断器
横軸: 時間 [s] / 縦軸: 音程 [cent] — 目標・全NN接続・決定論的診断器
Timeline出口 MAE
18.6 cent
全NN接続 演奏MAE
223.5 cent
全NN 無音欠落率
0.8 %
決定論的診断器 MAE
83.4 cent

接続の存在は確認できたが、性能合格ではない。 Position Plannerは線形Flute simulatorへ再較正済み。Motor Controllerも150 mm/s・fast-rise物理へ再学習し、単独位置MAEは改善したが固定Gateには未達。全工程の結合学習・実機検証も未実施。決定論版はplantの真値を読める診断用oracleで、実機へ搭載する制御器ではない。

各工程には決定論的な対応モジュール(FFT Ear、自己相関Tempo、完全Timeline Memory、線形Position、PD Motor Control、差分Comparator、PID Feedback)も実装し、NNの故障箇所を切り分けられる。

UNO QONNX RUNTIME PASS

UNO Q実機CPU + Hardware-in-the-loop

ONNX Neural pipeline ↔ 決定論的Motor/Flute simulator(すべてUNO Q Linux上)

お手本処理
178.8 ms / 曲ごと1回
100 Hz制御 p99
6.984 ms / 制限10 ms
100 Hz制御 median
2.877 ms
ピークRSS
65.0 MiB
ONNX容量
2.62 MiB
反復MAE
93.7 → 63.1 → 60.0 cent

実測環境: aarch64 / ONNX Runtime 1.28.0。マイク・モーターは使わず、物理装置だけを同じUNO Q内の決定論的シミュレータへ置換。これは速度調整前モデルの実機CPU計測であり、新しいfast-riseモデルはUNO Qで再測定が必要。実モーター演奏の合格ではない。

シミュレーター妥当性と役割分担の検証

接続済みCompositeを、笛モデル・機体ばらつき・反復練習・補正の有無を変えて測り直した(乱数化機体 64 台、seed 4242)。数値は scripts/evaluate_yamabiko_flute_model.py が書く manifest から生成。

F線形仮定 FAIL

閉管の音程は変位に線形ではない

f = c / 4(L − x) → 周期 1/f は変位に厳密に線形、cent は対数

横軸: プランジャ変位 [mm] / 縦軸: 音程 [cent] — 線形モデル・閉管公称・乱数化機体
横軸: プランジャ変位 [mm] / 縦軸: 音程 [cent] — 線形モデル・閉管公称・乱数化機体
1オクターブ(700→1900 cent)の移動量
65.7 mm
その範囲の傾き
13.2→26.3 cent/mm
最良直線の誤差(1オクターブ)
±51.6 cent
最良直線の誤差(全ストローク)
±269.5 cent

線形笛は全域 11.4 cent/mm で1オクターブに105 mm使うが、閉管では約66 mmで1オクターブ上がる。周期の直線あてはめ残差は 6.5e-19 s(数値誤差のみ)。

R個体差

機体差は「切片と傾き」に集約できる

周期 T = (4/c)·L − (4/c)·x:切片 = 実効管長 L、傾き = 音速 c(温度)

管長 ±10 mm・温度 ±8 ℃・吹圧 ±10 cent の機体に公称の逆変換で位置を出すと、次の誤差が残る。これをFeedbackが記憶し、Plannerへ渡して鳴り始めから直すのが新しい役割分担。

公称逆変換 MAE
96.3 cent
P95
209.9 cent
低音 / 高音
66.4 / 133.4 cent
ALL転移 FAIL

既存Compositeを閉管笛へ載せ替え

同じ4音フレーズ・0.5倍再生・演奏MAE [cent]

笛機体全NN接続決定論 oracle
線形笛公称機体170.383.4
線形笛乱数化機体185.790.7
閉管公称機体269.579.5
閉管乱数化機体526.393.5

既存NNは線形笛で学習したため、閉管では転移しない(再学習前の値)。決定論版はplantの真の位置・速度を読むPD制御で、エンコーダ付きの上限であり、公平な比較相手ではない。

A反復適応 FAIL

遅い文脈は練習を持ち越せていない

線形笛・乱数化機体・演奏1〜4回目のMAE [cent]

slow context1234
文脈を引き継ぐ185.7206.4205.0206.6
毎回リセット185.7185.7185.7185.7
Feedback補正あり
185.7 cent
補正なし
195.5 cent
冒頭休符中の計画位置
0.383
最初の音に必要な位置
0.250

slow contextの更新率0.04/stepは時定数約0.25 sで、曲の内容まで覚えてしまう。単独学習では28.5%改善したが、接続後は引き継ぐと悪化した。休符中は次の音へ先回りしていない。

ここから決めた役割分担

Planner
音階→変位の計画。記憶した音程・休符と個体差文脈(切片・傾き)から、休符中の先回りを含む目標軌道を作る
Controller
目標軌道をPWMで追う
Feedback
自己音とのずれの速い補正と、笛の切片・傾きのNN内記憶(演奏をまたいで保持)
決定論の対照
閉管逆変換 + RLSで切片・傾き推定 + 推測航法 + 端点ホーミング + PID(エンコーダなし)

アクチュエーターの速さの要件

曲のテンポに対してアクチュエーターが十分速いかを確かめた。速さ(トルクも同じ倍率)と音の長さを変えて、700〜1900 cent の乱数曲を演奏した(他の機体差は乱数化、各条件 48 台 × 3 曲)。表は命中率=各音が鳴り始めから 300 ms 以内に ±25 cent に入った割合と、その95 %区間。1オクターブの移動量は約 66 mm。現在の評価は1音0.48–1.31 s(お手本の0.5倍速再生)。

D実用

決定論(エンコーダなし・較正あり)

音の長さ60 mm/s90 mm/s120 mm/s150 mm/s200 mm/s300 mm/s450 mm/s
1音 0.24–0.66 s44 % [39–48]56 % [52–60]63 % [59–67]66 % [62–69]66 % [62–70]64 % [61–68]63 % [58–67]
1音 0.48–1.31 s69 % [66–72]79 % [76–81]79 % [76–82]81 % [78–84]79 % [76–82]73 % [70–77]72 % [68–75]
1音 0.96–2.62 s75 % [73–77]81 % [79–83]82 % [79–84]80 % [78–83]77 % [74–80]74 % [71–77]70 % [67–73]
E参考

位置センサー付き(真の位置・真の速度で先回り、同じPDゲイン)

音の長さ60 mm/s90 mm/s120 mm/s150 mm/s200 mm/s300 mm/s450 mm/s
1音 0.24–0.66 s53 % [48–57]66 % [63–70]75 % [72–78]77 % [73–80]76 % [73–80]72 % [69–75]68 % [64–71]
1音 0.48–1.31 s76 % [73–79]87 % [85–89]88 % [86–90]89 % [86–91]87 % [84–89]78 % [75–81]76 % [73–79]
1音 0.96–2.62 s86 % [84–88]90 % [88–92]92 % [90–93]91 % [89–93]86 % [83–88]79 % [77–82]77 % [74–80]

閉管笛・現実的シミュレーターでの再設計(エンコーダなし)

閉管笛、不感帯0.20、聴こえの遅れ1±1 step・音程ノイズ3 cent・欠落2%の機体 128 台で、同じ機体に別々の曲を 4 曲続けて演奏させた。単位は cent。「立ち上がり」は各音の最初の30 step(0.3 s)、「安定後」はそれ以降。「静止中」は、楽譜と機体の最高速度から決めた「移動が間に合わない区間」と「次の音へ動き出すべき区間」を除いた、本来ぴったり合うべき区間(どの制御にも同じ区間を使う)。数値は scripts/evaluate_yamabiko_rig_adaptive.py の manifest から生成。

D基準

決定論版:音程を位置センサーにする

目標cent → 周期 → x=(a−T)/b → PD(推定位置)→ PWM / 自己音の周期 → 位置推定を補正

構成全体立ち上がり安定後静止中命中率
上限: エンコーダ付きPD(真の位置を読む)52.676.438.521.280 % [78–81]
推測航法のみ(音を使わない)456.3478.4443.3451.29 % [8–11]
音程オブザーバ(音程で位置推定を補正)112.8230.243.041.138 % [36–40]
オブザーバ + 距離に応じた先回り80.5135.148.137.564 % [62–66]
↑ + 較正でモーター速度を測定【決定論の基準】60.291.741.524.672 % [70–74]
↑ + 真の切片・傾き(記憶の上限)79.8133.547.937.064 % [61–66]
↑ + 切片・傾きのオンライン推定を持ち越し117.2155.194.786.956 % [53–58]

音程オブザーバが最大の効果。発音中は切片・傾きが打ち消し合うため、真の係数を与えても改善は数centにとどまる。誤差の大半は音の立ち上がり(モーター移動時間)で、距離に応じた先回りが次に効く。

NN評価済

NN版:Planner + Motor/Feedback + 個体差記憶

未来の目標窓 + 記憶z → Planner → 狙い位置 / 自己音・PWM履歴 → 高速GRU → PWM / 低速記憶zは曲をまたいで保持

NN(演奏MAE / 曲)1曲目2曲目3曲目4曲目静止中命中率
v3 同じ曲2回で学習 / 1回目94.586.591.590.849.953 % [50–55]
v3 同じ曲2回で学習 / 2回目(適応後)85.478.481.181.742.555 % [53–57]
v4(記憶3つ) セッション学習 / 1回目88.181.585.181.739.856 % [53–58]
v4(記憶3つ) セッション学習 / 2回目(適応後)72.266.567.066.529.666 % [63–68]

評価: 同じ曲を同じ機体で2回演奏し、1回目で書いた記憶を持ち越した2回目で採点する(未知のモーターで1回目がずれるのは当然で、適応後で比べる)。v3: 2回目 81.7 cent(1回目からの改善 9.2 cent) / v4(記憶3つ): 2回目 68.1 cent(1回目からの改善 16.1 cent)。決定論の基準(較正でモーター速度を測定)60.2 cent、決定論に真の笛係数を与えた効果 0.7 cent。

記憶から読める機体の値(R²)v1v2
管長のずれ0.380.57
温度-0.02-0.03
吹圧の音程ずれ-0.05-0.01
トルク0.160.56
摩擦-0.030.19
最高速度0.070.70
不感帯-0.05-0.02
聴こえの遅れ0.200.74

学習に使わない診断。較正後の記憶ベクトルから線形回帰で機体の値を読み出し、別の512台で決定係数を測った(1で完全に読める、0以下で読めない)。学習モードのv2で、記憶が曲の作業状態ではなく機体の情報(主にモーター速度と聴こえの遅れ)を持つようになった。

モーター速度・トルク決定論 較正なし決定論 較正ありNN 1回目NN 2回目(適応後)較正の測定値
0.40倍155.5 / 96.9123.0 / 74.0181.3 / 112.7149.5 / 93.30.39
0.60倍91.0 / 48.980.3 / 42.8116.7 / 65.994.5 / 51.90.59
1.00倍48.9 / 20.649.1 / 21.262.7 / 30.954.6 / 26.40.99
1.60倍68.0 / 35.038.6 / 15.955.8 / 30.944.6 / 22.21.58
2.50倍112.1 / 67.035.8 / 16.577.3 / 49.257.5 / 33.72.46

実機のアクチュエーターは未計測のため、速度とトルクを標準の0.5〜2倍に変えて試した(各欄は 全体 / 静止中 の cent)。決定論の較正は、原点から全力で動かしたときの音程の変化と内部モデルの応答の比で速度を測る。NNは同じ曲を2回演奏し、1回目で書いた記憶を2回目へ持ち越す。

学習は同じ機体で別曲を連続演奏するエピソードで、微分可能シミュレーターを通したBPTT。NNはplantの位置・速度・パラメータを受け取らない。

目標
決定論
NN
横軸: 時間 [s] / 縦軸: 音程 [cent] — 1台目の機体・1曲目
横軸: 時間 [s] / 縦軸: 音程 [cent] — 1台目の機体・1曲目

適応の種類ごとの評価(他の適応を止めて測る)

曲・モーター・笛への適応を、対象の記憶だけ書き込みを許して別々に測った(乱数化機体 64 台、単位は cent)。モーターと笛のテストでは毎回別の曲を吹くので「曲に慣れた」分は混ざらない。決定論版はモーター交換時に較正でモーター速度を測り直す。記憶が1つのモデルは他の適応を止められないため参考。

曲繰り返し

同じ曲を繰り返す(曲の記憶だけ)

モデル1回目2回目3回目4回目5回目6回目
決定論(エンコーダなし・較正あり)57.057.256.756.957.157.1
v3 (記憶1つ)81.980.780.680.480.580.2
v4 (記憶3つ)80.268.264.963.362.362.3
Mモーター交換

モーター交換後、別の曲を順に(モーターの記憶だけ)

モデル1曲目2曲目3曲目4曲目5曲目6曲目
決定論(エンコーダなし・較正あり)61.055.756.853.852.857.2
v3 (記憶1つ)105.084.982.377.479.280.8
v4 (記憶3つ)96.482.778.977.078.478.9
F笛交換

笛交換後、別の曲を順に(笛の記憶だけ)

モデル1曲目2曲目3曲目4曲目5曲目6曲目
決定論(エンコーダなし・較正あり)55.056.251.953.153.950.4
v3 (記憶1つ)81.178.770.377.075.074.2
v4 (記憶3つ)82.675.069.774.377.070.7
ALL総合

新しい機体で、曲ごとに3回(全記憶)

モデル1回目2回目3回目
決定論(エンコーダなし・較正あり)58.858.958.7
v3 (記憶1つ)88.584.083.4
v4 (記憶3つ)85.771.568.7

統合モデルの評価(聴く → 覚える → 演奏、閉管笛・現実的機体)

10種類のお手本を、上流(NN聴覚・Timeline記憶)と新しい下流(NN個体差記憶 / 決定論オブザーバ)でつなぎ、乱数化機体 64 台で演奏した。誤差は耳の推定値ではなく正解の楽譜と比べるので、上流の聞き間違いも含まれる。単位は cent。「静止中」「移動中」は楽譜と機体の最高速度だけで決めた区間(error_regions.py)で、機構の速さの限界と制御の良し悪しを分けて見るためのもの。

ALL仮想評価

経路別の平均

経路全体(NNは2回目)NN 1回目静止中移動中音の欠落命中率
NN聴覚・記憶 → NN演奏(全NN統合)68.682.141.9111.62.1 %58 % [55–60]
NN聴覚・記憶 → 決定論演奏49.7—26.982.42.1 %66 % [64–68]
正解楽譜 → NN演奏(下流のみ)61.377.331.1105.00.0 %68 % [65–70]
正解楽譜 → 決定論演奏(下流のみ)45.2—18.483.20.0 %76 % [74–78]
上流だけの誤差(NN記憶 vs 正解)
14.4 cent
実機
未検証
10サンプル別

お手本ごとの全体MAE

お手本上流のみNN聴覚・記憶 → NN演奏NN聴覚・記憶 → 決定論演奏正解楽譜 → NN演奏正解楽譜 → 決定論演奏
4音ステップ23.158.145.946.736.4
上昇音階14.148.343.238.528.9
下降音階16.582.158.270.560.3
ジグザグ旋律14.378.463.073.459.4
同音連打と休符6.670.927.363.523.9
大跳躍14.8110.494.2108.395.7
長短リズム9.657.741.149.036.0
分散和音16.566.347.858.747.2
半音進行12.841.634.938.627.1
休符を含むフレーズ15.372.641.765.937.2

読み方: 正解楽譜を与えると決定論の下流が最良(上流の誤差なし)。NNが聴いた目標は1音の中でも毎フレーム数cent揺れ、跳躍では中間値を通るため、当初の決定論の先回りは揺れを「新しい音」と誤認し、先回りがほぼ効かなくなっていた。50 cent以上の変化で音を区切る処理を決定論に加えて解消した。NNの下流は学習で同じ揺れを吸収していた。一方、同音連打(articulation)はNNが苦手で、今後の改良対象。

4音ステップ
正解
全NN
決定論
大跳躍
正解
全NN
決定論
休符を含むフレーズ
正解
全NN
決定論

知覚・記憶・Positionの試行履歴

21試行 — PASS 9 / FAIL 12

Tempo / Beat — PASS 2 / FAIL 4
試PASS

yamabiko_tempo_beat_timbre_v2

採用候補または合格checkpoint

tempo relative error median 0.011 / tempo relative error p90 0.068 / tempo head relative error median 0.074 / phase circular mae cycle 0.057 / phase confidence mean 0.998 / half double confusion rate 0.000

split: frozen-heldout-bpm / seed: 14449

before
after
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
試PASS

yamabiko_tempo_beat_v4_phase

採用候補または合格checkpoint

tempo relative error median 0.008 / tempo relative error p90 0.035 / tempo head relative error median 0.045 / phase circular mae cycle 0.040 / phase confidence mean 0.999 / half double confusion rate 0.000

split: frozen-heldout-bpm / seed: 14449

before
after
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
試FAIL

yamabiko_tempo_beat

固定Gateの少なくとも1指標を満たさず不採用

tempo relative error median 0.037 / tempo relative error p90 0.119 / phase circular mae cycle 0.065 / phase confidence mean 0.994 / half double confusion rate 0.000

split: frozen-heldout-bpm / seed: 14449

試FAIL

yamabiko_tempo_beat_v2

固定Gateの少なくとも1指標を満たさず不採用

tempo relative error median 0.036 / tempo relative error p90 0.094 / phase circular mae cycle 0.056 / phase confidence mean 0.998 / half double confusion rate 0.000

split: frozen-heldout-bpm / seed: 14449

試FAIL

yamabiko_tempo_beat_v3

固定Gateの少なくとも1指標を満たさず不採用

tempo relative error median 0.060 / tempo relative error p90 0.151 / phase circular mae cycle 0.054 / phase confidence mean 0.997 / half double confusion rate 0.021

split: frozen-heldout-bpm / seed: 14449

試FAIL

yamabiko_tempo_beat_v4

固定Gateの少なくとも1指標を満たさず不採用

tempo relative error median 0.045 / tempo relative error p90 0.122 / phase circular mae cycle 0.040 / phase confidence mean 0.999 / half double confusion rate 0.010

split: frozen-heldout-bpm / seed: 14449

Timeline Memory — PASS 4 / FAIL 6
試PASS

yamabiko_timeline_memory

採用候補または合格checkpoint

pitch mae cents 48.795 / trajectory correlation 0.904 / voice f1 1.000 / rest false positive rate 0.000 / onset f1 30ms 0.889 / offset f1 30ms 1.000

split: development-unknown-bpm / seed: 131817

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試PASS

yamabiko_timeline_memory_v4

採用候補または合格checkpoint

pitch mae cents 52.211 / trajectory correlation 0.967 / voice f1 1.000 / rest false positive rate 0.000 / onset f1 30ms 0.900 / offset f1 30ms 1.000

split: development-unknown-bpm-v4 / seed: 161817

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試PASS

yamabiko_timeline_timbre_v2

採用候補または合格checkpoint

pitch mae cents 53.107 / trajectory correlation 0.919 / voice f1 1.000 / rest false positive rate 0.001 / onset f1 30ms 0.879 / offset f1 30ms 0.999

split: development-timbre-v2-timeline / seed: 191817

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試PASS

yamabiko_timeline_timbre_v2_final

採用候補または合格checkpoint

pitch mae cents 57.502 / trajectory correlation 0.900 / voice f1 1.000 / rest false positive rate 0.000 / onset f1 30ms 0.871 / offset f1 30ms 1.000

split: frozen-final-timbre-v2-timeline / seed: 1191817

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_timeline_memory_direct_v1

Ear skip除去でhum音源の絶対音程が悪化

pitch mae cents 78.826 / trajectory correlation 0.914 / voice f1 0.999 / rest false positive rate 0.000 / onset f1 30ms 0.871 / offset f1 30ms 1.000

split: development-direct-pitch / seed: 171817

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_timeline_memory_final

未知音源で音程一般化不足

pitch mae cents 67.558 / trajectory correlation 0.808 / voice f1 1.000 / rest false positive rate 0.000 / onset f1 30ms 0.887 / offset f1 30ms 1.000

split: frozen-final-unknown-bpm / seed: 1131817

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_timeline_memory_v2

音程MAEは改善したが軌跡相関不足

pitch mae cents 56.911 / trajectory correlation 0.868 / voice f1 1.000 / rest false positive rate 0.000 / onset f1 30ms 0.893 / offset f1 30ms 1.000

split: development-unknown-bpm-v2 / seed: 141817

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_timeline_memory_v3

合格閾値直前だが未達

pitch mae cents 60.642 / trajectory correlation 0.892 / voice f1 1.000 / rest false positive rate 0.001 / onset f1 30ms 0.888 / offset f1 30ms 0.999

split: development-unknown-bpm-v3 / seed: 151817

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_timeline_memory_v4_final

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 67.454 / trajectory correlation 0.907 / voice f1 1.000 / rest false positive rate 0.000 / onset f1 30ms 0.890 / offset f1 30ms 1.000

split: frozen-final-unknown-bpm-v4 / seed: 1161817

試FAIL

yamabiko_timeline_memory_v4_stratified

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 67.454 / trajectory correlation 0.907 / voice f1 1.000 / rest false positive rate 0.000 / onset f1 30ms 0.890 / offset f1 30ms 1.000

split: diagnostic-final-stratified / seed: 1161817

Position Planner — PASS 3 / FAIL 2
試PASS

yamabiko_timeline_position_v2

採用候補または合格checkpoint

position mae percent stroke 0.600 / position p95 percent stroke 1.534 / steady pitch mae cents 11.522 / connected position mae percent stroke 7.859 / connected steady pitch mae cents 161.862

split: frozen-unknown-bpm / seed: 123611

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試PASS

yamabiko_timeline_position_v4

採用候補または合格checkpoint

position mae percent stroke 0.563 / position p95 percent stroke 1.623 / steady pitch mae cents 11.027 / connected position mae percent stroke 3.314 / connected steady pitch mae cents 61.526 / inherited pitch mae cents 59.240

split: frozen-unknown-bpm / seed: 123611

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試PASS

yamabiko_timeline_position_v5

線形Flute simulatorと教師契約を統一して再較正

position mae percent stroke 0.039 / position p95 percent stroke 0.096 / steady pitch mae cents 0.473 / inherited pitch mae cents 14.144 / model added position mae percent stroke 0.039 / model added pitch mae cents 0.473

split: ten-public-hybrid-samples-v1 / seed: 923611

試FAIL

yamabiko_timeline_position

単独とpredicted-upstream結合を分離評価

position mae percent stroke 3.496 / position p95 percent stroke 13.903 / steady pitch mae cents 64.969

split: frozen-unknown-bpm / seed: 123611

試FAIL

yamabiko_timeline_position_v3

同一フレーム分解でPlanner自身の実入力変換誤差が大きくFAIL

position mae percent stroke 0.590 / position p95 percent stroke 1.399 / steady pitch mae cents 11.531 / connected position mae percent stroke 7.947 / connected steady pitch mae cents 164.611 / inherited pitch mae cents 59.240

split: frozen-unknown-bpm / seed: 123611

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after

Physical controlの試行履歴

失敗試行も削除せず、モデルサイズ・学習方法の変更と結果を並べる。WAVとグラフがmanifestにある試行はカード内で再生・表示する。

16試行 — PASS 0 / FAIL 16

PHYFAIL

yamabiko_physical_adaptive_v1

public-audio-teacher-then-black-box-policy-gradient

motor position mae percent stroke 25.331 / motor position p95 percent stroke 62.270 / feedforward pitch mae cents 305.762 / randomized base pitch mae cents 288.564 / feedback pitch mae cents 169.665 / feedback first play pitch mae cents 165.549 / practice adaptation improvement fraction -0.025

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_adaptive_v4

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 13.754 / motor position p95 percent stroke 44.139 / feedforward pitch mae cents 149.149 / randomized base pitch mae cents 225.462 / feedback pitch mae cents 120.137 / feedback first play pitch mae cents 140.274 / practice adaptation improvement fraction 0.144

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_adaptive_v5

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 13.754 / motor position p95 percent stroke 44.139 / feedforward pitch mae cents 149.149 / randomized base pitch mae cents 225.462 / feedback pitch mae cents 127.242 / feedback first play pitch mae cents 144.328 / practice adaptation improvement fraction 0.118

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_blackbox_v1

black-box-policy-gradient-from-public-audio-reward

motor position mae percent stroke 42.008 / motor position p95 percent stroke 94.000 / feedforward pitch mae cents 521.985 / randomized base pitch mae cents 449.292 / feedback pitch mae cents 444.539 / feedback improvement fraction 0.011 / feedback nonworse rig fraction 0.880

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_control_v2

frozen-randomized-physical-v1

motor position mae percent stroke 15.146 / motor position p95 percent stroke 44.843 / feedforward pitch mae cents 157.902 / randomized base pitch mae cents 211.262 / feedback pitch mae cents 96.646 / feedback improvement fraction 0.543 / feedback nonworse rig fraction 0.948

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_control_v3

frozen-randomized-physical-v1

motor position mae percent stroke 9.666 / motor position p95 percent stroke 34.830 / feedforward pitch mae cents 97.224 / randomized base pitch mae cents 166.049 / feedback pitch mae cents 95.925 / feedback improvement fraction 0.422 / feedback nonworse rig fraction 0.922

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_control_v4

frozen-randomized-physical-v1

motor position mae percent stroke 9.922 / motor position p95 percent stroke 35.230 / feedforward pitch mae cents 99.296 / randomized base pitch mae cents 157.610 / feedback pitch mae cents 91.684 / feedback improvement fraction 0.418 / feedback nonworse rig fraction 0.938

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_control_v6

frozen-randomized-physical-v1

motor position mae percent stroke 11.141 / motor position p95 percent stroke 35.100 / feedforward pitch mae cents 114.219 / randomized base pitch mae cents 158.886 / feedback pitch mae cents 92.581 / feedback improvement fraction 0.417 / feedback nonworse rig fraction 0.958

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_control_v7

frozen-randomized-physical-v1

motor position mae percent stroke 11.141 / motor position p95 percent stroke 35.100 / feedforward pitch mae cents 114.219 / randomized base pitch mae cents 158.886 / feedback pitch mae cents 108.926 / feedback improvement fraction 0.314 / feedback nonworse rig fraction 0.792

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_fast_v1

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 14.845 / motor position p95 percent stroke 42.733 / feedforward pitch mae cents 171.607 / randomized base pitch mae cents 226.713 / feedback pitch mae cents 158.350 / feedback first play pitch mae cents 191.960 / practice adaptation improvement fraction 0.175

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_fast_v2

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 11.994 / motor position p95 percent stroke 29.880 / feedforward pitch mae cents 140.234 / randomized base pitch mae cents 198.451 / feedback pitch mae cents 118.736 / feedback first play pitch mae cents 164.344 / practice adaptation improvement fraction 0.278

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_fast_v3

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 14.883 / motor position p95 percent stroke 40.981 / feedforward pitch mae cents 171.238 / randomized base pitch mae cents 203.683 / feedback pitch mae cents 126.113 / feedback first play pitch mae cents 169.442 / practice adaptation improvement fraction 0.256

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_fast_v4

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 42.430 / motor position p95 percent stroke 94.000 / feedforward pitch mae cents 513.411 / randomized base pitch mae cents 498.842 / feedback pitch mae cents 485.629 / feedback first play pitch mae cents 484.193 / practice adaptation improvement fraction -0.003

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_fast_v5

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 12.439 / motor position p95 percent stroke 33.426 / feedforward pitch mae cents 136.068 / randomized base pitch mae cents 192.857 / feedback pitch mae cents 126.606 / feedback first play pitch mae cents 118.587 / practice adaptation improvement fraction -0.068

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_slow_v1

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 14.982 / motor position p95 percent stroke 47.562 / feedforward pitch mae cents 179.387 / randomized base pitch mae cents 283.954 / feedback pitch mae cents 111.796 / feedback first play pitch mae cents 119.487 / practice adaptation improvement fraction 0.064

シミュレーション評価。実機検証ではない。

PHYFAIL

yamabiko_physical_world_v2_base_eval

learned-pwm-audio-world-model-plus-adaptive-policy-gradient

motor position mae percent stroke 13.754 / motor position p95 percent stroke 44.139 / feedforward pitch mae cents 149.149 / randomized base pitch mae cents 225.462 / feedback pitch mae cents 211.458 / feedback first play pitch mae cents 212.447 / practice adaptation improvement fraction 0.005

シミュレーション評価。実機検証ではない。

代替案 A

Beat-cell + Neural Clock / Aligner

単独PASS / 接続FAIL

この方式は何をしている?

曲を16分音符のような小さな「拍のマス」に分け、各マスへ音程や休符を覚えます。演奏時には別のAI時計が今読むべきマスを決め、連続した音へ戻します。

覚え方
拍ごとのセル
時間の扱い
Neural Clockが再生位置を進める
狙い
BPMを変えても同じ曲を再生
現在の課題
各AI単独では成功しても接続時に時刻がずれる

shared Ear/Tempo → Musical Memory cells → Neural Clock → Temporal Aligner → 100 Hz target

Memory、Clock、AlignerはOracle条件の単独GateでPASSしたが、predicted-upstream接続では誤差が累積したため採用予定から外している。

26試行 — PASS 3 / FAIL 23

Musical Memory — PASS 1 / FAIL 11
試PASS

yamabiko_musical_memory_aligned_v7_pass

採用候補または合格checkpoint

pitch mae cents 55.380 / pitch p90 cents 85.305 / trajectory correlation 0.922 / voice f1 0.976 / onset f1 0.920 / offset f1 0.927

split: frozen-unknown-bpm / seed: 16673

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_musical_memory

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 87.601 / pitch p90 cents 183.802 / trajectory correlation 0.918 / voice f1 0.860 / onset f1 0.651 / offset f1 0.624

split: frozen-unknown-bpm / seed: 16673

試FAIL

yamabiko_musical_memory_aligned

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 90.463 / pitch p90 cents 172.855 / trajectory correlation 0.926 / voice f1 0.976 / onset f1 0.916 / offset f1 0.922

split: frozen-unknown-bpm / seed: 16673

試FAIL

yamabiko_musical_memory_aligned_v2

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 79.041 / pitch p90 cents 156.691 / trajectory correlation 0.914 / voice f1 0.978 / onset f1 0.923 / offset f1 0.941

split: frozen-unknown-bpm / seed: 16673

試FAIL

yamabiko_musical_memory_aligned_v3

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 60.510 / pitch p90 cents 101.077 / trajectory correlation 0.924 / voice f1 0.975 / onset f1 0.913 / offset f1 0.914

split: frozen-unknown-bpm / seed: 16673

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_musical_memory_aligned_v4

固定BPM clockの累積ドリフト

pitch mae cents 108.986 / pitch p90 cents 316.603 / trajectory correlation 0.853 / voice f1 0.962 / onset f1 0.904 / offset f1 0.876

split: frozen-unknown-bpm / seed: 16673

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_musical_memory_aligned_v5

PLLが局所位相誤差を増幅

pitch mae cents 108.010 / pitch p90 cents 308.188 / trajectory correlation 0.848 / voice f1 0.975 / onset f1 0.927 / offset f1 0.924

split: frozen-unknown-bpm / seed: 16673

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_musical_memory_aligned_v6

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 54.442 / pitch p90 cents 89.054 / trajectory correlation 0.922 / voice f1 0.976 / onset f1 0.922 / offset f1 0.927

split: frozen-unknown-bpm / seed: 16673

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_musical_memory_aligned_v7

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 55.380 / pitch p90 cents 85.305 / trajectory correlation 0.922 / voice f1 0.976 / onset f1 0.920 / offset f1 0.927

split: frozen-unknown-bpm / seed: 16673

試FAIL

yamabiko_musical_memory_aligned_v7_diag

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 55.380 / pitch p90 cents 85.305 / trajectory correlation 0.922 / voice f1 0.976 / onset f1 0.920 / offset f1 0.927

split: frozen-unknown-bpm / seed: 16673

試FAIL

yamabiko_musical_memory_strict

固定Gateの少なくとも1指標を満たさず不採用

pitch mae cents 132.208 / pitch p90 cents 288.888 / trajectory correlation 0.867 / voice f1 0.776 / onset f1 0.542 / offset f1 0.410

split: frozen-unknown-bpm / seed: 16673

試FAIL

yamabiko_musical_memory_timbre_v2

音色再学習系。セルMemoryは失敗、Timelineは改善

pitch mae cents 81.156 / pitch p90 cents 199.937 / trajectory correlation 0.863 / voice f1 0.957 / onset f1 0.910 / offset f1 0.881

split: frozen-unknown-bpm / seed: 16673

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
Temporal Aligner — PASS 2 / FAIL 6
試PASS

yamabiko_temporal_aligner_final

採用候補または合格checkpoint

clock pointer mae cells 0.048 / clock pointer p95 cells 0.133 / clock backward jumps 0.000 / clock eos mae ms 58.750 / pitch mae cents 14.342 / trajectory correlation 0.996

split: frozen-final-oracle-grid-unknown-bpm / seed: 918431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試PASS

yamabiko_temporal_aligner_v7

採用候補または合格checkpoint

clock pointer mae cells 0.045 / clock pointer p95 cells 0.118 / clock backward jumps 0.000 / clock eos mae ms 58.229 / pitch mae cents 14.787 / trajectory correlation 0.996

split: frozen-oracle-grid-unknown-bpm / seed: 18431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_temporal_aligner

固定Gateの少なくとも1指標を満たさず不採用

clock pointer mae cells 0.078 / clock pointer p95 cells 0.189 / clock backward jumps 0.000 / clock eos mae ms 166.146 / pitch mae cents 19.491 / trajectory correlation 0.996

split: frozen-oracle-grid-unknown-bpm / seed: 18431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_temporal_aligner_v2

固定Gateの少なくとも1指標を満たさず不採用

clock pointer mae cells 0.067 / clock pointer p95 cells 0.113 / clock backward jumps 0.000 / clock eos mae ms 41.042 / pitch mae cents 18.883 / trajectory correlation 0.997

split: frozen-oracle-grid-unknown-bpm / seed: 18431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_temporal_aligner_v3

固定Gateの少なくとも1指標を満たさず不採用

clock pointer mae cells 0.045 / clock pointer p95 cells 0.118 / clock backward jumps 0.000 / clock eos mae ms 58.229 / pitch mae cents 23.048 / trajectory correlation 0.997

split: frozen-oracle-grid-unknown-bpm / seed: 18431

試FAIL

yamabiko_temporal_aligner_v4

鋭い区間attentionでClockまで崩壊

clock pointer mae cells 0.127 / clock pointer p95 cells 0.366 / clock backward jumps 0.000 / clock eos mae ms 52.083 / pitch mae cents 19.135 / trajectory correlation 0.993

split: frozen-oracle-grid-unknown-bpm / seed: 18431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_temporal_aligner_v5

固定Gateの少なくとも1指標を満たさず不採用

clock pointer mae cells 0.045 / clock pointer p95 cells 0.118 / clock backward jumps 0.000 / clock eos mae ms 58.229 / pitch mae cents 15.769 / trajectory correlation 0.995

split: frozen-oracle-grid-unknown-bpm / seed: 18431

試FAIL

yamabiko_temporal_aligner_v6

平坦なevent教師でonsetピークが曖昧

clock pointer mae cells 0.045 / clock pointer p95 cells 0.118 / clock backward jumps 0.000 / clock eos mae ms 58.229 / pitch mae cents 18.141 / trajectory correlation 0.995

split: frozen-oracle-grid-unknown-bpm / seed: 18431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
Connected Temporal — PASS 0 / FAIL 6
試FAIL

yamabiko_temporal_connected

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 0.379 / clock backward jumps 0.000 / clock eos mae ms 79.479 / pitch mae cents 128.434 / trajectory correlation 0.799 / voice f1 0.879

split: frozen-final-predicted-upstream / seed: 938431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_temporal_connected_attention_diag

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 27993.721 / clock backward jumps 0.000 / clock eos mae ms 57.083 / pitch mae cents 88.296 / trajectory correlation 0.842 / voice f1 0.889

split: diagnostic-attention-timing-profile / seed: 50473

試FAIL

yamabiko_temporal_connected_attention_diag_v2

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 0.309 / clock backward jumps 0.000 / clock eos mae ms 57.083 / pitch mae cents 73.050 / trajectory correlation 0.870 / voice f1 0.930

split: diagnostic-monotone-attention-timing / seed: 50473

試FAIL

yamabiko_temporal_connected_tuned_dev

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 0.384 / clock backward jumps 0.000 / clock eos mae ms 41.875 / pitch mae cents 74.374 / trajectory correlation 0.916 / voice f1 0.884

split: development-predicted-upstream / seed: 30473

試FAIL

yamabiko_temporal_connected_tuned_v2_dev

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 0.372 / clock backward jumps 0.000 / clock eos mae ms 57.083 / pitch mae cents 80.286 / trajectory correlation 0.865 / voice f1 0.886

split: development-predicted-upstream-v2 / seed: 50473

試FAIL

yamabiko_temporal_connected_tuned_v2_oracle_clock

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 0.000 / clock backward jumps 0.000 / clock eos mae ms 57.083 / pitch mae cents 74.362 / trajectory correlation 0.872 / voice f1 0.935

split: diagnostic-oracle-clock-predicted-memory / seed: 50473

代替案 B

Duration-conditioned / Stored Timing Profile

全体 FAIL

この方式は何をしている?

拍の内容だけでなく、「曲が何秒続くか」または「各時刻で何番目のマスを読むか」も一緒に覚える方式です。時計のずれを、参照時に保存した時間情報で抑えようとしました。

覚え方
拍セル + 長さ/絶対位置
時間の扱い
Durationまたは保存Pointer
狙い
曲の終端と音符位置を正確に合わせる
現在の課題
Timing Profile自体と接続再生が未合格

Beat-cell memory → duration-conditioned clock または stored absolute pointer → Aligner

演奏時間または絶対セル位置を記憶する案。Duration単独にはPASSがあるが接続はFAIL、Timing Profileは単独・接続ともFAIL。

10試行 — PASS 2 / FAIL 8

Duration Clock — PASS 2 / FAIL 2
試PASS

yamabiko_temporal_duration_final

採用候補または合格checkpoint

clock pointer mae cells 0.072 / clock pointer p95 cells 0.175 / clock backward jumps 0.000 / clock eos mae ms 21.042 / pitch mae cents 14.575 / trajectory correlation 0.995

split: frozen-final-duration-clock-unknown-bpm / seed: 1018431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試PASS

yamabiko_temporal_duration_v2

採用候補または合格checkpoint

clock pointer mae cells 0.073 / clock pointer p95 cells 0.164 / clock backward jumps 0.000 / clock eos mae ms 24.167 / pitch mae cents 15.453 / trajectory correlation 0.995

split: development-oracle-grid-unknown-bpm / seed: 118431

before
after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
横軸: 時間 [s] / 縦軸: 音程 [cent, A4=0] — シアン: before / 橙: after
試FAIL

yamabiko_temporal_duration_connected

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 0.318 / clock backward jumps 0.000 / clock eos mae ms 35.729 / pitch mae cents 128.363 / trajectory correlation 0.736 / voice f1 0.892

split: frozen-final-predicted-upstream / seed: 1038431

試FAIL

yamabiko_temporal_duration_v1

参照長追加だけではClock未収束

clock pointer mae cells 0.168 / clock pointer p95 cells 0.445 / clock backward jumps 0.000 / clock eos mae ms 103.646 / pitch mae cents 17.017 / trajectory correlation 0.994

split: development-oracle-grid-unknown-bpm / seed: 118431

Timing Profile — PASS 0 / FAIL 4
試FAIL

yamabiko_timing_profile

固定Gateの少なくとも1指標を満たさず不採用

pointer mae cells 0.475 / pointer p95 cells 1.486 / backward jumps 0.000

split: development-unknown-bpm / seed: 127491

before
after
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
試FAIL

yamabiko_timing_profile_direct_v1

絶対位置直接回帰が未知曲へ一般化せず

pointer mae cells 0.557 / pointer p95 cells 1.894 / backward jumps 0.000

split: development-unknown-bpm / seed: 127491

before
after
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
試FAIL

yamabiko_timing_profile_indexed_v1

frame index追加後も積分誤差が残存

pointer mae cells 0.411 / pointer p95 cells 1.113 / backward jumps 0.000

split: development-unknown-bpm / seed: 127491

before
after
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
横軸: 時間 / 縦軸: お手本音程 — 橙の縦線: 拍イベント(音程出力なし)
試FAIL

yamabiko_timing_profile_v2

固定Gateの少なくとも1指標を満たさず不採用

pointer mae cells 0.371 / pointer p95 cells 1.019 / backward jumps 0.000

split: development-unknown-bpm / seed: 127491

Connected Temporal — PASS 0 / FAIL 2
試FAIL

yamabiko_temporal_connected_profile_diag

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 0.557 / clock backward jumps 618.000 / clock eos mae ms 57.083 / pitch mae cents 73.133 / trajectory correlation 0.870 / voice f1 0.912

split: diagnostic-stored-timing-profile / seed: 50473

試FAIL

yamabiko_temporal_connected_profile_diag_v2

predicted-upstream接続で時刻誤差が累積

clock pointer mae cells 0.480 / clock backward jumps 10.000 / clock eos mae ms 57.083 / pitch mae cents 75.013 / trajectory correlation 0.868 / voice f1 0.858

split: diagnostic-monotone-timing-profile / seed: 50473

旧方式

Fixed 100 Hz Staged Control

全体 FAIL

この方式は何をしている?

BPMや拍を明示せず、お手本を最初から100 Hzの時間列として覚え、そのままモータ操作へ変換する初期方式です。構造は分かりやすい一方、テンポの理解と身体動作の誤差を切り分けにくい方式でした。

覚え方
固定速度の100 Hz系列
時間の扱い
録音時の時刻をそのまま使用
狙い
短い経路でお手本から操作を生成
現在の課題
物理演奏と誤差比較がFAIL

raw audio → Neural Ear → Reference Memory → Feed-forward/Motor inverse → Plant → Comparator → Feedback

2PASS

Legacy Reference Memory

Ear系列 → 保存メモリ → 音程系列

NNの前
NNの後
mae
40.573
correlation
0.973

旧参照メモリ方式。現行本線はBeat-conditioned Timeline Memory。raw音声を捨て、memory tensorだけから復元。

3FAIL

Legacy Physical Feed-forward Policy

記憶したお手本 → PWM・バルブ → 物理シミュレータ

NNの前
NNの後
mae
198.544
correlation
0.816
voiced recall
1.000
direction
1.000
gain
0.668

旧物理演奏経路。afterはアクチュエータと笛のシミュレーションを通るが、現在のPosition Plannerとは未接続。

旧Physical Feed-forward試行

root checkpointと2つの派生試行を分けて保存。いずれも物理演奏GateはFAIL。

試FAIL

ff_dagger_v1

MAE 340.7 cent / correlation -0.104 / direction 0.767 / gain 0.930

お手本
試行後
試FAIL

position_motor_v2

MAE 315.4 cent / correlation 0.802 / direction 0.833 / gain 0.637

お手本
試行後
研究中

Single Raw-audio E2EImitator

演奏 Gate 3: 0 / 3 PASS

この方式は何をしている?

お手本の音と自分の演奏音を一つの大きなAIへ直接入れ、途中の音符表現を人が決めずにモータ操作までまとめて学ばせる方式です。最も純粋なE2Eですが、どこで失敗したかを調べにくい難しさがあります。

覚え方
GRU内部の連続した記憶
時間の扱い
Attentionと制御GRUが暗黙に学習
狙い
知覚・記憶・制御を一体で最適化
現在の課題
最終演奏誤差が大きく、反復適応も未達

reference raw + self raw → shared CNN / GRU memory / attention / control GRU → PWM・valve・done

単一forward graphとして最もE2Eだが、演奏誤差237〜268 centで未合格。補助知覚Gateの成功と最終演奏成功を分けて表示する。

E2EFAIL

yamabiko_e2e_gate3_future

mae cents 268.357 / trajectory correlation -0.869 / change direction accuracy 1.000 / transition lag ms 31.429 / sounding rate 0.987

補助Gateの記録。最終演奏Gate 3は3試行すべてFAIL。

E2EFAIL

yamabiko_e2e_gate3_pitch

mae cents 264.130 / trajectory correlation -0.995 / change direction accuracy 1.000 / transition lag ms 31.429 / sounding rate 0.988

補助Gateの記録。最終演奏Gate 3は3試行すべてFAIL。

E2EFAIL

yamabiko_e2e_gate3

mae cents 237.052 / trajectory correlation 0.039 / change direction accuracy 1.000 / transition lag ms 31.429 / sounding rate 0.987

補助Gateの記録。最終演奏Gate 3は3試行すべてFAIL。

E2EFAIL

yamabiko_e2e_memory_direct

reference mae cents 33.957 / voice f1 0.997 / change direction accuracy 0.873 / self pitch mae cents 23.554 / error mae cents 45.169 / error sign accuracy 0.945

補助Gateの記録。最終演奏Gate 3は3試行すべてFAIL。

E2EFAIL

yamabiko_e2e_memory

reference mae cents 123.658 / voice f1 0.997 / change direction accuracy 0.836 / self pitch mae cents 23.554 / error mae cents 123.368 / error sign accuracy 0.769

補助Gateの記録。最終演奏Gate 3は3試行すべてFAIL。

E2EPASS

yamabiko_e2e_perception

reference mae cents 33.957 / voice f1 0.997 / change direction accuracy 0.982 / self pitch mae cents 23.554 / error mae cents 45.169 / error sign accuracy 0.945

補助Gateの記録。最終演奏Gate 3は3試行すべてFAIL。

E2EFAIL

yamabiko_e2e_stage

reference mae cents 43.933 / voice f1 0.999 / change direction accuracy 0.850 / error mae cents 73.189 / error sign accuracy 0.841 / self pitch mae cents 100.709

補助Gateの記録。最終演奏Gate 3は3試行すべてFAIL。

単一E2Eの構造・複数take評価を読む

評価を厳格化した理由

旧一体モデルはMAE 264.1 cent、軌跡相関 -0.995 で実際には逆方向へ追従した。一方、旧方向指標だけは 1.0 だった。旧方向指標は300 ms以内の微小な符号一致で1.0となるため無効化。新評価は発音できない目標区間へ1200 cent罰を与え、P90、発音率、休符漏れ、遷移ゲイン、整定誤差をケース別に残す。

学習の分離と再統合

Position Plannerを音楽的フィードフォワードとして固定し、PWMと可聴音程の関係だけを学ぶWorld Model、位置計画を追うMotor Controller、速い運動状態と遅い個体文脈を持つAdaptive Feedbackを順に学習する。物理真値は学習入力・教師へ漏らさず、評価グラフの原因分析だけに使う。

今後の実装計画

MPLAN

交換可能な個別NNと統合E2E

modular learned / joint E2E / deterministic hybrid

Ear、Tempo/Beat、Musical Memory、Aligner、Planner、World Model、Controller、Comparator、Feedbackに共通Tensor契約を定義する。開発時は個別checkpointと中間評価を維持し、配備時はWorld Modelを外し、ControllerとAdaptive Feedbackを単一のComposite graphへ統合する。

  • 個別NN接続: 合格済みブロックを凍結して接続
  • joint E2E: 補助損失を残して全体を低学習率で微調整
  • hybrid: 任意ブロックを固定BPM、物理Planner、dead reckoning、PID等へ交換
  • oracle input / predicted upstream / closed loopの3段階評価
  • 同一曲のWAV、精度、P99レイテンシ、モデルサイズを比較

HTML詳細計画 / Markdown原文

APLAN

8小節文脈・コード理解・アドリブ

waveform + multi-resolution STFT → long musical memory → improvisation

生波形と時間×周波数のSTFTを統合し、拍同期トークンへ圧縮する。8小節を16分音符単位なら約128セルとして保持し、和声を一点断定せず候補分布と潜在表現で扱う。

  • masked bar reconstructionと次4小節予測で長期文脈を学習
  • Imitation HeadとImprovisation Headが共通Memoryを利用
  • continuation、variation、call-and-response、soloを分離評価
  • Playability NNで音域、到達時間、発音余裕、危険率を評価
  • 理想生成WAVと物理シミュレータ演奏WAVを別々に公開

HTML詳細計画 / Markdown原文

全ケース詳細

ear

casemae cents with silence penaltyp90 cents with silence penaltytrajectory correlationvoiced recallrest false positive rate
sustain7.17712.8501.0001.0000.000
step_up_down9.78316.4780.9951.0000.000
glide20.73753.6100.9931.0000.000
rests13.04029.2440.9961.0000.021
melody8.76214.4250.9941.0000.000

memory

casemae cents with silence penaltyp90 cents with silence penaltytrajectory correlationvoiced recallrest false positive rate
sustain7.5899.7051.0001.0000.000
step_up_down80.674184.3920.9501.0000.000
glide16.33128.5720.9991.0000.000
rests24.23151.9770.9901.0000.007
melody74.042167.1790.9281.0000.000

feedforward

casemae cents with silence penaltyp90 cents with silence penaltytrajectory correlationvoiced recallrest false positive ratetransition direction accuracytransition gain mediansettled transition mae cents
sustain230.040233.7011.0001.0000.0001.0001.0000.000
step_up_down195.494392.4420.6981.0000.0001.0000.129244.423
glide141.005260.1010.9621.0000.0001.0001.0000.000
rests215.778433.3670.7111.0000.0001.0001.0000.000
melody210.403398.4330.7081.0000.0001.0000.209247.799

comparator

caseerror mae centserror p90 centserror sign accuracy
sustain60.09081.0620.970
step_up_down61.130127.4911.000
glide77.617112.4061.000
rests89.924138.4051.000
melody63.871131.6360.983