PHYSICAL AI / やまびこ1号 — 最新の計画と結果(この計画に関係する内容だけ)
未知の機体に着いたら、まず機体を知り、
同じ曲を繰り返して上手くなる。
実機のモーターと笛は、最初にフィッティングした後はほぼ変わらない。ただし最初の1台がどんなものかは分からない。そこで「短い較正動作で機体を知る → その機体のデジタルツインを作る → 機体に合わせた制御で演奏する → 同じ曲を繰り返して上手くなる」を開発の筋にする。どの段階もエンコーダなしの決定論的モジュールと同じ条件で比べる。
1. 計画
原点合わせの後、バルブを開けて決まったPWM列を約8秒流し、聴こえた音程を記録する(実機で実行できる)。
記録にシミュレーターの機体の値を当てはめ、その機体専用のシミュレーターを作る(PC)。
決定論(音程で位置を直すオブザーバー+PD)がツインの値で動く骨格になり、NNが狙う位置とPWMに上限つきの補正を足す。全体を1つの計算グラフとして学習する。
曲の記憶で、同じ曲を繰り返すほど上手くなる(デモの見せ場)。
固定ベンチマークで命中率と95 %区間を比べる。
合格基準と現状
| 段階 | 基準(暫定・実機計測後に見直す) | 判定 | 現状 |
|---|---|---|---|
| G1 フィッティング | 約10秒の較正で、較正の記録の聴こえを10 cent以内で再現する | 達成 | 較正 8.4 秒、再現誤差 中央値 2.9 cent(参考:保留した曲を指令だけで丸ごと予測 19.2 cent) |
| G2 決定論+ツイン | フィッティングなしより有意に高く、理想の当てはめから5ポイント以内 | 一部達成 | ツイン 80 %/なし 77 %/理想 83 % |
| G3 NN+ツイン | ツインで仕上げたNNが決定論+ツインから3ポイント以内(1回目)、3回目で決定論以上 | 達成 | 決定論+ツイン+NN補正 1回目 92 % → 3回目 93 %/決定論+ツイン 80 % |
| G4 デモ | 参照10曲で、3回以内の繰り返しで命中率85 %以上 | 達成 | 現在の最良 93 % |
命中率=各音が鳴り始めから0.3秒以内に±25 centへ入った割合。平均誤差ではなくこれで判断し、95 %区間が重ならない差だけを改善と呼ぶ。
2. シミュレーター
| 要素 | 模擬しているもの |
|---|---|
| 笛 | 閉管 f = c/4(L−x)。変位に線形なのは周期で、音程は対数。原点は最低音より200 cent低く、どの機体でも全音域を出せる。管長±10 mm、温度±8 ℃、吹圧±10 cent。 |
| モーター | トルクの立ち上がり、慣性、クーロン・粘性摩擦、最高速度、両端のストッパー、PWMの不感帯(0.20前後)。速度とトルクは実機未計測のため0.4〜2.5倍の幅で乱数化。 |
| 聴こえ | 1±1ステップ(10 ms単位)の遅れ、3 centの音程ノイズ、2 %の欠落。 |
| ブラックボックスの決まり | 実機と同じく、送れるのはPWMとバルブ、受け取れるのは聴こえた音程だけ。機体の真の値や勾配は学習にも制御にも使わず、採点と原因分析にだけ使う。 |
ベンチマーク:未知の機体 32 台(乱数固定)、参照10曲(0.5倍速、正解の楽譜)と乱数曲。実機では未検証。
3. 操作できるシミュレーション
目標 選んだ方式
選んだ機体での演奏をブラックボックスのシミュレーターで記録したもの。音はブラウザで合成した診断音。命中率はこの曲を32台で演奏した平均。
4. 結果
F1〜F2 フィッティングの精度
- 較正動作の長さ
- 8.4 秒
- 較正記録への当てはまり(中央値)
- 2.9 cent
- 保留した曲の聴こえ予測(中央値)
- 19.2 cent
- 最高速度の推定誤差(中央値)
- 0 %
- トルクの推定誤差(中央値)
- 19 %
- 不感帯の推定誤差(中央値)
- 0.002
- 管長ずれの推定誤差(中央値)
- 0.1 mm
- 聴こえの遅れの正解率
- 72 %
聴こえの誤差は実機でも測れる。「保留した曲の予測」は、音を聴かずに指令だけで1曲(約5秒)を予測したもので、小さなずれが積み重なるため大きく外れる機体がある。実際の制御は聴いた音程で位置を直しながら動くので、この値よりツインを使った制御の成績(G2)を重視する。推定誤差(真の値との比較)はシミュレーターでだけ分かる参考値。
制御方式の比較:参照10曲
| 方式 | 命中率 | 合っている割合 | 届くまで(中央値) |
|---|---|---|---|
| 決定論(フィッティングなし) | 77 % [75–80] | 59 % [57–61] | 189 ms |
| 決定論+ツイン | 80 % [77–83] | 62 % [60–64] | 201 ms |
| 決定論+真の値(理想の当てはめ) | 83 % [80–86] | 64 % [62–66] | 184 ms |
| NN 1回目 | 58 % [55–61] | 47 % [45–49] | 236 ms |
| NN 2回目 | 71 % [68–73] | 48 % [46–49] | 206 ms |
| NN 3回目 | 75 % [72–78] | 47 % [46–49] | 183 ms |
| NN+ツイン 1回目 | 73 % [70–77] | 51 % [49–52] | 193 ms |
| NN+ツイン 2回目 | 82 % [79–85] | 54 % [53–56] | 159 ms |
| NN+ツイン 3回目 | 82 % [80–85] | 53 % [51–54] | 155 ms |
| 決定論+ツイン+NN補正 1回目 | 92 % [90–94] | 69 % [67–71] | 138 ms |
| 決定論+ツイン+NN補正 2回目 | 93 % [91–94] | 72 % [70–74] | 113 ms |
| 決定論+ツイン+NN補正 3回目 | 93 % [91–95] | 73 % [71–75] | 109 ms |
| 位置センサー付き(参考) | 82 % [79–84] | 63 % [61–65] | 185 ms |
| 聴いて演奏:決定論+ツイン | 66 % [63–68] | 51 % [49–53] | 218 ms |
| 聴いて演奏:骨格+NN補正 2回目 | 90 % [89–92] | 63 % [61–65] | 111 ms |
お手本を聴いてから演奏(全経路)
参照曲をリコーダーの音として合成し、Neural Ear/Tempo/Timeline記憶が一度聴いて覚えた目標で演奏する。採点は正解の楽譜に対して行うので、聴き取りの誤差も含む(聴いて覚えた目標自体が±25 cent以内だった割合 86 % [79–92])。
| 方式 | 命中率 | 合っている割合 |
|---|---|---|
| 決定論+ツイン | 66 % [63–68] | 51 % [49–53] |
| 決定論+ツイン+NN補正 1回目 | 81 % [79–84] | 58 % [55–60] |
| 同 2回目 | 90 % [89–92] | 63 % [61–65] |
| 同 3回目 | 88 % [86–90] | 61 % [59–63] |
制御方式の比較:乱数曲
| 方式 | 命中率 | 合っている割合 | 届くまで(中央値) |
|---|---|---|---|
| 決定論(フィッティングなし) | 71 % [67–75] | 67 % [64–70] | 144 ms |
| 決定論+ツイン | 79 % [75–83] | 73 % [70–76] | 109 ms |
| 決定論+真の値(理想の当てはめ) | 80 % [77–84] | 73 % [70–76] | 104 ms |
| NN 1回目 | 53 % [49–58] | 53 % [49–57] | 220 ms |
| NN 2回目 | 61 % [56–67] | 56 % [52–61] | 193 ms |
| NN 3回目 | 64 % [59–70] | 57 % [53–61] | 180 ms |
| NN+ツイン 1回目 | 78 % [73–82] | 70 % [66–73] | 124 ms |
| NN+ツイン 2回目 | 88 % [85–91] | 74 % [71–77] | 87 ms |
| NN+ツイン 3回目 | 89 % [86–92] | 75 % [72–78] | 70 ms |
| 決定論+ツイン+NN補正 1回目 | 86 % [82–90] | 75 % [72–79] | 95 ms |
| 決定論+ツイン+NN補正 2回目 | 89 % [85–92] | 78 % [75–81] | 70 ms |
| 決定論+ツイン+NN補正 3回目 | 89 % [85–92] | 78 % [75–81] | 70 ms |
| 位置センサー付き(参考) | 82 % [78–85] | 74 % [70–77] | 100 ms |
前回からの変化
第2回の変更:較正動作の全力往復を1秒に延長(約9秒)、ツインの当てはめを300回に、NNの仕上げの練習曲の半分を休符・同音連打の多い曲に。
| 回 | 参照曲:決定論+ツイン | 参照曲:NN+ツイン 1回目 | 参照曲:NN+ツイン 3回目 | 参照曲:位置センサー付き(参考) | 乱数曲:決定論+ツイン | 乱数曲:NN+ツイン 1回目 | 乱数曲:NN+ツイン 3回目 | 乱数曲:位置センサー付き(参考) |
|---|---|---|---|---|---|---|---|---|
| 第1回 | 80 % [77–83] | 74 % [71–77] | 83 % [80–85] | 82 % [79–84] | 77 % [73–81] | 79 % [75–83] | 90 % [87–93] | 82 % [78–85] |
| 今回 | 80 % [77–83] | 73 % [70–77] | 82 % [80–85] | 82 % [79–84] | 79 % [75–83] | 78 % [73–82] | 89 % [86–92] | 82 % [78–85] |
曲ごとの命中率
| 曲 | 決定論(フィッティングなし) | 決定論+ツイン | 決定論+真の値(理想の当てはめ) | NN 1回目 | NN 2回目 | NN 3回目 | NN+ツイン 1回目 | NN+ツイン 2回目 | NN+ツイン 3回目 | 決定論+ツイン+NN補正 1回目 | 決定論+ツイン+NN補正 2回目 | 決定論+ツイン+NN補正 3回目 | 位置センサー付き(参考) | 聴いて演奏:決定論+ツイン | 聴いて演奏:骨格+NN補正 2回目 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 4音ステップ | 70 % [61–78] | 70 % [60–80] | 71 % [61–81] | 56 % [48–65] | 75 % [66–84] | 77 % [66–88] | 75 % [65–84] | 83 % [70–93] | 87 % [77–95] | 91 % [84–98] | 93 % [87–98] | 91 % [83–97] | 72 % [62–80] | 43 % [33–53] | 84 % [77–91] |
| 上昇音階 | 94 % [91–96] | 93 % [85–99] | 95 % [88–100] | 70 % [62–78] | 82 % [73–90] | 82 % [73–89] | 92 % [86–97] | 95 % [92–97] | 96 % [92–99] | 99 % [98–100] | 98 % [97–100] | 99 % [97–100] | 93 % [86–99] | 53 % [45–60] | 88 % [85–90] |
| 下降音階 | 85 % [81–89] | 83 % [75–89] | 82 % [77–87] | 67 % [58–74] | 78 % [72–83] | 81 % [74–86] | 75 % [67–82] | 85 % [79–91] | 85 % [80–89] | 89 % [85–93] | 90 % [85–94] | 91 % [86–94] | 86 % [83–90] | 83 % [80–86] | 89 % [84–94] |
| ジグザグ旋律 | 65 % [55–76] | 69 % [60–79] | 73 % [64–82] | 62 % [53–71] | 79 % [70–86] | 77 % [70–84] | 73 % [64–83] | 89 % [80–95] | 86 % [79–93] | 88 % [78–96] | 90 % [81–97] | 90 % [81–97] | 68 % [58–77] | 52 % [45–59] | 92 % [84–98] |
| 同音連打と休符 | 87 % [81–91] | 88 % [79–95] | 95 % [91–98] | 55 % [45–63] | 66 % [58–74] | 70 % [60–77] | 56 % [45–66] | 62 % [50–73] | 55 % [43–66] | 90 % [82–96] | 93 % [87–98] | 91 % [84–97] | 95 % [92–98] | 88 % [80–94] | 94 % [89–98] |
| 大跳躍 | 50 % [39–62] | 48 % [37–60] | 54 % [44–66] | 26 % [16–37] | 49 % [37–60] | 62 % [51–73] | 43 % [32–54] | 64 % [51–76] | 69 % [57–79] | 78 % [67–89] | 81 % [70–90] | 82 % [72–91] | 54 % [44–66] | 59 % [51–68] | 85 % [76–93] |
| 長短リズム | 80 % [72–87] | 88 % [81–95] | 88 % [81–94] | 63 % [54–71] | 70 % [62–78] | 75 % [68–82] | 80 % [73–86] | 86 % [79–91] | 87 % [81–92] | 96 % [91–99] | 96 % [92–99] | 97 % [93–100] | 84 % [76–92] | 64 % [56–73] | 96 % [92–99] |
| 分散和音 | 78 % [68–87] | 78 % [68–86] | 84 % [77–92] | 69 % [60–77] | 78 % [70–85] | 87 % [79–94] | 85 % [77–92] | 91 % [84–97] | 94 % [89–98] | 93 % [86–98] | 94 % [90–98] | 95 % [92–98] | 79 % [70–87] | 60 % [52–69] | 87 % [83–91] |
| 半音進行 | 89 % [82–94] | 93 % [85–99] | 94 % [85–100] | 67 % [56–75] | 77 % [69–84] | 82 % [74–89] | 88 % [81–93] | 93 % [90–96] | 93 % [89–97] | 98 % [97–100] | 98 % [97–100] | 98 % [97–100] | 93 % [85–99] | 81 % [74–88] | 98 % [97–100] |
| 休符を含むフレーズ | 76 % [69–82] | 89 % [82–95] | 94 % [88–99] | 46 % [40–52] | 51 % [43–59] | 57 % [49–65] | 67 % [61–73] | 73 % [64–80] | 73 % [64–81] | 95 % [91–99] | 93 % [89–97] | 96 % [92–99] | 92 % [87–96] | 75 % [70–79] | 92 % [87–96] |