PHYSICAL AI / やまびこ1号 — 最新の計画と結果(この計画に関係する内容だけ)

未知の機体に着いたら、まず機体を知り、
同じ曲を繰り返して上手くなる。

実機のモーターと笛は、最初にフィッティングした後はほぼ変わらない。ただし最初の1台がどんなものかは分からない。そこで「短い較正動作で機体を知る → その機体のデジタルツインを作る → 機体に合わせた制御で演奏する → 同じ曲を繰り返して上手くなる」を開発の筋にする。どの段階もエンコーダなしの決定論的モジュールと同じ条件で比べる。

1. 計画

F1 較正動作
原点合わせの後、バルブを開けて決まったPWM列を約8秒流し、聴こえた音程を記録する(実機で実行できる)。
F2 デジタルツイン
記録にシミュレーターの機体の値を当てはめ、その機体専用のシミュレーターを作る(PC)。
F3 機体に合わせた制御
決定論(音程で位置を直すオブザーバー+PD)がツインの値で動く骨格になり、NNが狙う位置とPWMに上限つきの補正を足す。全体を1つの計算グラフとして学習する。
F4 繰り返しで上達
曲の記憶で、同じ曲を繰り返すほど上手くなる(デモの見せ場)。
F5 評価
固定ベンチマークで命中率と95 %区間を比べる。
デジタルツイン(ツイン)とは:実際の1台の機体をまねた、その機体専用のシミュレーター。実機に約7秒の決まった動き(小さく動かす、全力で往復する、端から端までゆっくり動かす)をさせ、送った指令と聴こえた音程だけを記録し、シミュレーターのモーターの速さ・力・摩擦・不感帯、笛の管の長さ、音が聴こえるまでの遅れを「同じ指令なら同じ音程が聴こえる」ように合わせて作る。決定論の制御は標準値の代わりにツインの値を使い、NNは実機の代わりにツインの中で練習してその機体向けに仕上げる。
決定論+ツイン+NN補正とは:決定論の制御は音を伸ばしている間の位置の保持が正確(1 cent以内)だが曲を覚えられない。NNは同じ曲を繰り返して先回りを覚えるが保持が甘い。そこで決定論を骨格にし、NNは「狙う位置」と「PWM」に上限つきの補正だけを足す。補正は0から学習を始めるので、学習前は決定論+ツインと完全に同じ動きになり、そこから上だけを学ぶ。曲の記憶(時刻つき)を持つので、同じ曲を繰り返すと上達する。

合格基準と現状

段階基準(暫定・実機計測後に見直す)判定現状
G1 フィッティング約10秒の較正で、較正の記録の聴こえを10 cent以内で再現する達成較正 8.4 秒、再現誤差 中央値 2.9 cent(参考:保留した曲を指令だけで丸ごと予測 19.2 cent)
G2 決定論+ツインフィッティングなしより有意に高く、理想の当てはめから5ポイント以内一部達成ツイン 80 %/なし 77 %/理想 83 %
G3 NN+ツインツインで仕上げたNNが決定論+ツインから3ポイント以内(1回目)、3回目で決定論以上達成決定論+ツイン+NN補正 1回目 92 % → 3回目 93 %/決定論+ツイン 80 %
G4 デモ参照10曲で、3回以内の繰り返しで命中率85 %以上達成現在の最良 93 %

命中率=各音が鳴り始めから0.3秒以内に±25 centへ入った割合。平均誤差ではなくこれで判断し、95 %区間が重ならない差だけを改善と呼ぶ。

2. シミュレーター

要素模擬しているもの
笛閉管 f = c/4(L−x)。変位に線形なのは周期で、音程は対数。原点は最低音より200 cent低く、どの機体でも全音域を出せる。管長±10 mm、温度±8 ℃、吹圧±10 cent。
モータートルクの立ち上がり、慣性、クーロン・粘性摩擦、最高速度、両端のストッパー、PWMの不感帯(0.20前後)。速度とトルクは実機未計測のため0.4〜2.5倍の幅で乱数化。
聴こえ1±1ステップ(10 ms単位)の遅れ、3 centの音程ノイズ、2 %の欠落。
ブラックボックスの決まり実機と同じく、送れるのはPWMとバルブ、受け取れるのは聴こえた音程だけ。機体の真の値や勾配は学習にも制御にも使わず、採点と原因分析にだけ使う。

ベンチマーク:未知の機体 32 台(乱数固定)、参照10曲(0.5倍速、正解の楽譜)と乱数曲。実機では未検証。

3. 操作できるシミュレーション

目標   選んだ方式

選んだ機体での演奏をブラックボックスのシミュレーターで記録したもの。音はブラウザで合成した診断音。命中率はこの曲を32台で演奏した平均。

4. 結果

F1〜F2 フィッティングの精度

較正動作の長さ
8.4 秒
較正記録への当てはまり(中央値)
2.9 cent
保留した曲の聴こえ予測(中央値)
19.2 cent
最高速度の推定誤差(中央値)
0 %
トルクの推定誤差(中央値)
19 %
不感帯の推定誤差(中央値)
0.002
管長ずれの推定誤差(中央値)
0.1 mm
聴こえの遅れの正解率
72 %

聴こえの誤差は実機でも測れる。「保留した曲の予測」は、音を聴かずに指令だけで1曲(約5秒)を予測したもので、小さなずれが積み重なるため大きく外れる機体がある。実際の制御は聴いた音程で位置を直しながら動くので、この値よりツインを使った制御の成績(G2)を重視する。推定誤差(真の値との比較)はシミュレーターでだけ分かる参考値。

制御方式の比較:参照10曲

方式命中率合っている割合届くまで(中央値)
決定論(フィッティングなし)77 % [75–80]59 % [57–61]189 ms
決定論+ツイン80 % [77–83]62 % [60–64]201 ms
決定論+真の値(理想の当てはめ)83 % [80–86]64 % [62–66]184 ms
NN 1回目58 % [55–61]47 % [45–49]236 ms
NN 2回目71 % [68–73]48 % [46–49]206 ms
NN 3回目75 % [72–78]47 % [46–49]183 ms
NN+ツイン 1回目73 % [70–77]51 % [49–52]193 ms
NN+ツイン 2回目82 % [79–85]54 % [53–56]159 ms
NN+ツイン 3回目82 % [80–85]53 % [51–54]155 ms
決定論+ツイン+NN補正 1回目92 % [90–94]69 % [67–71]138 ms
決定論+ツイン+NN補正 2回目93 % [91–94]72 % [70–74]113 ms
決定論+ツイン+NN補正 3回目93 % [91–95]73 % [71–75]109 ms
位置センサー付き(参考)82 % [79–84]63 % [61–65]185 ms
聴いて演奏:決定論+ツイン66 % [63–68]51 % [49–53]218 ms
聴いて演奏:骨格+NN補正 2回目90 % [89–92]63 % [61–65]111 ms

お手本を聴いてから演奏(全経路)

参照曲をリコーダーの音として合成し、Neural Ear/Tempo/Timeline記憶が一度聴いて覚えた目標で演奏する。採点は正解の楽譜に対して行うので、聴き取りの誤差も含む(聴いて覚えた目標自体が±25 cent以内だった割合 86 % [79–92])。

方式命中率合っている割合
決定論+ツイン66 % [63–68]51 % [49–53]
決定論+ツイン+NN補正 1回目81 % [79–84]58 % [55–60]
同 2回目90 % [89–92]63 % [61–65]
同 3回目88 % [86–90]61 % [59–63]

制御方式の比較:乱数曲

方式命中率合っている割合届くまで(中央値)
決定論(フィッティングなし)71 % [67–75]67 % [64–70]144 ms
決定論+ツイン79 % [75–83]73 % [70–76]109 ms
決定論+真の値(理想の当てはめ)80 % [77–84]73 % [70–76]104 ms
NN 1回目53 % [49–58]53 % [49–57]220 ms
NN 2回目61 % [56–67]56 % [52–61]193 ms
NN 3回目64 % [59–70]57 % [53–61]180 ms
NN+ツイン 1回目78 % [73–82]70 % [66–73]124 ms
NN+ツイン 2回目88 % [85–91]74 % [71–77]87 ms
NN+ツイン 3回目89 % [86–92]75 % [72–78]70 ms
決定論+ツイン+NN補正 1回目86 % [82–90]75 % [72–79]95 ms
決定論+ツイン+NN補正 2回目89 % [85–92]78 % [75–81]70 ms
決定論+ツイン+NN補正 3回目89 % [85–92]78 % [75–81]70 ms
位置センサー付き(参考)82 % [78–85]74 % [70–77]100 ms

前回からの変化

第2回の変更:較正動作の全力往復を1秒に延長(約9秒)、ツインの当てはめを300回に、NNの仕上げの練習曲の半分を休符・同音連打の多い曲に。

回参照曲:決定論+ツイン参照曲:NN+ツイン 1回目参照曲:NN+ツイン 3回目参照曲:位置センサー付き(参考)乱数曲:決定論+ツイン乱数曲:NN+ツイン 1回目乱数曲:NN+ツイン 3回目乱数曲:位置センサー付き(参考)
第1回80 % [77–83]74 % [71–77]83 % [80–85]82 % [79–84]77 % [73–81]79 % [75–83]90 % [87–93]82 % [78–85]
今回80 % [77–83]73 % [70–77]82 % [80–85]82 % [79–84]79 % [75–83]78 % [73–82]89 % [86–92]82 % [78–85]

曲ごとの命中率

曲決定論(フィッティングなし)決定論+ツイン決定論+真の値(理想の当てはめ)NN 1回目NN 2回目NN 3回目NN+ツイン 1回目NN+ツイン 2回目NN+ツイン 3回目決定論+ツイン+NN補正 1回目決定論+ツイン+NN補正 2回目決定論+ツイン+NN補正 3回目位置センサー付き(参考)聴いて演奏:決定論+ツイン聴いて演奏:骨格+NN補正 2回目
4音ステップ70 % [61–78]70 % [60–80]71 % [61–81]56 % [48–65]75 % [66–84]77 % [66–88]75 % [65–84]83 % [70–93]87 % [77–95]91 % [84–98]93 % [87–98]91 % [83–97]72 % [62–80]43 % [33–53]84 % [77–91]
上昇音階94 % [91–96]93 % [85–99]95 % [88–100]70 % [62–78]82 % [73–90]82 % [73–89]92 % [86–97]95 % [92–97]96 % [92–99]99 % [98–100]98 % [97–100]99 % [97–100]93 % [86–99]53 % [45–60]88 % [85–90]
下降音階85 % [81–89]83 % [75–89]82 % [77–87]67 % [58–74]78 % [72–83]81 % [74–86]75 % [67–82]85 % [79–91]85 % [80–89]89 % [85–93]90 % [85–94]91 % [86–94]86 % [83–90]83 % [80–86]89 % [84–94]
ジグザグ旋律65 % [55–76]69 % [60–79]73 % [64–82]62 % [53–71]79 % [70–86]77 % [70–84]73 % [64–83]89 % [80–95]86 % [79–93]88 % [78–96]90 % [81–97]90 % [81–97]68 % [58–77]52 % [45–59]92 % [84–98]
同音連打と休符87 % [81–91]88 % [79–95]95 % [91–98]55 % [45–63]66 % [58–74]70 % [60–77]56 % [45–66]62 % [50–73]55 % [43–66]90 % [82–96]93 % [87–98]91 % [84–97]95 % [92–98]88 % [80–94]94 % [89–98]
大跳躍50 % [39–62]48 % [37–60]54 % [44–66]26 % [16–37]49 % [37–60]62 % [51–73]43 % [32–54]64 % [51–76]69 % [57–79]78 % [67–89]81 % [70–90]82 % [72–91]54 % [44–66]59 % [51–68]85 % [76–93]
長短リズム80 % [72–87]88 % [81–95]88 % [81–94]63 % [54–71]70 % [62–78]75 % [68–82]80 % [73–86]86 % [79–91]87 % [81–92]96 % [91–99]96 % [92–99]97 % [93–100]84 % [76–92]64 % [56–73]96 % [92–99]
分散和音78 % [68–87]78 % [68–86]84 % [77–92]69 % [60–77]78 % [70–85]87 % [79–94]85 % [77–92]91 % [84–97]94 % [89–98]93 % [86–98]94 % [90–98]95 % [92–98]79 % [70–87]60 % [52–69]87 % [83–91]
半音進行89 % [82–94]93 % [85–99]94 % [85–100]67 % [56–75]77 % [69–84]82 % [74–89]88 % [81–93]93 % [90–96]93 % [89–97]98 % [97–100]98 % [97–100]98 % [97–100]93 % [85–99]81 % [74–88]98 % [97–100]
休符を含むフレーズ76 % [69–82]89 % [82–95]94 % [88–99]46 % [40–52]51 % [43–59]57 % [49–65]67 % [61–73]73 % [64–80]73 % [64–81]95 % [91–99]93 % [89–97]96 % [92–99]92 % [87–96]75 % [70–79]92 % [87–96]

5. 関連

計画書(Markdown) / これまでの試行の記録(経緯を含む詳細レポート)