# 開発計画: 未知の機体のフィッティング → デジタルツイン → 機体向けの仕上げ

更新日: 2026-09-23

## 背景（監査の結論）

- これまでの改善が小さかった主因は、NNの学習法ではなく「機体が分からないまま、推測で広げた機体の幅（モーター0.4〜2.5倍）に対して最適化していた」こと。
- 同じ評価で、機体が既知なら決定論でも命中率92 %（位置センサー付き93 %）。機体差±35 %では77 %、0.4〜2.5倍では74 %。
- 実機の笛とモーターは、最初にフィッティングした後はほぼ変わらない。ただし最初の1台がどんなものかは分からない。
- したがって「未知の機体に着いてから短時間で機体を知る（フィッティング）」を最初の工程にし、その後は機体に合わせた制御で演奏し、演奏中の適応は「同じ曲を繰り返して上手くなる」を主役にする。

## 目標と合格基準（暫定、実機計測後に見直す）

評価は固定したベンチマークで行う：シミュレーター版を固定し、未知の機体（ブラックボックス、モーター0.4〜2.5倍・笛の個体差・聴こえの遅れを乱数化）を固定乱数で32台、曲は参照10曲（0.5倍速）と乱数曲。指標は命中率（各音が鳴り始めから0.3 s以内に±25 centへ入った割合）と95 %区間。

| 段階 | 合格基準 |
|---|---|
| G1 フィッティング | 機体上の所要時間10秒以内の較正動作で、較正の記録の聴こえを10 cent以内で再現する（保留した曲を指令だけで丸ごと予測する誤差は参考値。聴いて直しながら動く実際の制御ではずれが積み重ならないため、G2を重視する） |
| G2 決定論＋ツイン | 未知の機体で命中率がフィッティングなしより有意に高く、既知の機体の値（92 %）に5ポイント以内 |
| G3 NN＋ツイン | ツインで仕上げたNNが、同じ機体で決定論＋ツインから3ポイント以内（1回目）、同じ曲の3回目で決定論以上 |
| G4 デモ | 参照10曲で、3回以内の繰り返しで命中率85 %以上 |

## 工程

### F1 較正動作（学習モード、実機で実行できるもの）

原点合わせの後、バルブを開けたまま決まったPWM列を流し、聴こえた音程と指令だけを記録する（約8秒）。

1. 不感帯の階段：小さいPWMを段階的に上げ、動き出す値を見る
2. 速さ：全力で出る・戻る
3. 中速の往復
4. ゆっくりした掃引：笛の「位置と音程」の関係をなぞる

### F2 デジタルツインの当てはめ（PC）

シミュレーター（微分可能）を形として使い、較正の記録に機体のパラメーター（トルク、立ち上がり、摩擦、最高速度、不感帯、管長、温度、吹圧、聴こえの遅れ）を当てはめる。聴こえの遅れは整数なので候補ごとに当てはめて最良を選ぶ。位置は原点合わせで0と分かっているので、記録の先頭から前向きに計算すればよい（当てはめる区間は短い所から伸ばす）。

検証：保留した曲の演奏記録で聴こえの予測誤差（実機でも測れる）、シミュレーター上ではパラメーターの回復誤差も見る。

### F3 機体に合わせた制御

- 決定論：内部モデルと笛の係数をツインの値にする（推測の標準値ではなく）。
- NN：v4を初期値に、ツインの周り（±10〜15 %）だけで学習し直す（シミュレーターの勾配はツインの中で使う。実機の勾配は使わない）。
- 採用（2026-09-24）：決定論＋ツインを骨格にし、NNが狙う位置とPWMに上限つきの補正を足す構造（`residual_performer.py`）。補正を0から学習するので学習前は決定論＋ツインと一致し、そこから上だけを学ぶ。参照10曲で1回目92 %、3回目93 %（決定論＋ツイン80 %、NN＋ツイン82 %）。

### F4 演奏中の適応

- 曲の記憶による「同じ曲を繰り返して上手くなる」をデモの主役にする。
- 実機とツインのずれが残る場合だけ、既存の実機想定ループ（記録→world model→微調整、最良の重みを保持）で補う。

### F5 評価とレポート

固定ベンチマークで G1〜G4 を判定し、GitHub Pagesに載せる。1回に1つだけ変更し、区間が重ならない差だけを改善と呼ぶ。

## 進め方の決まり

- シミュレーターの版・機体・曲・乱数を固定したベンチマークでだけ比較する。
- 実機で手に入らない情報（シミュレーターの内部状態、機体の真の値）は、採点と原因分析にだけ使う。
- 実機が届いたら、F1〜F2を最初に実行し、ベンチマークの機体の幅を実測値の周りに狭める。

## 自分の音の聴き取り（2026-09-24 の決定）

合成した自分の音（息の雑音つき）を NN の耳（お手本用の Neural Ear）で聴いたときの音程誤差は、雑音なしで中央値 14.6 cent、ファン騒音 10 dB で 40 cent 以上（±25 cent 以内は 52 %）。実機のマイクで測った YIN の 0.1〜0.6 cent より 1 桁以上悪い。

- **お手本を聴くのは NN の耳**（音色の様々なお手本を聴き取る）。
- **自分の音を聴くのは YIN**（`hw.py` が使っている 20 ms 窓の音程推定。シミュレーターの聴こえのモデルと一致）。
- 「同じ耳で両方を聴く」という説明は取り下げる。NN の耳を自分の音にも使うなら、笛の音とファンの騒音で学習し直す必要があり、優先度は低い。

## UNO Q のアクセラレーター（2026-09-24 の確認）

QRB2210 には Adreno 702 GPU と Hexagon DSP があるが、2026 年 6 月時点で Debian 側に QNN／TFLite delegate のライブラリがなく、純正 OpenCL ドライバーもないため、AI 推論は実質 CPU のみ。演奏の制御は 1 ステップの計算が小さく（PC で 0.34 ms）、アクセラレーターへ送る往復の方が長いので CPU で行う。お手本を聴く処理は演奏前に 1 回なので CPU（ONNX Runtime）で足りる。
