長期音楽文脈・コード理解・
アドリブ演奏 拡張計画
8小節以上を理解し、和声とフレーズを保った新しい応答を、笛の身体制約に合わせて生成する。再現Headを残したままImprovisation Headを追加する。
全体構造
reference waveform
├→ Raw Waveform Encoder ───────────┐
└→ Multi-resolution STFT Encoder ──┤→ Audio Fusion
→ Tempo/Beat
→ Beat-synchronous tokenizer
→ Long-context Musical Transformer
┌───────────┴───────────┐
Imitation Head Improvisation Head
└───────────┬───────────┘
Playability NN
→ physical controller
STFTは時間×周波数の画像
コードは複数周波数の同時関係なので周波数表現が有利である。単一FFTでは時間を失うため、約32 ms、128 ms、256 ms以上の複数窓長STFTを使い、onset、メロディ・倍音、低音・コードを分担させる。STFTは微分可能な入力表現であり、コードを決める規則はNNが学ぶ。
拍同期トークン
スペクトログラム全画素の未来を直接描くのではなく、拍セルへ圧縮する。4/4拍子・16分音符単位なら8小節は約128セルとなる。
旋律・リズム
連続cent、pitch slope、voiced/rest、onset/sustain/release/offset、音価、拍内位置。
和声・構造
bass/root候補、コード候補分布、自由なharmony latent、小節・フレーズ境界、style latent。
音程を十二平均律へ強制量子化せず、グリッサンド、ビブラート、微分音を連続量として残す。
長期学習
- 1小節のmasked reconstruction
- 2小節の反復・変奏理解
- 4小節の問いと答え
- 8小節のコード進行とフレーズ
- 16小節以上のセクション構造
次セル予測だけでなく、隠した小節の復元、過去4小節から次4小節の予測、移調・音色・BPM変更への対照学習を併用する。
コード理解の曖昧性
単旋律からコードは一意に決まらないため、コード名を一点推定しない。候補分布、root/bass、変化位置、自由な和声latent、confidenceを保持する。BPMの半分・2倍問題も複数仮説として扱い、onset、小節境界、コード変化との整合で選択する。
生成モード
| モード | 目的 |
|---|---|
| continuation | お手本の自然な続きを生成 |
| variation | 元フレーズを保った変奏 |
| call_and_response | お手本への応答 |
| solo | コード進行上の自由アドリブ |
| constrained | 指定音域・密度・難易度内で生成 |
出力は連続音程分布、発音・休符、onset/offset、音価、音程傾斜、フレーズ終了、和声適合度、演奏可能性とする。
Playability NN
候補旋律とrig embeddingから、音域、移動時間、必要PWM、発音余裕、オーバーブロー、端当たり、必要休符を予測する。最初はrerankerとして使用し、後に生成器へplayability損失を逆伝播する。手書き制約版はhybrid比較として残す。
段階Gate
| Gate | 検証 |
|---|---|
| A1 Spectral | 複数音・倍音の保持、音色外汎化 |
| A2 Beat Tokenizer | BPM、phase、境界、休符 |
| A3 Long Memory | raw破棄後の8小節復元 |
| A4 Harmony | key、chord候補、変化時刻 |
| A5 Continuation | held-out future、コピー率 |
| A6 Improvisation | novelty、和声適合、フレーズ性 |
| A7 Playability | 到達率、危険率、予測誤差 |
| A8 Physical Improv | 理想生成対物理演奏、反復改善 |
公開する音
- 原音とSTFT/トークン再構成音
- 記憶だけから復元した8小節
- 推定和声の診断用伴奏
- 正解未来と予測未来
- 理想アドリブWAV
- 物理シミュレータ演奏WAV
- 複数take後の適応済み演奏
best例ではなく固定ホールドアウトの中央値を基本に、seed、SHA、temperature、使用ブロック構成をmanifestへ保存する。
データと分割
制御可能な合成音楽から始め、音響乱数化、ラベル付き音楽、自己教師学習、実機録音へ進む。曲・作曲者・進行パターン単位でsplitし、同一曲の移調版やテンポ変更版をtrain/testへ跨がせない。
UNO Q
長期理解はPC教師モデルから始める。音響encoderはお手本聴取時に実行し、演奏中は圧縮済み音楽メモリと小型controllerを100 Hzで実行するマルチレート構成も比較する。成立後に蒸留・量子化を行う。
完了条件
- 8小節入力後、音声なしで拍・音程・休符・和声を保持
- 未知曲・音色・移調・テンポ変更で長期Gate通過
- 単純コピーでないアドリブ生成
- 理想WAVと物理演奏WAVの両方を公開
- 再現Headを壊さずImprovisation Headを追加
- 全learned、個別接続、hybridを比較