← 学習レポート

長期音楽文脈・コード理解・
アドリブ演奏 拡張計画

8小節以上を理解し、和声とフレーズを保った新しい応答を、笛の身体制約に合わせて生成する。再現Headを残したままImprovisation Headを追加する。

全体構造

reference waveform
 ├→ Raw Waveform Encoder ───────────┐
 └→ Multi-resolution STFT Encoder ──┤→ Audio Fusion
                                     → Tempo/Beat
                                     → Beat-synchronous tokenizer
                                     → Long-context Musical Transformer
                         ┌───────────┴───────────┐
                    Imitation Head       Improvisation Head
                         └───────────┬───────────┘
                               Playability NN
                                     → physical controller

STFTは時間×周波数の画像

コードは複数周波数の同時関係なので周波数表現が有利である。単一FFTでは時間を失うため、約32 ms、128 ms、256 ms以上の複数窓長STFTを使い、onset、メロディ・倍音、低音・コードを分担させる。STFTは微分可能な入力表現であり、コードを決める規則はNNが学ぶ。

拍同期トークン

スペクトログラム全画素の未来を直接描くのではなく、拍セルへ圧縮する。4/4拍子・16分音符単位なら8小節は約128セルとなる。

旋律・リズム

連続cent、pitch slope、voiced/rest、onset/sustain/release/offset、音価、拍内位置。

和声・構造

bass/root候補、コード候補分布、自由なharmony latent、小節・フレーズ境界、style latent。

音程を十二平均律へ強制量子化せず、グリッサンド、ビブラート、微分音を連続量として残す。

長期学習

  1. 1小節のmasked reconstruction
  2. 2小節の反復・変奏理解
  3. 4小節の問いと答え
  4. 8小節のコード進行とフレーズ
  5. 16小節以上のセクション構造

次セル予測だけでなく、隠した小節の復元、過去4小節から次4小節の予測、移調・音色・BPM変更への対照学習を併用する。

コード理解の曖昧性

単旋律からコードは一意に決まらないため、コード名を一点推定しない。候補分布、root/bass、変化位置、自由な和声latent、confidenceを保持する。BPMの半分・2倍問題も複数仮説として扱い、onset、小節境界、コード変化との整合で選択する。

生成モード

モード目的
continuationお手本の自然な続きを生成
variation元フレーズを保った変奏
call_and_responseお手本への応答
soloコード進行上の自由アドリブ
constrained指定音域・密度・難易度内で生成

出力は連続音程分布、発音・休符、onset/offset、音価、音程傾斜、フレーズ終了、和声適合度、演奏可能性とする。

Playability NN

候補旋律とrig embeddingから、音域、移動時間、必要PWM、発音余裕、オーバーブロー、端当たり、必要休符を予測する。最初はrerankerとして使用し、後に生成器へplayability損失を逆伝播する。手書き制約版はhybrid比較として残す。

段階Gate

Gate検証
A1 Spectral複数音・倍音の保持、音色外汎化
A2 Beat TokenizerBPM、phase、境界、休符
A3 Long Memoryraw破棄後の8小節復元
A4 Harmonykey、chord候補、変化時刻
A5 Continuationheld-out future、コピー率
A6 Improvisationnovelty、和声適合、フレーズ性
A7 Playability到達率、危険率、予測誤差
A8 Physical Improv理想生成対物理演奏、反復改善

公開する音

best例ではなく固定ホールドアウトの中央値を基本に、seed、SHA、temperature、使用ブロック構成をmanifestへ保存する。

データと分割

制御可能な合成音楽から始め、音響乱数化、ラベル付き音楽、自己教師学習、実機録音へ進む。曲・作曲者・進行パターン単位でsplitし、同一曲の移調版やテンポ変更版をtrain/testへ跨がせない。

UNO Q

長期理解はPC教師モデルから始める。音響encoderはお手本聴取時に実行し、演奏中は圧縮済み音楽メモリと小型controllerを100 Hzで実行するマルチレート構成も比較する。成立後に蒸留・量子化を行う。

完了条件

完全な原文: improvisation-extension-plan.md