Ripples : curve-editing environment prototype

はじめに

位置づけと経緯

2008年1月ごろ構想. 4月にMVFXとして着手も中断．しかしVocaListener(ぼかりす)に刺激され，5月より，音楽音響信号を読み込んでピッチカーブ，音量カーブなどを取り出すimport機能， およびそれをtextやSMFで書き出すexport機能を題材に，スケッチを試みている段階です．今後もツールとしてお使いいただき，ご要望を参考に改良していければと思います．

並行して，今後，コード整理ないし書き直しを行い，当初構想である汎用のフレームワークにシフトしてゆければと思っています．importer, processor, exporterの形で簡単に機能を追加できる形が夢です． とはいえ，なにぶん，一個人がわずかな暇を見つけて遊んでいるだけのコードですので進展はゆっくりです．お許しください．

お力添えを下さっている方々

• Active Tclのsnack同梱有無について，初音ミクみく様よりご指摘をいただきました．
• 音響信号からの波形抽出，SMF生成にあたり，cn_hibari様の先駆的なレポートを参考にしています．http://www.geocities.jp/cn_hibari/vsq/
• MIDIのExpressionのcontrol changeについて 「逃亡者」様から助言をいただきました．
• Tclスクリプトについて，子猫P様からパッチの形でバグフィクス，機能拡張をいただきました．
• Ripples構想はzhuoが冬頃から暖めてきたものですが，子猫P様はじめ VOCALOID SNS ぼーかろいどにゃっぽんでの皆様との議論を通じて，いっそう具体化したものです．

Disclaimer

最新版の説明

動作環境

Windows XP SP2 で動作確認しています．

ActiveTcl 8.4 系． (最新である8.5系の一つ前の系列)

free版をインストールしておいてください．「各種ツールのメモがき」にて言及してます．

ヘルパー t2mf.exe.

実験の参考として同梱しましたが，インストールしておいてください．これも詳しくは「各種ツールのメモがき」にて．

• Tcl/Tkスクリプトなので，MacでもLinuxでも動くかもしれません．
• SMF書き出しだけは，いまのところヘルパー t2mf.exeを使ってるのでWindows onlyですが，これも Mac/Linux版t2mfがあれば動く可能性があります．
• 音の処理にはKTHのsnackをTclバインディング経由で使っています．Active Tclの8.4系のfree版にはsnackが同梱されていますので，KTHからもらってきてインストールするといった作業は必要ありません．Active Tclの8.5系はまだ新しく，snackが同梱されていませんので，別途，自力でインストールする必要があります(ご指摘くださった初音ミクみく様ありがとうございます)．

実験

準備と起動

1. 2-5秒ぐらい「あ〜あ〜」と歌ったwav波形を用意しておいてください．
2. 最新のzipファイルをもっていって展開してください．
3. mvfx_0_xx.tcl を起動します．

ツアー

1. menu ファイル -> サウンドファイルを開く -> でwav波形ファイル選択します．
   • 波形が表示されます．
2. ToolBarで BPMを設定します．
3. 波形の上で右クリックメニュー->オートマティック　を選びます．
   • スペクトログラム，ピッチなどの分析が一括して行なわれます．
4. 波形の上で右クリックメニュー->SMF保存　を選びます．
   • ダイアログでファイル名を指定して保存できます．
5. menu ファイル -> 終了　を選んで終わってください．

機能詳細

■メイン画面

• menu ファイル -> サウンドファイルを開く -> でwav波形ファイル選択します．
  • 波形が表示されます．
• Ctrl-左ドラッグで，表示全体をドラッグできます(Adobe Readerの手のひらマークみたいな動き) (Rev.0.12-)
  • (ドラッグしっぱなしになったら，とりあえずもう一度Ctrl-左クリックしてみてください_o_)
• 波形の上で左ホールド でそこから再生，リリースで停止．
• 波形の上で右クリックするとメニューが出ます．そこで：
  • 「すべて再生」で全体を聴く (停止は，波形の上で左クリック)．
  • 「オートマチック」で，SMF保存に必要な処理すべてを一気に実行．これをやって「SMF保存」すればとりあえずSMFを作れます．
  • 「スペクトログラムを表示」で，スペクトログラムが出る．
  • 「ピッチを表示」するとピッチカーブが出る．(Rev.0.13からフォルマント表示の都合で一時的にスケールがせまくなりみえにくくなってます，そのうち直します)
  • 「フォルマント表示」するとフォルマントが出る(0.13-)
  • 「ラウドネス」とすると音量カーブが出る．
  • 「スペクトルスコープを開く」とすると，別に，スペクトル表示窓が開きます(後述).
  • 「テキスト保存」すると，周波数と音量(dB)をテキストでファイルに書き出します．書式は次のとおりです：
    • <time(milli-sec)> tab <frequency(Hz) > tab <loudness (dB, 0-96)>
  • 「SMF保存」で，pitchbendとexpression でカーブを書きだします．
    • 漢字まじりやスペースまじりのディレクトリ/ファイル名の場合にうまく保存できないことがあるようです，レポートいただければ幸いです．
• メニュー「ファイル」->「終了」,または右上のX(バツ)で終わってください．

■ToolBar

• BPM: SMF保存の際，BPMが設定できます．リセットすると120に戻ります．(波形にBPMに応じたグリッドが出るとうれしいようであれば，実装してみます)

■スペクトルスコープ

• 開いた状態でメイン画面でマウスカーソルを動かすと，その時刻でのスペクトルを表示します．
• スコープ下部のbuttonで，FFTと，LPCを，独立してon/offできます．(0.15ではパラメータは決めうちになってます_o_)
• メイン画面で，スペクトログラムを開いたときには，その中で左クリックすると，スペクトルのスナップショットがとれます．
  • スナップショットはスコープ右のリストの一番上に入ります．
  • スナップショットははじめ不透明なので，最後にとったもの(リスト一番上) だけが見えます．
• リストのアイテムを左ドラッグで上下すると順序を変えられます．下の方のスナップショットを見たい場合はドラッグして一番上にもっていってください．
• リストの各アイテムは左クリックで選択/非選択を反転できます．
• 選択したアイテムについて，リスト右クリックメニューで，次のことができます．
  • 透明化---背景を透明にします(1アイテムあたり数秒かかります)．これによりリストの下方のスナップショットも透けて見える(線が複数見える)ことになります．
  • 削除---選択したアイテムを削除します．

2008.06.05 AM

スペクトル表示スコープ追加，また0.13に対して子猫Pさんからいただいたパッチを統合しました．パッチありがとうございました！

• download: MVFX_0_15.zip
• download: MVFX_0_15a.zip --- 2008.06.07 readmeまわりを書き直しました．スクリプトは同じです．
• 変更点：
  • メニューが日本語になりました．
  • SMF保存時のBPMを ToolBarで設定できるようになりました．
  • OSの機能をもちいて窓を閉じるとプロセスが残る，という問題を解消しました．
  • SMF保存の際　t2mfが失敗することがあったのに対処しました(が，t2mfの 制約が原因で失敗する可能性がまだあります，レポートお待ちします_o_)
  • スペクトルスコープをつけました．
• TODO:
  • 音節設定したい
  • カーブを編集したい (カーブどうしの演算. および粘土的な感覚の手編集)
  • 左窓をデータフロー風にしていく (機能ブロックを貼って結線する)
  • コードリファクタ--- itcl化?
  • 外部コマンド呼び出し機能

----------------------------------------------------------------------
Rev. 0.13 May 20, 2008
- formant display added. F1 ... F4.  band-width not shown.

----------------------------------------------------------------------
Rev. 0.12 May 18, 2008
- pitch: all pitch-related values shown
- shuttle move --- so far grasping move is implemented;
                   Try Ctrl + left-button + drag 
- ripples --- a bit better graphics management
- cursor: cursor location shown in sec

----------------------------------------------------------------------
Rev. 0.11 May 13, 2008
- loudness : windowsize is now wider, to apply smoothing.
- pitch: window size is wider, for smoothing.
-        Also, 0.7 * (new input) + 0.3 * (prev output)
         (naiive low-pass) is inserted.

---------------------------------------------------------------------
Rev. 0.10 May 11, 2008
- When saving SMF, CC#8 was used by mistake; Now CC#11 is used, correctly. 
  scaling for expression adjusted by try-and-error.

----------------------------------------------------------------------
Rev. 0.09 May 10, 2008

- now it can playback the audio starting from any location:
    left press in waveform - hold - release

----------------------------------------------------------------------
Rev. 0.08 May 9, 2008

- text dump introduced
- loudness scaling now applied in SMF-dump only
  In other cases (for text dump, graphic display) raw dB data
  is used. 
- vertical cursor introduced for visibility


----------------------------------------------------------------------
Rev. 0.07 May 6, 2008

- can load a wave file
- can show waveform
- can show spectrogram
- can show pitch-curve
- can show loudness
- can generate SMF with expression / pitchbend events

* spectrogram at high resolution (4096) crashes on a long music track
  probably due to the memory shortage: 2048 worked, for lower resolution :-(

findings:
! need audition functionality!

! do want to segment and annotate the notes, to generate VSQ directly
  well it is a long story though
 
----------------------------------------------------------------------
Rev. 0.06 May 5, 2008

- can load a wave file
- can show waveform
- can show spectrogram
- can show pitch-curve
- can show loudness (buggy, )

----------------------------------------------------------------------
Rev. 0.01 Apr. 6, 2008

- framework only