PROJECT TOP|ZHUOWARE BACKYARD TOP|ZHUOWARE表ページ

ぼかりすを推理する

http://geocities.yahoo.co.jp/gl/zhuoware

zhuo

2008年5月27日

はじめに

2008年04月28日 17:43:27にニコニコ動画に投稿された「【初音ミク】 PROLOGUE 【ぼかりす】」.人間さながらの初音ミクの歌いっぷりにネットは騒然．1,2日のうちに「これは5月28日に学会発表されるVocaListenerではないか」とのうわさが流れはじめ，5月2日には実際に研究をされた中野・後藤両氏によってその通りであることが明かされました(http://staff.aist.go.jp/m.goto/VocaListener/index-j.html)．

私zhuoは，これがどんな技術なのかとても興味深く思って，ネットでこの分野に詳しい方の意見をみたり，自分でプログラムを書いて実験したりして，この1ヶ月間，推理を楽しんできました．いよいよ，VocaListenerの学会発表の直前となりましたので，ここに，推理のまとめを公表いたします．

推理の要約

ユーザの無伴奏歌唱から，Vocaloid2の歌唱合成シーケンスを生成するシステムだろう．
システムは，歌唱の音響信号をとらえる．
システムは，音響信号を分析して，発音内容と発音時刻，ピッチ変化・音量変化を抽出する．さらに短時間スペクトルの特徴量(包絡，フォルマント，LPC係数，MFCCなどの類)も抽出するだろう．
システムは，発音時刻と発音内容とからnoteを生成する．子音の長さを調べてVelocityを調節するかもしれない．
システムは，ピッチ変化をパラメータPITに変換する．また音量変化をパラメータDYNに変換する．
システムは，入力歌唱の短時間スペクトルの特徴量と，歌唱合成結果についての同じ特徴量とが，できるだけ近くなるように，歌声合成パラメータを合わせこむ[ここがVocaListenerのキモなんだろうと思う]．
システムは，生成した歌唱合成シーケンスをVocaloid2の形式で出力する．
上記で，特徴量から，パラメータへの変換方法は，何通りかありそう．
- 換算式を人間が与える(PITとかはこれでよさそう)
- あらかじめ，何段階かのパラメータで合成した歌唱音声から特徴量を抽出して，パラメータ→予想される特徴量の対応表を用意しておき，これを逆引きする(音量-DYNはこれか.)
- 上記は一回で答えを決めてしまうが，反復方式もありうる．つまり，パラメータ推定値から上記対応表により(Vocaloidによる実際の波形生成をしないで) 特徴量を予測し，入力歌唱との不一致点を打ち消す方向にパラメータを少しずつ改訂していく．
- 上記は，波形生成をしない反復だったが，いったん，歌唱合成シーケンスで合成した歌唱から特徴分析を行なうようにすると，いっそう，入力歌唱に近くなるよう歌唱合成パラメータを改訂する機能のかもしれない．

さらに，まさかの展開の可能性...

実はリアルタイムで作動する．究極の「ボイスチェンジャー」である!?
実は，伴奏つきの音響信号からでもこれだけ情報を取り出せる!?
実は，ヤマハはからんでいなくて，VSQのフォーマットも音色パラメータの効きも全部両氏が自力でハック(アクセスするプログラムだけでも公開してください…)!?
実は，Vocaloidは一切関係なかった，初音ミクは釣りだった!? ww

各論

ピッチと音量を拾うだけではないだろうか？

学会プログラムによると，学会発表タイトルは「VocaListener: ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案」とある．いろんなパラメータを合わせると考えるのが自然と思う．
ピッチと音量を拾う技術は昔からあるようだし，Vocaloidでも，以前から複数の方が試みているそうだ(後で具体例追加)．私は，Ripplesを用いて，音響信号からピッチと音量を取り出し，SMFを生成してみた(top page参照)．出音は，オリジナルに似てはいるが,VocaListenerはさらにリアルに感じられる．

どうやってパラメータを合わせるのか？

Vocaloid2で，他のパラメータを64固定にして，2.0秒で，ひとつのパラメータを0から127までスイープしてみた．5母音x A2, E3, A3.の15通りがある．
これの波形を，Ripples 0.14改に読み込み，パワースペクトルの形を観察したところ，次のような傾向があった．

bri: 2kHz付近, 5kHz付近, 14kHz以上，の 3つのファクターがみえる．
ope: 2kHz付近の鋭いピークを変化させる．
gen: 全域にわたり包絡が周波数の低い方向にちぢんでいく
dyn: 単純な音量ではない．4-5kHz付近が若干大きくなっていく．
このようにして，パラメータをひとつかえた値と，パワー(dB)スペクトルの形は，調べることができる．
次に，二つのパラメータをかえたときのパワースペクトルが，ひとつかえた形をどう組み合わせれば推測できるかだ．ざっくりいえば，フィルタの直列つなぎと予想する．検討のため，とりあえず，次の2つの図を示す(もっとたくさん見比べて吟味が必要だが).

GEN=0の場合の，BRI=0 とBRI=64のときのパワースペクトル(「ア」，A2音)
GEN=64の場合の，BRI=0 とBRI=64のときのパワースペクトル(「ア」，A2音)

これらから，次のようにすれば，スペクトルが予測できると思われる---要検証である．
- 値が中央(Vocaloid2 Editorでいう64)のときのカーブを基準とする．
- 値=n の時のカーブ要素から，基準のカーブ要素を差し引いたものを作る．これが「基準からの差分」となる(今カーブはdBなので，差は，ゲインの差ということ)．
- Vocaloid2の中では，各パラメータの重畳は，各パラメータの値に呼応する「差分」を足し合わせたもの」として導けるものと仮定する．
では次に，どうやって，「いいパラメータ値」を導き出すのか？である．これはたぶん，「評価関数を最大(最小)化していく反復解法」だろう．パラメータセットは，Vocaloid2 Editorの下にあらわれるカーブ10本セットである．あのカーブ10本を与えるたび，評価関数が「これは39点」などとよさを出すものとし，いい点が出るようパラメータを直していくのだ．
評価関数は次の2つからなる．パラメータセットから予測する「出音のパワー(dB)スペクトル形状」と，「入力歌唱のパワー(dB)スペクトル形状」との，二乗誤差などの項がひとつ．もうひとつは，パラメータの時間変化の滑らかさ評価項だ．
二乗誤差はまあ自明だから書かないが，ポイントとして，パワー(dB)スペクトル形状は大体あえばよい(細かいでこぼこまで一致するはずがない)ので，スムージングして次元を減らしている．
時間なめらかさ拘束項．これは，各カーブが滑らかなほど小さくなる(よい評価)で，\int (d^2P/dt^2) dt のようなものが使える．
以上をまとめると，次のステップを反復して，評価関数が改善しなくなったら終わるようにする,という感じではないか．
1. 今のパラメータセットPnが与えられる.
2. 事前に調べておいたパラメータ->パワースペクトル形状の対応と，複数パラメータの連動の仮定を使って，パラメータの与えるであろうパワースペクトル形状を作り出す．
3. その形状と，入力歌唱とを評価関数で評価する．あらかじめ各パラメータで偏微分しておいて，もっとも急なのぼりを与える方向を見出して，その方向にパラメータを更新する．

んー，書いてみたけど，実証できる詳しさもないし，あまり意味が無いですね…．^^;; それに，この問題は，みるからに性質がよくない感じ．つまり全然違うパラメータセットでも似た出音が得られる可能性がある．山登りのたび全然違う極値点に落ちる危険があります．．．ということで，時間切れ！きちんと定式化して実証できず！