pooneilの脳科学論文コメント

■ 「ニューラルネットワークを用いた歌声シンセサイザーNEUTRINO」使ってみた

音楽作るのが趣味なもんで、ボーカロイド2(初音ミク)が発表された2007年の夏にはデモソングを聴いて衝撃を受けて、発売すぐに購入して自作曲とか作ってた。(たとえばsoundcloudに上げたシューゲ曲とか。)

その後も断続的にはボカロいじってきたのだけど、年に数回くらいの頻度で使わないのでいつまで経っても上達しなかった。ボカロでは「調声」といって、たとえば急激なフォルマント変化でケロケロ音のような人間的でないロボ的な歌い方をするのを直すテクがあるのだけど、そういうのも習得せず、基本midiキーボードで弾いたのをクォンタイズしただけ、みたいな使い方をしてた。

そしたら今回「ニューラルネットワークを用いた歌声シンセサイザーNEUTRINO」というのが発表された。(ネットの反応はこちら：togetter) 無料でダウンロードできる。製作者のブログからデモソングが聴けるのだけど、これがすごい人間らしく歌ってる。そういうわけで即ダウンロードして試してみた。

ダウンロードするとサンプルの楽譜ファイル(たとえばsample1.musicxml)が入っているので、製作者のブログに書いてあるとおりRun.batを実行すると1-2分かけて音声ファイル(たとえばsample1.wav)が生成される。

じゃあまずいちばん簡単なところで「カエルの歌」から入力してみるかと、MuseScore (こちらも無料ソフト)をダウンロードして、チュートリアルの動画を見てやり方学んで、楽譜入力して、非圧縮MusicXMLファイル形式(kaeru.musicxml)で保存する。これをNEUTRINO > score > musicxml > のフォルダに放り込んで、Run.batをエディタで開いてBASENAME=sample1を新しい楽譜のファイル名BASENAME=kaeruにリネームする。ほかは一切いじらない。これでRun.batを実行したら、問題なくwavファイルができた。

ではさっそく曲を作ってみようと、Ableton Live (Lite 10)でシンプルなバックトラックを2小節分作る(Am-Bmのくりかえし)。それからバックトラックをループさせて、Dドリアンのスケールでメロディーを12小節分ラップトップのキーボードで入力した。メロディーだけmidiクリップとして書き出す(図の"8 Philly Lead"というやつ)。

こうしてできたdorian.midをMuseScoreで開いて歌詞を入力する。

これを非圧縮MusicXMLファイル形式(dorian6.musicxml)で保存して、おなじくRun.batを実行するとwavファイルができる。

でもここで問題が発生した。歌声がぜんぶブレス音(呼気)だけになって歌声になってない。試行錯誤の末これは音域の問題であることが判明。楽譜ファイルを一オクターブ下に転調したら解決した(貼ってある画像は転調後のもの)。

その後もキーボードで手弾きしただけだと32分音符とかがあったりして、こういうのはうまく発声してくれないことがわかった。そういうわけでいわゆる「調声」はしていないのだけど、音域と音の長さ(休符も含めて)をいじるのにちょっと時間がかかった。(Run.batを一回走らせるのに2分かかるので、ここの往復作業でトータル1時間くらいかかった。)

それでも最終的には問題なく音声ファイルdorian6.wavが出来上がったので、それをAbleton Liveに貼り付ける。昔のPiapro Studioがない時代にボカロ曲を作るときと同じ要領。

そのままでも曲として成り立っているのだけど、いちおうボーカルにはリバーブかけて、masterでコンプかけて完成版ができた。Soundcloudにアップしておいた：

すげー歌えててびっくりした。上の楽譜見ればわかるようにベタ打ちなのにフレーズの終わりごとにちょっとしゃくりあげてる。アニソンというかアイドルソングの文法な。(これに気づいたので、フレーズごとに休符を入れて、のっぺりと歌わないようにした。) あと0:24-0:26あたりとかすごくない？なんか「節回し」というか歌ってくれてるよね。ベロシティとかもまったくいじってないのに(ぜんぶ同じ100のまま)。

というわけで、しばらくneutrinoいじってみる予定。といいつつ次使うのは半年後だったりするんだけど…