歌奏絆(かなでつぐ)を生み出して

この記事はUEC Advent Calendar 2024の7日目の記事です。

6日目はちくわぶさんの「AIつまみアイコンを支える技術」でした。 私も個人的に深層学習を学んでいて、Diffusionモデル(画像生成などに用いられるAI)で実験をしていて、幾分か技術を理解していますが、私も知らないことも書かれていて、なおかつわかりやすくて良い記事だなと思いました。

こんにちは、電気通信大学バーチャルライブ研究会(VLL)のYちゃんです。 VLLでは、音響(PA)担当として頑張ったり、動画作ったり色々しています。

mikuec.com

さて、そんな私ですが、2023年1月頃に現在の「歌奏絆(かなでつぐ)」となるバーチャルアイドル・キャラクターの企画を立ち上げました。

そして、そんなアイドルの歌って踊る姿が、第74回調布祭で開催された「MIKUEC Remix」で初めて公開されました。

www.youtube.com

www.youtube.com

この記事では、このアイドルの誕生秘話や、私の思いを書いていきます。

私について

まず最初に私の自己紹介をしたいと思います。 2024年現在、電気通信大学 情報理工学域II類 セキュリティ情報学プログラムの3年生です。 ちなみに2025年も3年生です…w

大学内では、VLL以外にも、工学研究部の副部長としても活動しています。

www.koken.club.uec.ac.jp

大学の外に飛び出すと、様々なことをしています。 以前記事に書いた「セキュリティ・ミニキャンプ in 北海道」で講師をしたり、 ずんだもんなどのキャラクターを喋らせられるソフトウェア「VOICEVOX」で、歌を歌わせる機能の研究開発を行ったりしています。

voicevox.hiroshiba.jp

また、VOICEVOXだけでなく、自身で派生ソフトウェアのSHAREVOXも開発しています。

sharevox.app

バーチャルアイドルを生み出した理由

さて、そんな私がなぜバーチャルアイドルを作ろうと思ったのか。 理由はいたってシンプルです。

電通大なら電通大らしくバーチャル空間で活動するアイドルとか作ったら面白そうじゃね？

マジでこれだけ。

何の変哲もない、ただの思いつきです。

このアイデア自体は、電通大に入学してちょっと経った頃に、仲良くなった人がすごく歌がうまく、VTuberとかやったら面白いんじゃないかと思ったのがきっかけです。 でも、ただのVTuberだと面白くない。 せっかくなら、中の人を無くせるバーチャルアイドルにしようと思っていました。 私は入学する前から音声合成を個人的に学んでおり、その技術を活かせる領域であると感じていた部分もありました。

最初はほんとに軽く思っていただけでした。 私個人として、音声合成技術のエンタメ活用は動画制作におけるテキスト読み上げに留まらず、もっといろいろなことに応用できると信じていました。 ただ、そうは言ってもなかなか面白いアイデアは思いつかない中で、バーチャルアイドルがその一つの形になるかもしれないと強く考えるようになりました。 また、ちょうど2022年11月ぐらいから、歌声合成技術の開発をVOICEVOX内で始めたこともあり、アイドル実現への道筋が見えてきていました。

とは言ったものの、音声合成に関する知識はあっても、3Dモデルに関する知識や、キャラクターデザインなんかは無知ですし、キャラ設定なんてもっと難しいです。 イラストもかけない、動画はちょっと作れるぐらいのレベルで、とても一人で始められるものではありませんでした。

VLL/MIKUECとの出会い

私は大学に入ってから、工学研究部に所属し、活動していました。 これは、先輩に知り合いがいたことと、単純に技術者として興味があったことが理由です。 工学研究部に所属することを決めたが故に、他のサークルについてほぼ情報を集めずにいました。

大学入学時点で、VLLというサークルの存在は知ってはいたものの、初音ミクのファンメイドライブを売りにしており、私が興味を持つような活動をしているとは思っていませんでした。 というのも、私自身はそこそこのネットオタクだと思っていますが、ボカロに精通しているわけではなく、聴くボカロ曲も流行りのものぐらいで、そのような活動に貢献できるほどの熱意もありませんでした。

また、今でこそVLL内には技術班があり、技術を深めている人もいますが、当時のVLLはそのように見えず、私は興味を持ちませんでした。 実態は、機材周りでネットワークを用いたシステムが組まれていたり、モーションキャプチャシステムが内製だったりと、技術力高すぎサークルでした。

VLLは年に一度ファンメイドライブ「MIKUEC」を開催しており、大学内外から多くの人が集まるイベントとなっています。 MIKUECが無料のイベントであることと、大学内で行われることから、一度は参加してみようと、2022年12月のMIKUECに参戦しました。 これが度肝を抜かれるきっかけでした。

当時の私は浅い感想しか残してないですね、カス。 でもVLL入るか、とは言ってました。いいことですね。

たしかこのとき、自分の中での「ファンメイドライブ」の印象をガラッと塗り替えられたと思います。 VLLには素晴らしい動画が作れ、イラストを描け、踊りを踊り、3Dモデルを作り、ライブを演出する照明があり、バーチャルな存在をリアルに投影できるライブを運営するシステムがある。 ここならバーチャルアイドルを作れるかもしれない、と強い希望を持ちました。

VLL入部とバーチャルアイドル企画

MIKUECで抜かれた肝を取り返しに行くために(?)、VLLに入部しました。 ちょうど我々の代は機材を触れる人が少なく、入部早々にミキサーなどを管轄する音響班の班長を拝命しました。

また、もとより顔見知りだった同期何人かにバーチャルアイドル企画について相談してみて、面白そうという反応をもらいました。 同期内では、割と乗り気の人が多かった記憶ですが、どうしても先輩方の反応が良くなかったです。

なぜ作るの？実現性は？MIKUECが我々の本業だよ？といった感じで、反対意見もありました。 意見交換すら拒否されたこともあり、大きな挫折と怒りを感じたこともありました。

それでも、企画が面白そう、手伝いたいと言ってくれた人がいて、私一人ではなかったことから、真剣に幹部陣などとも向き合い、プレゼンをして、企画を続けていけるようになりました。 私が目標としたバーチャルアイドル企画は、企画者である私がいなくなっても動き続けてくれる企画で、それに向けて精一杯頑張っていくこととなりました。 「特定の中の人がいない」からこそできるエンタメがあると、私は信じています。

余談: VLLとVTuber

様々な情報を調べていた中で、昔VLLの活動の一つとして、VTuberをやっていたことがわかりました。 そのVTuberは1年で終了してしまい、今となってはあまり知られていません。 その企画は非常に面白く、私がバーチャルアイドル企画を立ち上げたのと同じように動いていましたが、VTuberということで人への依存性が高かったことや、企画者がいなくなったことで終了してしまったようです。 でも、その人の行動力はすごく、私自身も参考になりました。 VLLが「ファンメイドライブ」に特化した名前の団体でないことが過去にも生きていたんだなぁと感じました。

同じ過ちを繰り返さないように、というと、過去の企画を批判している形になってしまうのが心苦しいですが、同じ過ちを繰り返さないように、という気持ちで今も昔もバーチャルアイドル企画を進めています。

バーチャルアイドル企画の始動

少なくとも、バーチャルアイドルを提案した私が持っていたものは、企画のアイデアと、音声合成技術だけです。 イラストも動画も3Dモデルも、何もかも他の人に頼らなければならず、どう進めるべきかをかなり迷いながら進んでいきました。 でも、一つの軸として、せっかく新規にキャラクターIPを作るのであれば、そのキャラクターがみんなに愛されるものであってほしいという思いがありました。 そのためには、まずはVLL内で愛されるキャラクターになるべきであり、VLL内で愛せる要素があるべきだと考えていました。 人々の得意分野はそれぞれあり、自分にはできないこともある。 それらをみんなで補い合える集合知だからこそできるキャラクター作りとして、開かれたキャラクター作りを目指しました。

「開かれた」というのは、キャラクターの設定やイラスト、動画、3Dモデル、企画など、誰でも参加できるようにするという意味です。 みんなで作り、育てていくことで、自然と愛着が生まれるのではないか、と考えました。 単に私の持つアイデアに限界があるから、というのもありますが…。

そんな考えから、まずキャラクターボイスを決めるところから始まりました。 ボイスから、キャラクターデザインやキャラクター設定などを考えていくという流れです。

歌奏絆の誕生・公開まで

ボイスの収録を一番最初に行い、「ボイス(歌声)に基づいてあなたの想像するバーチャルアイドルのキャラクターデザインを書いてください」という名目で、VLL内でキャラクターデザインコンテストを開催しました。 MIKUECの制作との競合も加味し、期限なども調整しつつでしたが、2つのデザインが提出されました。 そして部員からの投票を行い、2023年9月後半にキャラクターデザインが現在のものに決定しました。

その後、軽くキャラクター設定を企画チームで考えつつ、キャラクター名も部内で公募を行い、9案が提出されました。 企画チームでエゴサーチ性能なども吟味しつつ、5案に絞った後に部内で投票が行われ、2023年11月頭に「歌奏絆(かなでつぐ)」に決定しました。

私自身も、SHAREVOXを使ってテキスト音声合成ができるように整備を行いました。

歌奏絆のSHAREVOX操作画面

その後、キャラクターデザインを担当された方がロゴも制作され、広報動画の制作を行い、電気通信大学の大学祭である「調布祭」の広報に合わせて2023年11月22日にキャラクターの公開にこぎつけました。

その後は、調布祭でのライブ「MINIEC」や「MIKUEC selections 2023」の広報のお手伝いや、ライブでの注意事項アナウンスなどを担当し、「見習いバーチャルアイドル」として地道に活動していきました。

調布祭や「MIKUEC 2023」の終了後も、新入生歓迎イベントでも広報もお手伝いしつつ、歌って踊る準備を進めていました。

歌奏絆が歌って踊るようになるまで

歌奏絆は、最初から歌って踊ることを念頭に置いていましたが、そもそも歌奏絆の歌声合成技術は、「VOICEVOX」の研究開発途中のものを利用しています。 「VOICEVOX」の歌う機能である「ソング機能」の開発は、2022年11月頃から始まり、約1年の研究開発を経て、2024年1月にベータ版リリース、2024年4月に正式リリースされました。 しかし、まだまだ品質は上げられるだろうと考えており、リリース後も品質改善を続けています。 歌奏絆の歌は、その最新版の研究成果を利用しています。 なお、現状の最新版の研究成果でも、ソフトウェアとして落とし込むにはまだ品質が足りていないと感じており、今後も研究開発を続けていきます。 実際、Only Glitterの制作にあたっては、ギリギリまで研究の試行を続け、ライブコンテンツとしては今までの常識を覆す、映像よりも後のライブ当日に音源が完成するという状況でした。 こんなことは繰り返してはいけない…。

私は、この歌の研究開発・品質改善に取り組みながら、歌奏絆の歌声データベースの構築も行い、幾度とない学習を繰り返しており、今回ひとまず皆さんに聴いていただける歌声となりました。 データベースの構築にあたっては、歌声データのノイズ除去などの前処理から、楽譜情報の作成、ラベリング(歌唱音素のアノテーション)、ピッチ補正など、ほぼ私一人で行いました。 なお、楽譜情報の作成にあたっては、多くのVLL部員に協力していただきました。この場を借りてお礼申し上げます。 私はというと、一部の大学の単位が犠牲になっており、留年してしまいましたが、個人的にはやりたいことを達成できたことのほうが価値が大きく、満足しています。

また、歌奏絆の声を作るために、電気通信大学 放送研究会「D.H.K.」の協力により、収録スタジオを貸していただきました。 この際の記事は別で書いていますが、改めてお礼申し上げます。

実は、このときにそろそろ歌うのではないかと思わせるフラグを立てておきました。

note.com

踊りの方はというと、3Dモデルが2024年9月頃に概ね完成し、踊れるようになりました。 素体・衣装作りをされた担当者の方に多大なる感謝を申し上げます。

Only Glitterに限って言えば、振りを考えて踊ってくださった方、モーション編集・表情付けの担当者にも感謝申し上げます。 MVの制作を行ってくれた2人の担当者にも多大なる感謝を申し上げます。 最後に、ライブ演出に欠かせない照明担当者にも感謝申し上げます。

会場でPA卓からコンテンツを見ながら、ここまでこれたんだなと嬉し涙がこぼれました。

余談: なぜOnly Glitterのカバーをデビュー演目に選んだか

Only GlitterはMIKUEC 2022のテーマソングとして作られた曲で、オリジナルでは初音ミクが歌っています。

www.youtube.com

今となっては誰が言い出したのか定かではないですが、割と早い段階から歌奏絆が歌う曲として歌詞もマッチしているのではないか、という意見が出ていて、みんながそれに賛同したのがきっかけでした。 それまで歌奏絆は「見習いバーチャルアイドル」として、広報活動を中心にしていたところから、多くの努力や時間をかけてようやく「バーチャルアイドル」としての一歩を踏み出したという歌奏絆に合う曲だと感じています。

また、過去テーマソングのカバーという形は、MIKUEC総集編ライブである調布祭でのライブで出すにも合わせやすいというのも相まって、ほぼOnly Glitter一択でした。

余談: わためつぐ

調布祭では、今までVLLは模擬店で初音ミクのネギになぞらえたネギチュロスを販売していました。 しかし、歌奏絆が部に少し浸透し始めて模擬店の出展内容を考え始めたころに、歌奏絆の髪の色をイメージした「わためつぐ」が提案され、可決されました。 私が提案したとかそういうことではなく、別の人が生み出してくれたものです。 そういう私では思いつかない企画ができたのは非常に嬉しいものです。

これからの歌奏絆

歌奏絆は、歌って踊れるようになり、今ようやく「バーチャルアイドル」としてスタート地点に立ったと思います。 私も引退が迫っているので、今後の歌奏絆の活動を支える中心は後輩たちとなり、私はあくまでもサポートとして動いていくことになると思います。 私一人の提案に色んな人がいろんな提案や力を貸してくれたおかげでここまでやってくることができました。 力添えしてくれたみんなには本当に感謝の気持ちでいっぱいです。 本当にありがとうございました。

歌奏絆はバーチャルアイドルとして、「誰もがプロデュースできる」ことを目指したいなと考えています。 まだそういった事はできておらず、歌を作るのも3Dモデルを動かすことも我々VLLにしかできていません。 でも、そういったことが誰でもできる、VLLだけに留まらないコンテンツにしたいというのが私の理想です。

みなさんは、歌奏絆関連の投稿で「VLL発」という言葉がよく出てくることにお気づきでしょうか？ これは、あくまでも歌奏絆は「VLL発」であり、VLLのものではないという意味を込めた言葉になっています。 私たちにとどまらず、みんなに愛されて、誰もがプロデュースできるバーチャルアイドルになることを切に願っています。

まあ、現時点で理想にはまだまだ届いていないのですが、ひとまず産みの親として歌奏絆の晴れ舞台を見届けることができたのは、一つの目標が叶えられたかなと思います。

おわりに

この記事では、私がバーチャルアイドル「歌奏絆」を生み出すまでの経緯や、歌奏絆に込めた思いを書いてきました。 私の思いつきから始まった企画が、ここまで大きく成長したのは非常に嬉しく、色んな人に感謝しないといけないなと感じています。 何度も書いていますが、本当にありがとうございました。

今後、歌奏絆はどう進化し、何を見せてくれるのでしょうか、私自身も楽しみです。

2024年12月10日 追記: 生み出したという表現は適切ではないかもしれない

なんか色々考えたのですが、歌奏絆が生まれたきっかけが私なだけであり、別に私が生み出したわけではないかもと思っています。 歌奏絆を生み出したのは、厳密にはVLLという集合知であり、私はその一部に過ぎないと私は考えます。 あくまでも、生み出し、育み、支えるすべてのきっかけになったのが私だったというのが正しいかなと思います。

とはいえ、まあ生み出したという表現がわかりやすくて良さそうと思っているので、記事は特に変えずにこのままにしておきます。