AIがかなえる未来の音楽体験～五つの音楽アプリを同時公開～

2021-05-112021-05-12

2021-05-11 理化学研究所

理化学研究所（理研）革新知能統合研究センター目的指向基盤技術研究グループ音楽情報知能チームの浜中雅俊チームリーダーらは、AI技術を用いた五つの無料音楽アプリを公開しました。新型コロナウイルスの感染拡大により、日常生活におけるさまざまな活動が制限されるなか、アプリを通じて新しい音楽体験を提供します。

音楽情報知能チームではこれまで、音楽制作に関する技術システムの開発に取り組み、音楽の楽しみ方の幅を広げる作品を制作し、国際会議の場などで発表してきました。コロナ禍においては作品の現地展示が困難な状況にあるため、スマートフォンなどのアプリを用いた音楽とAIに関する技術の普及に取り組んでいます。

今回新しく公開したiPhone用アプリ「サウンドスコープフォン」と「メロディスロットマシン」は、リスナーが自ら音楽をコントロールして楽しめる能動的な音楽鑑賞を実現します。また、「GTTM タイムスパンツリーエディタ」を使うことで、音楽理論GTTMに基づく音楽構造分析ができます。さらに、最新のOSに対応し、再公開したiPad、iPhone用アプリ「バンドナビ」は、ミュージシャンのネットワークをたどることで、新たな音楽バンドや楽曲の発見につながります。

「サウンドスコープフォン」と「メロディスロットマシン」の紹介映像は、YouTube上で公開しています。また、各アプリのダウンロードおよび紹介映像は、下記ウェブサイトから閲覧できます。

音楽とAIに関する5つのアプリを同時公開 | Masatoshi Hamanaka

サウンドスコープフォンによる楽曲再生のイメージ

サウンドスコープフォン（iPhone用アプリ）

サウンドスコープフォン（Sound Scope Phone）は、曲の中で特に集中して聴きたいパートを自由に強調できます。パート数が増えると、個々のメロディーや音色を聴くのが難しくなりますが、サウンドスコープフォン使えば、聴きたいパートの方向へ耳を澄ませるようなポーズをとるだけで、そのパートのメロディーや音色を楽しめます。

ヘッドフォンもしくはイヤフォンを装着し、サウンドスコープフォンで曲を再生すると、10人の奏者に取り囲まれたように演奏が始まります。顔を左に向けると左から聞こえていた楽器の音が正面に、右に向けると右から聞こえていた楽器の音が正面になり、強調されて聴こえてきます。さらに、耳を澄ますように手を耳の横に近づけると正面で聴こえている楽器の音がより強調されます。

従来は頭の向きを検出するため、加速度センサーと手と頭部の距離を測定する距離センサーを搭載したヘッドフォンデバイス^注1）を制作し、使用していました（図1上）。専用デバイスを用いずにスマートフォンだけでこの技術を実現させるため、AIを使い、スマートフォンのインカメラの画像を解析します（図1下）。

カメラに対して頭の向きが90度を超えると顔の半分以上がカメラに映らなくなるため検出が難しくなりますが、iPhoneに搭載された加速度・ジャイロセンサが示すiPhone本体の角度情報とインカメラ画像から得られたiPhoneに対する顔の角度情報を統合することで、360度全ての向きでの検出を可能としています^注2）。

図1 従来のセンサー付きヘッドフォン(上)とスマートフォンのインカメラによる頭部方向検出

注1）特許4295798号, 米国US20090034766

注2）特願2021-070745

メロディスロットマシン（iPhone用アプリ）

メロディスロットマシン（Melody Slot Machine）は、縦に回転する横方向に並んだダイヤルを回転させることで、メロディーのバリエーションを変化させ、音楽をコントロールする体験ができるアプリケーションです。ダイヤル操作で複数のバリエーションメロディーから一つを選択していき、新しい組み合わせのメロディーを生成します（図2）。

スロットマシンのように並んだダイヤルを一つ回転させると、メロディーが他のバリエーションに変化します。iPhoneを上下に振ると、全てのダイヤルが回転し、ランダムな組み合わせのメロディーが生成されます。ダイヤルを変化させたときに、メロディーが滑らかにつながるよう、最先端のAI技術「メロディモーフィング手法」^注3）を用いています。

メロディモーフィング手法は、GTTMという音楽理論に基づいて楽曲の構造を音楽家が分析し、得られたタイムスパンツリーを用いて行いますが、これにさらにAIの技術を用いることで、自動化を目指しています。この手法により、映画やゲームなど、シーンに合わせて少しずつ変化させたメロディーを作成する職業作曲の効率化が期待できます。

メロディスロットマシンは、コンピュータグラフィックスやインタラクティブ技術に関する国際カンファレンスSIGGRAPHで2019年の審査員賞を受賞しました^注4）。

図2 音楽構造を分析し、どんな組み合わせでも破綻しないメロディーを実現する

注3）特許5051539号、米国US 8,278,545 B2、ドイツ60 2009 040 927.1、中国ZL200980104200.9、韓国10-1217995

注4）2019年8月6日革新知能統合研究センターニュース「音楽情報知能チームがSIGGRAPH2019にて審査員賞を受賞」

GTTM タイムスパンツリーエディタ（iPhone用アプリ）

GTTMタイムスパンツリーディタ（GTTM Time-span Tree Editor）は、音楽理論GTTM（Generative Theory of Tonal Music）を用いた研究や、GTTMを学ぶための研究・教育用アプリで、GTTM分析を行ったり、分析結果を確認することができます。

音楽理論GTTMに基づく音楽構造分析の自動化は、浜中雅俊チームリーダーが過去15年にわたって継続しているプロジェクトです。GTTMでの音楽構造の分析は、そのメロディーがどのように作曲されたかを解明します。近年AIを導入したことで、分析性能が急激に向上しています。今後、この構造分析が自動化されれば、作曲家が作曲するのと同じような方法で新たなメロディーの生成が可能になります。

バンドナビ（iPad、iPhone用アプリ）

バンドナビ（BandNavi）は、ミュージシャン同士のネットワークを利用して、新たな音楽制作につなげるアプリです。バンドナビで音楽を再生すると、その楽曲を演奏しているミュージシャンが過去に所属していたバンドや、ライブでゲスト出演したバンドを知ることができます。さらに、見つけたバンドのYouTubeの動画観覧や、楽曲データの購入も可能です。

インターネット上の記録から、正式なバンドメンバーだけでなく、レコーディングへのゲスト参加やライブのサポートメンバーなどの情報を自動収集する際、浜中チームリーダーらが考案した共起判定を使ったミュージシャン候補の抽出と誤検出のフィルタリングを行っています。

バンドナビにはiPad用の「BandNaviHD」とiPhone用の「BandNavi」の二つのアプリがあり、iPad用ではミュージシャン同士のつながりを表示できます（図3）。