音楽推薦に基づくマップ上で好みの楽曲を共有できる音楽発掘サービス「ＫｉｉｔｅＷｏｒｌｄ」を公開～好みの１００曲をお互いに公開してマップ上で一緒に聴きながら好みの楽曲を見つけ出せる～

2023-07-19 産業技術総合研究所

ポイント

好みの100曲を自分の「音楽世界」として公開して、お互いの世界を訪問できる音楽発掘サービス
産総研の音楽推薦技術で44万曲が配置されたマップ上を移動しながら、好みの楽曲を見つけ出せる
イベントで一緒に音楽を聴くように、マップ上を一緒に移動して同じ楽曲を次々と連続再生できる

概要

クリプトン・フューチャー・メディア株式会社【代表取締役伊藤博之】（以下「クリプトン」という）と、国立研究開発法人産業技術総合研究所【理事長石村和彦】（以下「産総研」という）人間情報インタラクション研究部門【研究部門長小峰秀彦】後藤真孝首席研究員、濱崎雅弘総括企画主幹、佃洸摂主任研究員、高橋卓見テクニカルスタッフ、石田啓介テクニカルスタッフらは共同で、視聴者が好きな楽曲が埋もれないように好きな100曲を選んで共有し、他の視聴者に聴いて興味を持ってもらうことができる音楽発掘サービス「Kiite World（キイテワールド）」（https://world.kiite.jp）を開発した。無料で利用できるサービスとして、2023年7月19日に一般に公開した。

Kiite Worldは、歌声合成技術による歌唱を含む膨大な楽曲（動画共有サービスによってインターネット上で公開されている約44万曲の音楽動画）の中から、各視聴者が好きな100曲（100選）を選んで自分の「音楽世界」として公開すると、他の視聴者は、それらの楽曲が配置されたマップ上を移動しながら興味のある楽曲を選択して再生でき、次々と新たな楽曲に出会うことができるサービスである。他の視聴者が、どの音楽世界のどの楽曲をマップ上のどこで聴いているかが、リアルタイムに可視化されるので、それを見て興味を持ったらその音楽世界を訪問して同じ楽曲を再生できる。膨大な楽曲のマップ上の配置は、似た好みを持つ視聴者が好きそうな楽曲が近い領域になるように、音楽推薦技術によって決定されている。そのため、マップ上の領域毎の楽曲傾向の違いも楽しめる。さらに、イベントで大勢が一緒に音楽を聴くように、マップ上を一緒に移動しながら次々と楽曲を自動同期再生して同時に聴ける機能も備えている。

音楽発掘サービス「Kiite World（キイテワールド）」（https://world.kiite.jp）

背景

歌声合成ソフトウェア「初音ミク」が発売された2007年8月以降、さまざまなクリエータの貢献によって、合成された歌声がメインボーカルの楽曲（音楽動画）が動画共有サービスなどを中心に44万曲以上公開され、日々増え続けている。視聴者も、好きな楽曲を見つけて聴いたり、それを他の人達に紹介して広めたりすることによって、この音楽文化の発展に貢献してきた。しかし、膨大な楽曲の中から視聴者が好みの楽曲を見つけ出すことは容易でない。新たな楽曲が公開されても、それが潜在的に好きなはずの視聴者に気づいてもらえずに埋もれてしまう問題を解決するために、クリプトンと産総研は、音楽発掘サービス「Kiite（キイテ）」（https://kiite.jp）を開発し、無料で利用できるサービスとして一般に公開してきた（2019年8月30日クリプトン・産総研・JST共同プレス発表）。

Kiiteは、膨大な楽曲の中から好みの楽曲を探して出会う「音楽発掘」に焦点を当てて、好みの楽曲を見つけて紹介する視聴者の音楽発掘活動と、産総研の音楽印象分析・音楽推薦などの音楽情報処理技術の力を結びつけたサービスである。しかし、各視聴者が特に好みの楽曲群を埋もれさせずに広めるために、紹介しやすくまとめた形でお互いに共有し合ったり、音楽発掘をリアルタイムに一緒に楽しんだりするための機能が不十分だった。そこで、産総研はそうした機能を実現しながら先進的な音楽推薦と融合するために、新たに開発した音楽推薦技術をKiiteに導入して準備を整えた上で、音楽推薦の内部状態を可視化して透明性を高くしつつ好みの楽曲を共有できる方法を研究してきた。

内容

クリプトンと産総研は、Kiiteの新たな機能として、視聴者が好きな100曲（「100選」と呼ばれる）を自分の「音楽世界」として公開し、お互いの音楽世界を訪問して、一緒に楽曲を聴くことができる音楽発掘サービス「Kiite World（キイテワールド）」（https://world.kiite.jp）を開発した。Kiiteと同様にパソコンおよびスマートフォンのウェブブラウザー上で無料で利用できるサービスとして公開する。Kiite Worldでは、「好きな楽曲を共有し合う楽しさ」および「似た好みを持つ視聴者を見つける喜び」を体験しやすくすることで、視聴者の音楽体験をより豊かにするとともに、「好きな楽曲が埋もれない世界」を視聴者と技術が力を合わせて築いていけることを目指している。Kiite Worldは、以下の3つの特長を持つ。

１．楽曲100選公開機能：好きな100曲を自分の「音楽世界」として公開してお互いに訪問することが可能

好きな100曲（100選）を選んで「マイKiite World」（自分の音楽世界）として公開すると、公開者のアカウント名と共に「みんなのKiite World」の一覧表示に列挙される。その中の一つを視聴者が選択して訪問すると、その「マイKiite World」の100曲が2次元マップ上に配置されて可視化される（図1(a)）。視聴者はマップ上の自分のアイコンを自由に移動して、楽曲のどれかに重ねて選択すると、それを再生したり、プレイリストや「お気に入り」リストに追加したりできる。マップは自分のアイコンの周囲だけが拡大されてスクロール表示されるが、左下にマップ全体の縮小版も表示されていて、楽曲の配置と自分の位置を確認できる。なお、「マイKiite World」は100曲に満たなくてもよいが、各視聴者は一つしか公開できない。また、自分では公開せずに、訪問して音楽発掘だけをしてもよい。

楽曲のマップ上の配置はランダムではなく、Kiiteに登録されている44万曲以上の位置が、産総研が新たに開発した音楽推薦技術によって決定されている。同技術は、それらの楽曲の音響信号を自動解析して得られる曲調や、視聴履歴や「お気に入り」リストなどに基づいて、視聴者毎に異なる「お勧め楽曲のプレイリスト」を音楽推薦結果として日々自動生成する。これは、高次元の空間（潜在空間）に、楽曲、そのクリエータ、視聴者の三種類に対応する膨大な点（ノード）が浮かんでいて、関連し合う点が線（エッジ）で結ばれたグラフ構造に基づいている。たとえば、視聴者と「お気に入り」リストに入れた楽曲は線で結ばれ、クリエータとその楽曲は線で結ばれ、自動解析した曲調が近い楽曲同士は線で結ばれている。そうした線で結ばれた点同士が近くになるように高次元の空間に自動配置されているので、ある視聴者の点（視聴者の好みをモデル化した「視聴者モデル」とみなせる）の近くにはその視聴者が好きそうな楽曲が集まりやすく、そうした楽曲をその近さに基づいて推薦できる仕組みとなっている。その空間を2次元に非線形変換して可視化したのが、Kiite Worldのマップである。

マップ上には、各楽曲の位置が可視化されているだけでなく、「マイKiite World」を公開中の各視聴者モデルの点の位置も「家」として可視化されている。似た好みを持つ視聴者の家は近くに存在しやすく、そうした視聴者達が好きそうな楽曲も近い領域に存在していて、好みの楽曲や似た好みを持つ視聴者を見つけやすくなっている。マップ上の領域毎の楽曲傾向の違いも楽しめる。これは、従来はブラックボックスなことが多い音楽推薦の内部状態を可視化して透明性を高くする機能であり、「説明可能なAI（XAI）」の観点からも先進的である。音楽推薦結果と内部状態は毎日更新されるので、マップ上のすべての楽曲と家の位置も毎日更新される。

さらに、44万曲以上のすべてがマップ上で可視化される「全曲のKiite World」も公開されているので（図1(b)）、視聴者が訪問して、自分の家の近くの楽曲を発掘できる。各視聴者への音楽推薦結果の「お勧め楽曲のプレイリスト」の上位100曲も、「音楽推薦のKiite World」として、「マイKiite World」を公開中の視聴者の分が別途公開されている。これにより、自分の家の近くに家がある視聴者の音楽推薦結果を見ることもできる。さまざまな表示で、自分の視聴履歴や「お気に入り」リストに既に含まれている楽曲にはそれぞれのマークが付いていて区別でき、音楽発掘がしやすくなっている。

以上の「楽曲100選公開機能」により、従来は困難だった、音楽推薦の内部状態が可視化されたマップ上で探索しながらさまざまな視聴者の100選に出会うことが可能となった。

(a)「マイKiite World」の2次元マップ画面

(b)「全曲のKiite World」の2次元マップ画面

図1　楽曲100選公開機能

２．リアルタイム可視化機能：どの音楽世界のどの楽曲を再生中かをお互いに見ながら音楽発掘が可能

Kiite Worldにアクセス中の各視聴者のマップ上の現在位置と、どの音楽世界（「マイKiite World」、「全曲のKiite World」、「音楽推薦のKiite World」のいずれか）でどの楽曲を聴いているかが、リアルタイムに表示される（図2(a)）。視聴者がお互いにそれらを見て興味を持ったら、同じ音楽世界を訪問したり、同じ楽曲を再生したりできる。どの音楽世界にいてもマップ全体の縮小版にはすべての視聴者が表示されていて、現在位置が近づくとお互いのアイコンが見えるようになる（図2(b)）。ただし、自分と異なる音楽世界にいるアイコンは半透明になる。そして、興味を持った視聴者や、似た好みを持つ視聴者を見つけたら、「お気に入り」リストに追加できる。このように、視聴者がお互いを発見できるようになっているので、違う楽曲を聴いていたとしても、同じ瞬間に音楽を楽しんでいるということ自体を一緒に感じることができる。

以上の「リアルタイム可視化機能」により、従来は困難だった、他の視聴者が音楽発掘をしている様子をリアルタイムに見ながらさまざまな楽曲や視聴者に興味を持つことが可能となった。

(a) 他の視聴者の様子のリアルタイム表示画面

(b) 現在位置が近い視聴者が出現したマップ画面

図2　リアルタイム可視化機能

３．自動同期再生機能：ある視聴者の楽曲再生に自動同期して大勢で一緒に音楽を楽しむことが可能

ある視聴者の楽曲再生に興味を持ったら、その視聴者の楽曲再生に自動的に同期して、同じ音楽世界で同じ楽曲を同じタイミングで自分も一緒に聴けるように設定できる（図3(a)）。設定を解除するまでは、その視聴者がマップ上で次の楽曲の再生に移っても同期再生し続けるので、次々と楽曲を一緒に聴くことができる。これにより、同期される側は自分の好きな楽曲を広める機会が増え、同期する側は新たな楽曲に出会う機会が増える。

それに加えて、この機能を使うと、音楽イベントなどで大勢が一体感を感じながら一緒に音楽を聴くように、ある視聴者の「マイKiite World」のマップ上での楽曲再生に大勢で自動同期しながら、一連の楽曲を一緒に聴いて楽しむことが可能となる（図3(b)）。この同期される側は、ディスクジョッキー（DJ）のように自分の選曲を大勢にその場で聴いてもらうことができる。そこで、自分でマップ上を移動して選曲する通常の操作方法に加えて、曲順を事前にプレイリストで指定してそれに沿ってマップ上を自動的に移動して再生する「ツアー機能」も用意した。自分の「マイKiite World」を訪問するためのURLはソーシャルメディアなどで共有できるので、特定の時間帯に集まることを呼びかければ、他の視聴者と一緒に音楽を聴きやすくなる。

以上の「自動同期再生機能」により、従来は困難だった、他の視聴者が楽しんでいる楽曲再生に同期して自分も同じ楽曲を楽しんだり一体感を感じたりすることが可能となった。

(a) ある視聴者の楽曲再生に自動同期する画面

(b) 大勢で一緒に自動同期再生している画面

図3　自動同期再生機能

Kiite Worldの研究開発は、国立研究開発法人科学技術振興機構（JST）戦略的創造研究推進事業CRESTの研究開発課題「信頼されるExplorable推薦基盤技術の実現（JPMJCR20D4）」（研究代表者：後藤真孝（産総研人間情報インタラクション研究部門首席研究員））の一環として行われた。クリプトンと産総研が共同開発してきたKiiteの新機能として、産総研が独自の音楽推薦とKiite Worldを技術開発した。