コンピューターと音楽の現在と未来

こんにちは、プログラマの三浦です。

先日興味深いWeb記事を見つけました。

How ‘Creative AI’ can change the future of music for everyone.

https://thenextweb.com/artificial-intelligence/2017/02/11/how-creative-ai-can-change-the-future-of-music-for-everyone/

私は学生時代、修士課程でNeural networkを用いた自動作曲システムを研究していたこともあり、興味をそそられました。その勢いで久々に音楽情報科学研究会関連の受賞研究テーマを見てみました。

http://www.sigmus.jp/?page_id=61

この分野では有名な後藤真孝先生が、今も変わらず第一線で活躍されているのが凄いですね。

https://staff.aist.go.jp/m.goto/index-j.html

私はだいぶこの分野から離れているので知識が古く、旬な話題が分からないのですが、前述したクリエイティブなA.I.が切り開いていく世界を夢見ている人間の一人として気になっています。

以前に後藤真孝先生が研究されていたジャズセッションに加わるコンピュータや、相手をしてくれる自動ドラムプレイヤーなどは私のイマジネーションの重要な一つとなっています。

それのピアノ版ともいうべきものがYouTubeにありました。

https://www.youtube.com/watch?v=ynPWOMzossI

正直人間に応えてくれるほどの実力はまだなさそうですが、今現在どれほど進化しているか、気になるところです。

音楽がテーマのブログでなぜか思いついたのがモスクの写真。一昨年ドバイに旅行した際にJumeirah Mosqueを見学しに行きました。いろいろな宗教がありますが、どの宗教も「お祈り」と言われる類のものは皆、独特の音楽やメロディーを持っていますね。

音楽がテーマのブログでなぜか思いついたのがモスクの写真。一昨年ドバイに旅行した際にJumeirah Mosqueを見学しに行きました。いろいろな宗教がありますが、どの宗教も「お祈り」と言われる類のものは皆、独特の音楽やメロディーを持っていますね。

音楽を捉える際に、現在は残念ながら粒度を決定する必要があります。

すでに論理的な情報に解析済みになった状態での音楽の解析と、音を波形として捉えてそこから音楽を解析するアプローチ。

もちろん、後者が難しいです。人間の耳は後者と等価です。

前者は、学問としてすでに確立されているため、ある程度はルールに基づいて機械的に解釈が行われます。後者は、ある規定した窓から見える波形(聞こえる波形)より、構成されている音のピッチ、音量、その音色(大抵はサイン波の合成として含まれる周波数構成を参照します)を抽出し、そこから時間軸方向にずらしていきながら、それらの変化により音を認識していきます。スネアなどのパーカッションは基本打撃音なので、比較的解析が楽ですが、持続音が含まれてくると指数関数的にその難しさは跳ね上がります。

そして大抵の音楽は、小規模な構成を包括する形でより大きな構造を作っていきます。私たちにはそれをテーマとして認識したり、カノンのように聞いたりします。そして一般的な楽曲はより大規模な構造をとっており、局所的に見てもその曲自体を認識するのは難しいです。

そのため前述の人とのセッションのようなアプローチは、直前4・8小節だけでアドリブを続けていくので、非常に扱いやすく、結果も楽しいものになる結果、題材として取り上げられます。

先ほどのピアノの例は、直前のフレーズのみでそれまで弾いた経過をどれだけフィードバックしているのかはわかりませんが、以前弾いたフレーズがリフレインのように戻ってきたり、展開されたり分解されて戻ってきたときには、「おい、コンピュータのくせにやるな」と思っちゃいますよね。

こちらはシンガポールのArab StreetにあるSultan Mosque。有名な観光スポットなので、シンガポール観光の際は立ち寄られる方も多いのでは。中を見学することもできます。

こちらはシンガポールのArab StreetにあるSultan Mosque。有名な観光スポットなので、シンガポール観光の際は立ち寄られる方も多いのでは。中を見学することもできます。

今回音楽を題材にしましたが、同じようなアプローチをVJで出来ないかを考えています。今は、まだ解決しないといけない問題が多く、まだ要素技術開発段階ですが、徐々に核心に近づいて行っていると思います。気長に待ちましょう。そして、もっと私も音楽側の知識を勉強しないといけないということを痛感している毎日です。

勉強に終わりはないですね。。。

Best Regards,

  Nozomu Miura

miura

秋田県生まれ。ベルギー、東京を経て現在シンガポール在住。 様々な業務アプリケーションの開発に関わり、主に低レイヤーの開発を得意とする。 ベルギーへ渡り、照明最大手のR&Dのリードエンジニアとして、メディアサーバや照明制御の開発に6年間従事。 2006年のユーロビジョンソングコンテストやアーティストのステージを支えるエンジニアとしてベルギーを拠点に欧州で活躍。 日本ではライブストリーミングサイトdommuneや、坂本龍一の映像配信などをサポート。 その一方で、vjとしてクラブシーンとも関わり、積極的にvjソフトウェアを開発。 小さくてもニーズのあるツールを提供するのが生き甲斐。次のプロダクト作成のため、メンバーを探している半ばの人生。 エンジニアとしてのメンタルを保つために、アジア大陸最南端でギラギラ葛藤中。 動物とあんことレッドブルが好き。最近お酒に弱くなりました。

0 comments