phonomaは、空間を音の粒（phonon）として捉え、音楽表現へと昇華させる装置（-machine）というコンセプトのもと開発された電子楽器である。phonomaは、カメラのように構えて演奏するのが最大の特徴となっており、様々な環境に持ち運び、その場その瞬間で生まれる音色・旋律との一期一会を楽しむことができる。搭載された目（Depth Camera）によって捉えた空間の明るさや色味、人・オブジェクトの数といった複数のデータによってダイレクトに反映させることができ、演奏者が捉えきれない空間要素を楽器自身が拾い上げ、演奏者にフィードバックする。これにより、演奏者と楽器の間に協奏状態を生み出し、より多彩な即興演奏が可能となっている。

1.楽器の小型化による演奏形態の変化

今日の電子楽器市場では小型化、持ち運びを前提とした製品が多くリリースされている。実際、プロジェクト期間中にリリースされたYAMAHAのSEQTRAK™︎という電子楽器は、プロモーションビデオにおいて外に持ち運んでその場で即興演奏することを示唆させる表現が盛り込まれている。こういった電子楽器の形態によって、従来のようなDTM（Desktop Music）と呼ばれるスタジオや自宅で楽器を据え置きで演奏するスタイルだけではなく、Field Musicというさまざまな環境に楽器を持ち運び、その場の環境に合わせた演奏を行うスタイルが生まれつつある。

1-1.SPATIALIZER

楽器演奏形態の変化を踏まえ、長谷川は卒業制作でSPATIALIZERという電子楽器を制作した。この楽器は、空間を読み取り、そこから音を生成することによって、その場その瞬間の音を生み出す。この仕組み上、地球上のかたちあるものすべてが音源になることが最大の特徴で、様々な場所に持ち運ぶことによって新たな音との出会いを楽しむことができる。
筐体には、測量や自動運転などに用いられるLiDAR というセンサーが搭載されており、空間の形状をリアルタイムに取り込んでいる。この取り込んだ空間形状から、任意のレイヤーの点群を取り出し、波形に変換することで音色を決定している。筐体の鍵盤の入力による各音階の固有周波数を合成することによって、その空間固有の音階を奏でる。

1-2.この楽器で目指したこと

phonomaでは、SPATIALIZER のコンセプトやシステムは継承しつつ、音の生成方法や、演奏方法を見直し、音楽シーンに実戦投入できるレベルの楽器を開発をおこなった。
SPATIALIZERにおける2つの課題を踏まえ、以下の2つを開発における柱として取り組む。

① コンセプトに沿った最適なハードウェアインタフェースの開発
② 空間変化を十分に音楽要素に反映可能な音響ソフトウェアの開発

空間と深い関わりを持つ楽器を作り出すことで、即興演奏の幅をさらに広げ、配信音楽にはない「生で聴くこと」「視聴者がその場にいること」の価値を高め、音楽の時空間芸術性を深めることを最大の目的とする。また、空間を取り込むことができる電子楽器という位置づけを確立させ、誰もが空間から音を操ることができるプラットフォームとして展開することも視野に入れて開発する。視覚情報と聴覚情報を繋ぐ道具として、カメラマンやダンサーといった別領域のクリエイター が音楽に関わることができる環境を作り出し、領域間のコラボレーションを促進することにもつながる。

2.開発

2-1.プロトタイプv1

景色に常に向け続けることを前提としていることや、ミュージシャンが常に持ち歩くことを前提とした場合、カメラのように肩に掛けて持ち運べることが理想であると考え、カメラのような形態をベースとした。

また、この段階では外部PCにUSB経由で繋いで利用することを前提としていた。そのため装置はあくまでインタフェースであり、メインのシステムは別途PCを用意する必要がある。今日の電子楽器では、このような形態を採用している製品も多く存在するため、開発計画時点ではこの構成で進める想定だったが、実際に使用してみると常にPCを持たなければいけないことが想定以上に不便であり、スタンドアロン化することが改善点として挙げられた。

2-2.プロトタイプv2

スタンドアロン化に向けて、CPUの選定を行なった。本プロジェクトでは、点群処理と音響処理を同時に、かつリアルタイムに行うため、組み込み可能な小型サイズで高性能なシングルボードコンピュータが条件として挙げられる。代表的なプロダクトとしてRaspberry Piが挙げられるが、点群表示に必要なGPUリソースが不足しており十分なパフォーマンスを発揮できないため採用を見送った。
今回は、LattePanda Sigmaを採用するに至った。このシングルボードコンピュータは、Windows OSが使用でき、MAX/MSPで開発したソフトウェアをそのまま組み込むことができる。また、GPUリソースも十分に確保されており、プロトタイプとして開発していたソフトウェアも十分に動作することが確認できたため採用した。

3.phonoma

3-1.ハードウェア

試作機の制作を経て、最終機「phonoma」の制作を行なった。内部構造の最適化を行い、試作機v2と比べて30%の小型化を実現した。また、電子楽器×カメラをコンセプトに新たに筐体をデザインし直し、楽器としての立ち位置を明確にプレゼンできるような佇まいを目指して設計した。

3-2.ソフトウェア

phonomaでは、Depth Cameraによって取得した点群データとカラー画像を用いて以下の空間要素をデータ・数値として取得する。

① 空間の形状（xyz点群）
② 色味
③ 明るさ
④ 空間の最大・最小・平均距離
⑤ 人・オブジェクトの数
⑥ 色温度
⑦ 空間の荒れ具合

これらの要素を元に合成波形の決定と、各音色パラメータの紐付けを行うことで音色を作り出す。



合成波形は、①空間の形状（xyz点群）を用いて行う。ハードウェアに搭載されたダイアルシャッターを回すことでZ軸方向のレイヤーを選択することができ、そのレイヤーにあたる点群データをリストとして保持する。このリストは空間の断面形状とみなすことができ、これをサンプルデータとして扱うことで合成波形として利用している。
この処理方法は、SPATIALIZERでも採用していた方法であるが、phonomaではデータ処理の点で改善を施している。SPATIALIZERではリストに対して特に加工を行なっていなかったため、点群にnullポイント（距離が取得できなかったポイント）があると、クラック音が発生したり、突然音が出なくなったりするといった不具合が見られた。また、フレーム間で大きくデータが変化すると音が途切れて美しい音が生まれない要因になっていた。

そこで、取得したリストに対して移動平均補間とフレーム間補間を行うmovingAverageLerp.jsオブジェクトを作成し、改善を図った。これによってクラック音や音の途切れといった不具合が無くなり、楽器を向ける方向を大幅に変えても滑らかに音が変化するようになっている。
また、SPATIALIZERでは取得するレイヤーが1つだけだったため、微細な変化があっても大きな音色変化が得られなかったが、phonomaでは取得レイヤーを3つに増やすことで合成波形の複雑性を高めている。開発期間当初はフーリエ変換やFM合成方式もプロトタイピングによって試したものの、ノイズのような一般には聞きにくい音色しか出力されず、採用は見送った。アナログシンセサイザーに見られる加算合成方式に立ち返り、合成波形を複数本取得するという比較的シンプルな方法によって空間の変化を音色へと反映させることを実現している。

3-3.UIデザイン

手元で捉えた空間を確認しつつ、即座に音色をプレビューできるようなUI設計を行った。






プロジェクト概要
プロジェクト詳細