パーソルグループとSky株式会社は、sightを通してエンジニアの自分らしいキャリアを応援しています

Rhizomatiks真鍋大度×MIKIKOによる「ライブパフォーマンス×テクノロジー」はいかに生まれたのか【前編】

エンターテインメントやアートの世界にも、テクノロジーが持ち込まれている。リオ2016大会閉会式の東京2020フラッグハンドオーバーセレモニーでは、ARとダンスが融合した表現、演出が披露され、世界の大きな話題をさらった。
その最新テクノロジーを駆使したフィールドのAR演出・映像表現を担当したのがRhizomatiks Researchのアーティスト、真鍋大度氏。そして総合演出・演舞振り付けを担当したMIKIKO氏だ。それらの新しい表現はどのようにして生まれたのか──。

Rhizomatiks真鍋大度×MIKIKOによる「ライブパフォーマンス×テクノロジー」

アーティスト真鍋大度氏、演出振付家・MIKIKO氏の経歴は?

Rhizomatiks Research 真鍋大度氏とMIKIKO氏は、東京2020フラッグハンドオーバーセレモニー以外にもPerfumeのライブ演出をはじめ、さまざまなイベントや作品でコラボレーションしている。HEART CATCH西村真里子氏をモデレータに、二人のコラボレーションによる「ライブパフォーマンス×テクノロジー」について、語っていただいた。

HEART CATCH西村真里子氏

▲株式会社HEART CATCH代表・プロデューサー 西村 真里子氏

西村
:まずはお二人の経歴を簡単に聞かせてください。

真鍋:新卒で入社した会社ではSEとして、防災システムの設計と開発に従事していました。当時使っていた言語はVBとC。その会社はすぐ辞めてしまい、次にITベンチャーに移りました。そこではPerlを書いていましたね。

エンジニアからクリエイターに転身したきっかけは、一旦、会社を辞めて国際情報化学芸術アカデミー(IAMAS)に入ったことです。今は映像や機械学習周りのライブラリを使うことが多いので、C++やPythonを使っていますが、あまり幅広くプログラムは書いていません。

Rhizomatiks真鍋大度氏

▲株式会社Rhizomatiks取締役、Rhizomatiks Research 代表 真鍋 大度氏
アーティスト、インタラクションデザイナー、プログラマ、DJ

西村:パフォーマンス映像の制作は、真鍋さんが手掛けていらっしゃるんですよね。

真鍋:ここ最近はPerfumeやイレブンプレイの映像の多くはライゾマだと堀井、田中、計良がメインでやっていますね。僕は全体のディレクションを担当しつつ音楽や照明、ハードの制御シーケンス周りをやっています。

オペレーション用のUIを作ったり、照明制御、その他カメラやマイクから入ってきた信号を解析したりするために使っているのが、ビジュアルプログラミング言語Maxです。Maxは音響合成、行列演算、LEDを光らせるためのDMXを出したり、他のアプリと通信したりするUIを簡単に作れるので重宝して使っています。

もう使用歴は20年以上ですが、20年前のプログラムを開けるのも便利です。以前はMaxで映像も作っていましたが、今は映像制作で使用することはなくほとんどありません。

Rhizomatiksではリアルタイム演出ではシーケンスにAbleton LiveとMaxと映像にC++、openFrameworksの映像アプリかUnreal Engine、機械学習はpython, tensor flowの組み合わせが多いですね。映像のアセットを作るのはHoudini、Mayaなどいろいろとオプションがありますね。

MIKIKO:私は、演出振付家です。主にライブや振り付けとそれに伴う演出をしています。一番長く関わっているアーティストがPerfumeで、20年になります。また「ELEVENPLAY」というダンスカンパニーを主宰しており、そのカンパニーも約10年の歴史があります。

もともとはダンサーで、大学のときにダンスの先生になる機会に恵まれたことが、振付家になったきっかけになりました。振付家としても約20年やっています。大学ではインテリア科に所属。CADを勉強したり、カラーコーディネータの資格を取得したりしていました。映像編集はiMovieを使っています。

演出振付家 MIKIKO氏

▲演出振付家 MIKIKO氏

西村:MIKIKO先生と真鍋さんはさまざまなプロジェクトでコラボレーションしています。振付家やダンサーというバックグラウンドを持つMIKIKO先生は、エンジニアである真鍋さんと、どのようにコミュニケーションして、プロジェクトを進めているのでしょうか。

MIKIKO:Rhizomatiksとのコラボレーションで彼らが主導のプロジェクトの際は必ず、「今回のために、こういう技術、システムを使いたい」というお題をもらって、それをどう表現として落としていくか、この節でこういう演出をしたいのかというVコンテ(Vコン)を作って渡すんです。

そしてダンサーとライゾマさんの間に立って演出をしていくという作り方をしています。ライゾマさんとのコラボレーションは、1つのVコンで話が済むので、やりやすいですね。

【事例1】「LEXUS DESIGN EVENT 2019 - LEADING WITH LIGHT」

西村:最近のコラボレーション事例をご紹介ください。

真鍋:LEXUSのコミッションワーク「LEXUS DESIGN EVENT 2019 - LEADING WITH LIGHT」は、テクノロジーは人のためにデザインして価値が生まれるというLEXUSの思想である「人間中心」デザインを光のメディアアートで表現したインスタレーションです。

照明装置256台と無線でコントロールできる台車を6台設置し、その中でダンサーが光や台車と一緒に踊ることを実現させています。普通だと台車の動きは、CGソフトで書いてそれに合わせてダンサーが踊りますが、MIKIKOさんとのコラボでは、この台車の動きを作るところからMIKIKOさんに担当してもらっています。

MIKIKO:手動でパスを書くのではなく、ダンサーの頭にマーカーをつけて歩いてもらい、モーションキャプチャーシステムでマーカーの位置を収録し、そのデータを用いて台車を動かす様な仕組みを使いました。ダンサーの振り付けも台車の動きも私が考えているので、細かいところまでシンクロできるんです。台車の動きとダンサーの動きを同時につくるのは大変なように見えますが、私としてはやりやすかったですね。

Rhizomatiks真鍋大度×MIKIKOによる「ライブパフォーマンス×テクノロジー」

【事例2】「24 drones」「border」

西村:台車のようなモノに対しても振り付けをしているんですね。

MIKIKO:ドローンの動きを振り付けたこともあります。それが「24 drones」という作品です。

真鍋:モーションキャプチャのシステムを用いてドローンの制御を行なっています。このドローンの機体と制御システムを設計開発したのは、当社のエンジニア石橋。この作品に関して僕は、フライトパターンを作るためのツールを作っています。

Rhizomatiks真鍋大度×MIKIKOによる「ライブパフォーマンス×テクノロジー」

MIKIKO:まず、ドローンのフライトのデモを実施してもらい、ダンサーとして「こんなに風が吹くんだ」「意外に近くに来ても怖くない」ということを体験した後、ダンサーとドローン双方の振り付けを作っていきました。

真鍋:デモは「こういうことができそうだよ」とネタを一通り揃えて渡し、インスピレーションを与えるためのものという位置付けです。そこから作品にするのが大変。どう面白くするかまでを含め、MIKIKO先生に丸投げしています(笑)。

西村:これだと振り付けに生かせないので、ドローンの動きを改善してほしいということもあるのでしょうか。

真鍋:最初にドローンのスペックを最大限に活かしたデモを見てもらい、ワークショップをすることで、技術的な制約は最初の段階でMIKIKO先生に理解してもらいます。うまくいかないコラボレーションは、演出サイドが技術の限界を把握せずに、企画だけをしてしまうケースですね。

MIKIKO:「24 drones」では最初にドローンのパスを作り、その後ダンサーの振りを作りました。光についても、どのタイミングでどの色になっていればよりダンサーやドローンが際立って見えるかについてディレクションを行いました。

Rhizomatiks真鍋大度×MIKIKOによる「ライブパフォーマンス×テクノロジー」

真鍋:とにかく多数のトライアンドエラーがありました。ですので、最初のプロトタイピングの段階ではフライトパターンはMayaなどのCGソフトでは作らず、その場ですぐ改良できるよう、Maxを使っています。

西村:スタジオで実際に実施し、何か問題があれば真鍋さんがMaxで変更して、MIKIKO先生が振り付けするというように、即興的に作り上げていくんですね。ライゾマさんではドローンなど、ハードウェアも作られていることにも驚きました。

真鍋:当社はハードウェアネタやオリジナルのデバイスを作っているところが強みです。ライゾマにはレベルの高いハードのエンジニアと画像解析のエンジニアがいますからね。

例えば2014年に発表した「border」は観客とダンサーが参加して成立するダンス公演です。観客はヘッドセット型のMRディスプレイを装着し、無線で制御された車椅子に乗ってもらうんです。この車椅子はWHILLと共同で開発しました。

Rhizomatiks真鍋大度氏

観客はMRデバイスを通して実世界と、その上に合成された拡張現実の世界、そして完全に実世界をシャットアウトしたVRの世界を体験出来ます。その中でダンサーが匂いや床の振動、肩や膝を触ったりすることで現実と仮想の世界を曖昧にする様な仕組みを作りました。

西村:車椅子とダンサーにはどのように振り付けていったのでしょう。

MIKIKO:アクティングエリアをグリッド状に仕切って、例えば「5の7の角を曲がると誰々に会う」みたいなことを10人のお客さん分、10通りの体験を作って行きました。過去で一番、大変な仕事でしたね。

ELEVENPLAYのダンサーは頭の中でカウントを鳴らしながら踊れるのですが、ライゾマさんとのコラボ作品は、音も聞きつつカウントを数えられなければなりません。振りも揃えられることが求められるため、能力が高くないと出られません。

車椅子が止まったときはこうしよう、ああしようと、まだ煮詰まっていない状態の現場からダンサーも立ち会い、振り付けを覚えていくようにしています。

Rhizomatiks真鍋大度×MIKIKOによる「ライブパフォーマンス×テクノロジー」


Rhizomatiks真鍋大度×MIKIKOによる「ライブパフォーマンス×テクノロジー」はいかに生まれたのか【後編】を読む