その他ゲーム

【ニンテンドーラボ】ピアノの仕組みを解説 モーションIRカメラの活用で超多機能を実現

投稿日:

ニンテンドーラボピアノ

 

どうもこんにちは。

ニンテンドースイッチが発売されて、約1年がたった2018年、任天堂が満を持して発売したのが、ニンテンドーラボです。

PVを見て、あまりにもわくわくしたので、即予約しました。

 

 

 

その中でも1番気になったのが、ピアノです。

 

質問者さん
ニンテンドーラボのピアノはどうやって音が鳴っているんだろう?

 

この疑問を持ったのは、わたし以外にもたくさんいると思います。

実際にニンテンドーラボでピアノを作ってみて、ピアノの仕組みがわかったので、解説したいと思います。

さらにニンテンドーラボのピアノは、ただドレミファソラシドの音を出せるだけではなく、音色を変えたり、リズムをつけたりできたり、あまりの奥深さに驚愕しました。そのあたりも紹介していきたいと思います。

 

 

スポンサーリンク

作って遊ぶだけじゃないニンテンドーラボ

ニンテンドーラボのPVを見たかんじ、ダンボールで工作して、それで遊ぶことができるんだなという印象を持ちました。

しかし、ニンテンドーラボは「つくる」「あそぶ」と同列で「わかる」も提供しています。

 

つくるあそぶわかる

 

ニンテンドーラボで使われている技術を、こどもにもわかるように説明してくれます。

なのでニンテンドーラボは、「作って→遊んで→学んで→それを応用して作って→遊んで」という発展的なループがあるのです。

つまり、ニンテンドーラボは販売しているパッケージで完結なわけではありません。そこから新しい遊びを創造していくことも、ニンテンドーラボなのです。

 

 

IRカメラが大活躍

IRカメラ概要

ニンテンドーラボのピアノの仕組みを説明していきますが、ニンテンドーラボのピアノのコア技術になるのがIRカメラです。このIRカメラについて少し説明します。

IRは赤外線のことで、テレビのリモコンなど一般的に広く使われています。

IRカメラはその赤外線を使ったカメラのことで、赤外線を物に当てて、反射させ、その反射させた赤外線を読み取って画像にします。

わたしたちが普段から使っているカメラは、太陽や電球などから出た光が物に当たり、反射した光を読み取っています。光の種類の違いなだけで、基本的には一緒だと思っていいでしょう。

赤外線の特徴は、人間の目には見えないということです。もちろん赤外線の見えない色のまま画像にしても人の目には見えないので、画像にするときは黒緑っぽい色で強弱をつけます。ジョイコンでプロコンを撮影するとこんなかんじです。

 

IRカメラプロコンの画像

 

このIRカメラがニンテンドースイッチのジョイコン(R)についていて、ピアノが鳴る仕組みで重要なのです。

 

 

IRカメラが鍵盤の音を判定

ニンテンドーラボのピアノは、上で説明したジョイコンのIRカメラを使って、ピアノの音を鳴らしています。

ピアノの中身は、画像のようになっていて、ある鍵盤を押すと、鍵盤のIRカメラ側が浮き上がって、貼っているマーカーシールが見えるようになります。鍵盤を押したときに、IRカメラがどの位置のシールが見えたかを読み取って、その音を出しているのです。

 

ニンテンドーラボピアノ鍵盤押したとき

 

具体的には、下の画像のように固定されたIRカメラが認識している空間を区切って、この場所にシールが見えたらド、ここだったらレ、みたいなかんじで判定しています。(紫色の部分)

例えば、ドとレを同時に押したときには、2つの位置にシールが見えるので、2つの音が和音としてしっかり鳴ります。

 

IRカメラの画像認識

 

2種類のIRカメラとマーカーシールで広い鍵盤を実現

ニンテンドーラボのピアノの基本的な仕組みについては説明しましたが、この仕組みを実現するために工夫された2つのことに感心しました。

1つ目はIRカメラは2種類あるということです。

ジョイコン(R)は以下のようになっているみたいで、中央に画像センサー、左右に赤外線ライトが2つずつ合計4つついています。

 

ジョイコンIRカメラ

 

実は、左右で赤外線の種類が違います。一方は、あまり広い範囲にならないけど、深いところまで画像をとれるようにする赤外線ライト、もう一方は深いところまでは無理だけど、広く画像をとれるようにする赤外線ライトになっています。

2種類の赤外線ライトを併用することで、広い空間の画像をとれるようにしています。

 

2つ目の工夫はマーカーシールです。

光には、反射の法則というものがあるのは多くの方がご存知だと思います。入射したのと同じ角度で反射するというやつです。

なので、ジョイコンから出た赤外線も、まっすぐ飛ばしたものはそのまま反射してくれるのでいいですが、角度をつけて飛ばしたものは反射して戻って来てくれません。反射してセンサーで認識する赤外線の量が少ないと、画像も鮮明になりません。

そこで登場するのがマーカーシールです。このマーカーシールは、なんと入射した方向と同じ方向にそのまま反射してくれます。なので、ジョイコンから角度をつけて飛ばした赤外線も、マーカーシールに当たった赤外線は、ジョイコンの方に反射されます。

マーカーシールがあることで、鍵盤のように幅があっても、1つ1つの鍵盤の位置をしっかりと把握できるようになっています。

 

 

奥深すぎるニンテンドーラボのピアノの機能

ニンテンドーラボのピアノの音が鳴る仕組み、理解できたでしょうか。

実はニンテンドーラボのピアノはドレミファソラシドの音が出るだけではありません。ジョイコンのIRカメラの仕組みを同様に使って、もはやシンセサイザーと言えるような超スペックなピアノになっています。

それらの機能と、その仕組みも紹介していきます。

 

出せる音は5オクターブ

ニンテンドーラボのピアノを見て、ドレミファソラシドの1オクターブしか出せないのか、しょぼいなー、なんて思いませんでしたか?

ニンテンドーラボのピアノは5オクターブ出せます。一般的なピアノは約7オクターブですが、普通に弾くレベルなら5オクターブあれば十分ですよね。

では1オクターブ分しか鍵盤がないのに、どうやって5オクターブを実現しているのでしょうか。

その答えはピアノの横についているレバーです。

 

オクターブレバー1

 

このレバーを上げ下げすることで、オクターブの上げ下げができます。

この仕組みも音がなる仕組みと同じで、ジョイコンのIRカメラを使っています。レバーを上げ下げしたときに、隠れていたマーカーシールがあらわれて、カメラで認識し、オクターブの切替がおこなわれます。

 

オクターブレバー2

 

演奏するときに、レバーを上げ下げしながら演奏するのは熟練の技が必要そうですね。

 

 

音量、エンベロープ、リバーブをつまみで調整できる

ニンテンドーラボのピアノは、音の効果も調整することができます。ピアノにつまみを差し込むところがあり、そのつまみを回すことで直感的に音の効果を調整できます。

調整できるのは音量、エンベロープ、リバーブです。

これもIRカメラでつまみに貼ってあるマーカーシールを認識します。

 

ニンテンドーラボピアノのつまみ

 

つまみの1本1本でマーカーの形が違っているので、それでどのつまみなのかを判断しています。

ここでおもしろいのはつまみを回すことをカメラで認識していることです。通常、つまみをまわしても、IRカメラから見えるマーカーシールの形は変化しないので、つまみを回していると判定するのは難しいです。

そこで、つまみにはつまみの種類を判定するマーカーシールとは別に回転を判定するマーカーシールが等間隔で6個貼られています。つまみを回すと、小さなマーカーシールが動くので、回しているという判定ができますね。

 

 

自分の好きなリズムを作れる

ニンテンドーラボのピアノは、鍵盤の音だけでなく、それに合わせたリズムも自分で作ることができます。しかも、かんたんです。

リズムカードというものを使います。

 

リズムカード

 

このリズムカードは縦4、横16個の穴があいていて、IRカメラでこの穴のありなしを認識してリズムを作ります。横の穴が1小節を表し、縦の穴がバスドラム、スネアドラム、ハイハット、ライドシンバルのどれを鳴らすかを表します。鳴らしたい音のところの穴を埋めると、そのタイミングでリズム音を出してくれます。

この組み合わせでエイトビートとかが作れるというわけです。

ピアノにリズムカードを差し込んで、読み込みボタンを押すとIRカメラがカードを読み取って、穴の空いている位置がわかるので、リズムが作成できるのです。

 

 

好きな音色も作れちゃう

ドレミファソラシドのような音階は、音波の周波数によって決まりますが、ピアノとヴァイオリンのドの音は音色が違いますよね。これは、周波数は同じでも1つ1つの波の形が違うからです。

例えば、上の波形はピアノの波形、下の波形はフルートの波形です。

ピアノの音の波形 フルートの音の波形

 

ニンテンドーラボでは、音の波も自分で作ることができます。

リズムカードと同じような、波形カードがあり、これをIRカメラで読み込むことで音色を設定できます。

 

音色波形カード

 

この波形カード、ニンテンドーラボのパッケージに元々入っているものもありますが、マーカーシールを貼っているわけでもなく、紙でもなんでもよく、自分ではさみで切ったりして自作することができます。

つまり、音色の数は無限です。木管楽器のような優しい音や、電子的なピコピコ音まで自由自在です。

どういう形をしたものがどんな音色になるのか、試してみるのもおもしろそうですね。

 

 

多重録音機能も搭載

ニンテンドーラボのピアノはその場で演奏して遊ぶだけではなく、できた曲を録音することもできます。

録画ボタンがあり、それを押すと鍵盤同様にマーカーシールが出て、それをIRカメラが認識し、録音開始になるのです。

しかも、この録音機能は多重録音です。

一度録音した曲に、さらに音を追加できます。

例えば、波形カードを変えて、合奏みたいな曲も録音できてしまいます。

 

 

まさかの指揮までできてしまう

ここまでできるのかというびっくり機能が指揮機能です。今まではIRカメラの機能でしたが、これはジョイコンの加速度センサを利用しています。

余っているジョイコン(L)を振ることで、その振っているリズムを曲のリズムに設定できます。

さらにおもしろいのが、作成した曲を再生するときには、そのジョイコンを指揮棒にして、曲中でも自由にテンポを変えながら再生できます。自分で作った曲を自分で指揮するのです。

 

指揮棒でテンポ変更

 

ということで、ニンテンドーラボのピアノの仕組み、さらにそれを応用した機能について解説しました。

もはや小学校の教材にしていいレベルの製品です。今年の小学生の自由研究でニンテンドーラボを使う子は出てくるでしょうね。なんなら大学の実験で使ってもおかしくないレベルです。

こどもから大人まで、楽しみながら創造力を鍛えられると思います。

本当に楽しく創造力を鍛えられるので、ニンテンドースイッチを持っている人はぜひ買ってみてはいかがでしょうか。むしろニンテンドースイッチを持っていない人でも、ニンテンドーラボのためだけにでも買う価値があるレベルだと思います。

任天堂まじですごい!

それではではー!

 

 

パソコン用アドセンスコード

スポンサーリンク


パソコン用アドセンスコード

スポンサーリンク


-その他ゲーム
-

執筆者:

関連記事

どうぶつタワーバトルタイトル

【神ゲー】どうぶつタワーバトル攻略-勝つためのコツまとめ-

  どうもこんにちは。 先週オープンレックを見ていたらりんごもちぃさんが「どうぶつタワーバトル」という謎のゲームを配信していて、見ていたのですが、見ているだけでめちゃくちゃおもしろくて神ゲー …