AIが視線・姿勢を推定して音を奏でる、独自アルゴリズムで－NEC開発

AIサービス紹介

NECは人工知能（AI）を活用して、遠隔視線推定技術で視線の向きによって音を奏でる「アンドケストラ トランペット」と、姿勢推定技術で音ごとに定義された姿勢をとるとで音を奏でる「アンドケストラ バイオリン」を開発した。

「AIで、あなたをミュージシャンに！」ーアンドケストラ　

日本電気（NEC）は人工知能（AI）を活用して、遠隔視線推定技術で視線の向きによって音を奏でる「ANDCHESTRA TRUMPET（アンドケストラ トランペット）」と、姿勢推定技術によって音ごとに定義された姿勢をとると音を奏でる「ANDCHESTRA VIOLIN（アンドケストラ バイオリン）」を開発した。

　世界ゆるミュージック協会と共に、それらを使って演奏する超多様なオーケストラ「ANDCHESTRA（アンドケストラ）」に挑戦する。

遠距離でも視線の方向を検知ー独自アルゴリズム

　「アンドケストラ トランペット」は人の視線を捉えるAI技術「遠隔視線推定技術」を駆使。事前に定義したポイントを見つめるとトランペットの音を鳴らすAI楽器。NECの顔認証技術の中核となる顔特徴点検出技術を用いて視線検知に必要な目頭や目尻、瞳など目の周囲の特徴点を正確に特定。通常のカメラのみで上下左右５度以内の誤差となる高精度な視線方向の検知を実現。視線の検知に重要な目の周囲の特徴からカメラ方向に対する視線の角度を算出する独自のアルゴリズムで、撮影された映像から視線を高精度に推定する。

混雑・低解像度映像でも姿勢推定－高速処理分析エンジン開発

「アンドケストラ バイオリン」は、人の姿勢を推定するAI技術「姿勢推定技術」を使用し、事前に定義したポーズをとるとバイオリンの音を鳴らすAI楽器。姿勢推定技術は全身を捉えづらい混雑環境下や離れた場所から撮影した低解像度の映像でも、高精度・高速に人の姿勢を推定できるNEC独自のAI技術。①肩や肘、腰などの関節点を検出して人の身体を特定、②関節点の中点をもとに各人の姿勢を推定ーーという２段階のアプローチを高速処理する分析エンジンを開発、高精度と高速を両立させた。

　「アンドケストラ」は、AIを活用して、子供から大人まで、障害者や、楽器を弾けない人や楽譜を読めない人などでも演奏可能な楽器の演奏体験を通じ、人と人とがつながり、全ての人が公平に活躍できる社会を表現する。

AIサービス紹介