自社小売店Apple Storeを先週末にハードウェア面でアップデートしたAppleは米国時間5月23日、「iOS」向け小売りアプリケーションのアップデート版を公開した。このアップデート版では、実際に同小売店内にいるユーザーを対象とするインタラクティブ機能が追加されている。

　今回のアップデートにより、ユーザーは、Apple Store内にいるとき、同アプリケーションを起動してスタッフを呼ぶことが可能になっている。これは、同社が今週末に「Smart Signs」を使って導入したとの同じシステムで、ユーザーが手助けを必要としていることがApple Storeスタッフに通知される。しかし、この取り組みと異なり、ユーザーは、指定された場所まで歩いて行ってスタッフを見つける必要がある。

新しいiOS向けApple StoreアプリケーションをApple Store内で利用すると、その店舗に特化した情報が表示されるようになった。
提供：Apple

　このアプリケーションは、製品に関する情報のほか、「Genius Bar」の利用可能状況を待ち時間とともに表示することもできる。また、特定のApple Storeで開催中のワークショップやイベントのスケジュール情報も提供する。

　アプリケーション内で位置情報を利用して小売店舗で独自情報を提供することは、Appleにとって新たな挑戦ではない。同社は、「iPhone」が登場したばかりの頃、Starbucksと提携し、iTunesアプリケーションの一部として同様の機能を発表したことがある。そのコラボレーションで実現した機能を利用すると、特定のStarbucks店舗にいるiPhoneおよび「iPod touch」ユーザーは店内で流れている曲に関する情報を入手したり、それらの曲をiTunesから購入したりすることができた。

　Appleは先週末、Smart Signsを導入して同社小売店を刷新した。Smart Signsは、iPad 2をケースに収めて同社製品（「iPad 2」を含む）の隣に設置したもので、インタラクティブな案内板として利用が可能となっている。Smart Signsは、価格情報を表示するほか、iPhoneのような製品向けのワイヤレスプラン料金見積もりなど、特定の製品に特化したツールも提供する。また、手助けが必要なときにスタッフを呼ぶための機能も搭載している。

　同アプリケーションは、Apple Storeに関連した修正に加え、「Mac」購入時に十分なカスタマイズを可能にするための機能も追加されている。この機能はかねてより、Appleのウェブサイトで提供されていた。しかし、同アプリケーションでは、ユーザーが何らかのハードウェア部品をアップグレードしたいと思ってもできなかった。

ホログラムなどの映像を重畳した例

[クリックすると拡大した画像が開きます]

PostPetのキャラクター「モモ」を、認識対象物上に重畳した例。ここまでは、よく見るARの技術だが…

[クリックすると拡大した画像が開きます]

モモが、認識対象物を離れて部屋全体を歩き出した。これは従来の技術ではできない。

[クリックすると拡大した画像が開きます]

レストランでテーブルの上にあるメニューをスマホ（機種はソニーエリクソン製Xperia arc SO-01C）を通して見ると、メニュー上に「Touch Here（ここをタッチして）」と表示される。

[クリックすると拡大した画像が開きます]

そこにタッチすると、指でめくれるメニューが現れる。常連客であれば、その客特定のお薦めメニューも表示できるという。重畳された情報は、スマホをテーブルから外しても消えず、自宅に持って帰ることもできるという。

[クリックすると拡大した画像が開きます]

テーブルの上に「流れる水」の映像を重畳した例。水が本にぶつかって流れが変わっている。

[クリックすると拡大した画像が開きます]

ブティックの洋服を認識対象物にした例。認識させた後、画面にタッチすると、この服のさまざまなコーディネート例が表示される。

[クリックすると拡大した画像が開きます]

レストランなど店舗のドアを認識対象物にした例。ツイッターのような口コミ情報が表示される。

[クリックすると拡大した画像が開きます]

　ソニーは2011年5月19日、拡張現実感（AR）技術に、「AIBO」や「QRIO」などのロボット技術で培った空間認識の技術などを統合した「統合型AR技術（SmartAR）」を開発したと発表した。今後、実証実験を通じて、広告やゲーム、ビジネスなどへの展開の可能性を探るという。

　ソニーによれば、SmartARは大きく三つの特徴を備えているという。（1）物体認識によるマーカーレスAR、（2）高速トラッキング（追跡）技術による「高速・ピッタリ」、（3）「3D空間認識」、の三つである。

マッチングに確率を利用

　（1）と（2）は、重畳する情報（AR情報）の検索と位置合わせに用いる情報として、これまでのARで一般的だった2次元マーカーではなく、カメラなどで撮影する対象物自体を利用する技術の精度を向上させたものである。具体的には、計算量の少ない独自の画像認識アルゴリズムと、確率を用いたマッチング技術を用いることで、照明の当たり方の変化や対象物の姿勢の変化に強い高速認識が可能になったという。

　さらに、トリガになる対象物の画像の一部から得られる局所特徴をマッチングする技術によって、対象物を高速に追跡できるようになった。

空間自体を認識、記録する

　（3）の3D空間認識技術は、トリガとなる対象物を一度認識すると、その周囲にある物体や空間を3次元的に把握し、その情報自体を認識対象物の一部として利用する技術である。

　トリガとなる対象物は、その画像データ、あるいは照合用データをデータベースにあらかじめ用意しておく必要がある。一方、「その周囲の空間の情報は、認識対象物を認識した時点から逐次、データベースに入れていく」（ソニー）のだという。

　この技術のメリットはいくつかある。一つは、認識対象物がカメラの視野から外れても、AR情報を重畳し続けられるようになる点である。従来、認識対象物が視野から外れた途端にAR情報も消えてしまう課題を解決した。

　認識対象物の全体をデータベースに登録する必要もなくなった。これにより、部屋全体がAR情報を重畳する空間として使えるようになる。

　さらには、AR情報に対するインタラクティブな働きかけが容易になった。認識する3D空間は逐次更新され、その情報を基にAR情報を重畳できるためである。会見で実演したデモンストレーションでも、テーブルに重畳した「水の流れ」の映像が、本のあるなしで変わる様子や、テーブル上で跳ねる「ボールの映像」を本の上で跳ねるようにする様子を披露した。

デュアルコア以上のスマホに期待

　ただしソニーは、「現時点ではまだ、実際のサービスに用いる予定はない」とした。いくつか課題があるためだ。

　課題は大きく三つある。一つめの課題は、マーカーレス式のAR技術であるため、実用化にはトリガとなる認識対象物の画像情報をあらかじめ、データベースに登録する必要があることだ。これには一定の準備が必要になる。

　二つめの課題は、無線回線を介してのAR情報の重畳が実用的な時間でできるかどうかである。今回の実演では、スマートフォンやパソコン内部のメモリに、対象物の画像情報を格納していた。これを実用化するには、ネット上の画像データベースと無線回線を介して情報をやりとりする必要がある。遅延時間の大きな無線回線では、それだけで応答が遅くなる。大型データベースを使うことで、画像の検索に時間がかかれば応答はさらに遅くなる。

　三つめの課題は、端末の処理能力だ。今回、ソニーは、「3D空間認識の機能は、今のスマホでは処置能力の不足で完全には動かない」とした。ただし、この課題は「デュアルコア、あるいはクアッドコアのマイクロプロセサを搭載したスマホが使えるようになれば、処理能力の点は解決する」（同社）。アルゴリズムをさらに軽くする努力も続けるという。

写真1●会場の見取り図に関連情報を連携させて表示

[画像のクリックで拡大表示]

写真2●写真にキャラクター画像を連携させて表示

[画像のクリックで拡大表示]

　ソニーは、物体認識や空間認識技術などを統合した拡張現実（AR）技術「SmartAR」（スマートAR）を開発、2011年5月19日に都内で技術発表を行った。スマートフォンやゲームへの応用を想定している。

　発表会に登壇した同社システム技術研究所知的システム研究部リサーチャーの福地正樹氏は、SmartARの特徴として、認識対象にマーカーを使わない「マーカーレス」、対象物体に対する「高速追従性」、カメラの撮影範囲に対象物体がない場所でも利用できる「3D空間」を挙げた（写真1、写真2）。

　マーカーレスにすることで、例えばスマートフォンを使ってレストランのメニューを認識し、関連情報のリンクに誘導する、といった使い方ができる。画像の一部分から得られる特徴とその位置関係を用いて物体を認識するという。スマートフォンに画像をいったん取り込んで、あらかじめ登録しておいた画像とマッチングし、関連情報を表示するようなユーザーインタフェースとした。このため、多くのARソフトのように、目標物に対してカメラを構え続ける必要がない。

　SmartARがユニークなのは、物体認識技術と同社のロボットでの利用実績があるという3D空間認識技術を組み合わせたこと。これにより、AR上の物体とリアルな物体のインタラクション（相互動作）が可能になる。会見では、実際の本の映像をカメラで取り込み、AR上で生成したボールを画面上の本にぶつけて跳ね返させる、というデモを見せた。本を傾けると、ボールが跳ね返る角度が変わるというものだ。この動作のためには、「現行のスマートフォンでは難しい。ノートパソコン程度の処理能力が必要」という。実用化のための課題の一つだとした。

　発表会場となった、東京・銀座のソニービルにあるイベントホールには、カフェやブティックなどを模した展示スペースを設けた。同イベントには、クウジット、ソニーコンピュータサイエンス研究所、ソニーPCL、ユーフォニックが協力している。5月20日～22日まで一般公開される。