解密微軟HoloLens:下一代計算平臺在眼鏡端?
2015年1月,解密計算微軟發布了其自主研發的微軟全息智能眼鏡Hololens,這款眼鏡與市面上虛擬現實眼鏡及增強現實眼鏡有很大的下代不同,它可以通過識別周圍環境和用戶的平臺動作,通過See-Through的眼鏡全系波導顯示方案,給用戶帶來全息的解密計算視覺體驗。Hololens于2016年第1季度接受開發者預定,微軟并于第2季度陸續發貨,下代其售價為3000美元。平臺

拋 開Magic Leap等神秘黑科技不說,眼鏡Hololens可以說是解密計算目前體驗最好的一款AR和MR設備了,從它的微軟名字上就可以看出微軟的野心,Holo是下代全系的意 思,lens是平臺鏡片的意思,微軟并沒有跟風Google glass,眼鏡叫Microsoft glass或者Hologlass,因為Glasses是框架式的眼鏡,Contact lens是隱形眼鏡,這么一看,lens就比glass高大上了很多。隨著光電技術的發展,顯示鏡片也許真的就和隱形眼鏡一樣了,由此可見 Hololens格局就比Google glass大了許多。

Hololens全系智能眼鏡以及適配器、Micro USB數據線、備用鼻托、Clicker、說明書、眼鏡布等配件。
Hololens硬件平臺采用Intel X86 32位處理器,配合這顆處理器還有一顆專門用于全息影像和環境感知的全系處理單元(HPU),它搭載2GB的RAM和64GB的ROM,并且支持藍牙和WiFi。
作為人工智能的延伸,要理解環境和人的意圖,HoloLens還必須要有強大的傳感器做支撐,在眼鏡的左前方和右前方,總共有4顆環境感知攝像頭,在眼鏡前 方正中間,有一顆普通RGB攝像頭和一顆深度攝像頭,這些攝像頭主要利用紅外技術來進行手勢識別和環境場景的實時建模。
Hololens上還搭載了4顆高靈敏度麥克風,可以拾取不同角度的環境聲音和語音指令。除此之外,智能手機上具有的慣性傳感器、陀螺儀、環境光傳感器也是應有盡有,其中慣性傳感器和陀螺儀主要用來識別人體頭部的姿態。在眼鏡兩側耳朵的位置處,有一對立體聲的揚聲器,系統通過算法對這兩個揚聲器進行控制,可以模擬出3D音效。除此之外,Clicker小配件可以通過藍牙和Hololens相連,取代手勢來和眼鏡進行交互。

Hololens 要實現全系顯示和環境感知、手勢識別等功能,勢必需要較強的硬件性能,高性能必然帶來高功耗,微軟官方沒有公開Hololens整機的功耗和電池容量,但 根據實際體驗,大概可以使用3小時左右,對于一款體驗為主的產品來說也夠用了,據筆者估算,Hololens的功耗應該在6-8W,電池容量應該在 5000-6000mAh左右。
Hololens的重量為550g左右(1斤多),很難想象1斤重的眼鏡戴在頭上是什么感受,但Hololens的設計很巧妙,眼鏡的內側有一個環形的頭架,在佩戴的時候,將這個頭架調節到合適的大小,使其壓在前額上部,可以大大減輕眼鏡對鼻托的壓力。

說到全系顯示,就不得不提微軟的光學顯示方案,Hololens采用的是全息波導顯示技術,其光學鏡片厚度有3-4mm,視場角有30度左右。
這種顯示技術相對于Google glass采用的棱鏡反射技術和Meta2采用的離軸反射技術相比,具有厚度和體積小,色彩還原真實等優點,可以比較容易做成普通眼鏡的外觀。
和 全息波導顯示技術相對應的還有一種幾何波導顯示技術,幾何波導鏡片可以做得更薄,目前的技術可以做到1.7mm的厚度,視場角可以做到60度。但這兩種波 導技術目前最大的缺點就是加工工藝和加工難度較高,可量產性不是很好,因此成本比較高。筆者猜測,Hololens光學鏡片的成本可能會占到其整機的 1/3。

Hololens搭載的是基于Windows 10系統打造的全系操作系統,名字叫Windows Holographic。
該系統界面也是延續Windows 10的Metro風格界面,系統設計是根據眼鏡的交互方式做的。Holographic內部的全息應用程序叫做Hologram,開發者可以在Holostudio中利用Holographic的工具創建全息的3D模型。
目前微軟已經宣布向Intel、高通等公司開放該系統,這有點類似于微軟在PC領域推廣Windows操作系統,先構建系統和生態,再讓其他廠商和開發者加入自家的陣營,從而占領市場,微軟有了在Windows PC和Windows Mobile上的經驗,現在在AR和MR領域駕輕就熟。
在開發Hololens應用之前,開發者需要安裝Visual Studio 2015以上版本、Windows10 SDK、Hololens模擬器以及Unity Hololens技術預覽版,這些工具都可以在微軟官網上下載到。目前微軟官網上有已經有詳細的開發指導文檔,開發者可自行了解。
Hololens 內置了一款名為Young Conker的跑酷游戲,當你點擊開始游戲后,HoloLens首先會提示你先spatical mapping,即你要先對你所在的房間進行掃描,你會看到你掃描的地方都會出現一層類似龜裂一樣的藍色網塊,當HoloLens識別出你所在的整個房間 范圍,以及房間內的一些具體物件后,開始進入游戲,你可以通過凝視焦點的移動來控制游戲中小狐貍的行動軌跡,游戲中的小狐貍便會在你的房間里和你一起“闖 關”。


前文提到了,Hololens內部集成了深度攝像頭和多個傳感器,CPU獲得這些傳感器數據以后,利用Sensor fusion技術,可以實現多種交互方式。
Hololens支持手勢、凝視、語音等交互方式。目前,Hololens支持的手勢交互主要有以下幾種:
食指點擊為確認;
食指和拇指捏和為拖動;
綻放手勢,即手掌朝上,五指收攏,然后再打開,這個手勢為打開開始菜單。
凝視交互,并不是眼球追蹤,不能通過眼球的移動來移動光標,眼睛需要盯著光標并且移動頭部,才能移動光標。通過以上兩種方式就可以滿足大部分的交互需求了。
語音交互有點類似于蘋果的Siri,這里就不過多介紹了。除此之外,還有上文提到的藍牙遙控器Clicker。

Hololens的頭部姿態的追蹤主要還是依靠陀螺儀和慣性傳感器來實現,因為頭部姿態主要分為XYZ三個維度的位移和角度,這個技術和目前智能手機上使用的類似,比如手機上的賽車游戲都需要追蹤手機的姿態。
Hololens的手勢識別主要是是依靠深度攝像頭,類似于微軟自家Xbox上面的Kinect,目前利用深度信息來獲取手勢數據的技術主要有TOF、結構光技術、雙目攝像頭。
據筆者了解,Hololens采用的是TOF技術,這種技術是通過紅外測距的原理來獲得Z軸的信息,最后獲得一系列深度圖,通過圖像處理的方式再計算出具體的手勢。由于深度攝像頭使用的是紅外光,在室內體驗時,手勢識別的準確度還是比較高,但在戶外陽光下,識別效果會有所打折,因為太陽光中的紅外成分會對深度攝像頭造成一定的影響。

Hololens還具有環境感知能力,在使用一些應用的時候,兩側的4顆IR攝像頭會對環境進行掃描,從而構建出外界環境的3D模型。
這項技術叫做SLAM技術,即實時定位與地圖構建技術,SLAM技術之前在機器人和無人機領域應用比較多,因為這兩類智能硬件需要實時掌握自己在環境中的位置,這項技術的發展,也會推動VR、AR、MR的發展。
Hololens中有些應用在體驗之前,會引導用戶轉動頭部來掃描房間的信息,IR攝像頭通過測量各個方向的深度信息,以便生成房間的3D模型,在游戲過程中,出現的3D效果都會和房間的實際結構相融合,從而達到MR的效果。
Hologram有一個很重要的關鍵詞——“錨定”,比如打開的一個宇航員模型,就好像錨定在環境空間中,宇航員模型不會隨著人的移動而移動,因此人可以在空間中360度對其進行觀察,給人一種全息的感覺。這些體驗都是得益于SLAM技術和微軟的HPU。

有人說,Hololens是微軟將計算平臺從PC端和手機端搬到眼鏡端的一項重大舉措,是繼iPhone之后的又一大科技革命。
這樣的論斷筆者暫時不做評論,但從近代科技發展的趨勢來看,個人電腦、功能手機、智能手機……消費電子的發展都是為滿足人類更高效的生活、娛樂、辦公,每一代產品的革新,都是伴隨著更低的成本、更自然的交互,更好的體驗。
從這一點上來看,AR和MR符合歷史發展的規律,在不久的將來,勢必會取代個人電腦和智能手機,成為下一代計算平臺,微軟等巨頭在這個領域的布局,勢必會加快這個節點的到來。
更多精彩內容訪問news.znds.com

拋 開Magic Leap等神秘黑科技不說,眼鏡Hololens可以說是解密計算目前體驗最好的一款AR和MR設備了,從它的微軟名字上就可以看出微軟的野心,Holo是下代全系的意 思,lens是平臺鏡片的意思,微軟并沒有跟風Google glass,眼鏡叫Microsoft glass或者Hologlass,因為Glasses是框架式的眼鏡,Contact lens是隱形眼鏡,這么一看,lens就比glass高大上了很多。隨著光電技術的發展,顯示鏡片也許真的就和隱形眼鏡一樣了,由此可見 Hololens格局就比Google glass大了許多。
Hololens硬件構成

Hololens全系智能眼鏡以及適配器、Micro USB數據線、備用鼻托、Clicker、說明書、眼鏡布等配件。
Hololens硬件平臺采用Intel X86 32位處理器,配合這顆處理器還有一顆專門用于全息影像和環境感知的全系處理單元(HPU),它搭載2GB的RAM和64GB的ROM,并且支持藍牙和WiFi。
作為人工智能的延伸,要理解環境和人的意圖,HoloLens還必須要有強大的傳感器做支撐,在眼鏡的左前方和右前方,總共有4顆環境感知攝像頭,在眼鏡前 方正中間,有一顆普通RGB攝像頭和一顆深度攝像頭,這些攝像頭主要利用紅外技術來進行手勢識別和環境場景的實時建模。
Hololens上還搭載了4顆高靈敏度麥克風,可以拾取不同角度的環境聲音和語音指令。除此之外,智能手機上具有的慣性傳感器、陀螺儀、環境光傳感器也是應有盡有,其中慣性傳感器和陀螺儀主要用來識別人體頭部的姿態。在眼鏡兩側耳朵的位置處,有一對立體聲的揚聲器,系統通過算法對這兩個揚聲器進行控制,可以模擬出3D音效。除此之外,Clicker小配件可以通過藍牙和Hololens相連,取代手勢來和眼鏡進行交互。

Hololens 要實現全系顯示和環境感知、手勢識別等功能,勢必需要較強的硬件性能,高性能必然帶來高功耗,微軟官方沒有公開Hololens整機的功耗和電池容量,但 根據實際體驗,大概可以使用3小時左右,對于一款體驗為主的產品來說也夠用了,據筆者估算,Hololens的功耗應該在6-8W,電池容量應該在 5000-6000mAh左右。
Hololens的重量為550g左右(1斤多),很難想象1斤重的眼鏡戴在頭上是什么感受,但Hololens的設計很巧妙,眼鏡的內側有一個環形的頭架,在佩戴的時候,將這個頭架調節到合適的大小,使其壓在前額上部,可以大大減輕眼鏡對鼻托的壓力。

說到全系顯示,就不得不提微軟的光學顯示方案,Hololens采用的是全息波導顯示技術,其光學鏡片厚度有3-4mm,視場角有30度左右。
這種顯示技術相對于Google glass采用的棱鏡反射技術和Meta2采用的離軸反射技術相比,具有厚度和體積小,色彩還原真實等優點,可以比較容易做成普通眼鏡的外觀。
和 全息波導顯示技術相對應的還有一種幾何波導顯示技術,幾何波導鏡片可以做得更薄,目前的技術可以做到1.7mm的厚度,視場角可以做到60度。但這兩種波 導技術目前最大的缺點就是加工工藝和加工難度較高,可量產性不是很好,因此成本比較高。筆者猜測,Hololens光學鏡片的成本可能會占到其整機的 1/3。

Hololens軟件系統
Hololens搭載的是基于Windows 10系統打造的全系操作系統,名字叫Windows Holographic。
該系統界面也是延續Windows 10的Metro風格界面,系統設計是根據眼鏡的交互方式做的。Holographic內部的全息應用程序叫做Hologram,開發者可以在Holostudio中利用Holographic的工具創建全息的3D模型。
目前微軟已經宣布向Intel、高通等公司開放該系統,這有點類似于微軟在PC領域推廣Windows操作系統,先構建系統和生態,再讓其他廠商和開發者加入自家的陣營,從而占領市場,微軟有了在Windows PC和Windows Mobile上的經驗,現在在AR和MR領域駕輕就熟。
在開發Hololens應用之前,開發者需要安裝Visual Studio 2015以上版本、Windows10 SDK、Hololens模擬器以及Unity Hololens技術預覽版,這些工具都可以在微軟官網上下載到。目前微軟官網上有已經有詳細的開發指導文檔,開發者可自行了解。
Hololens 內置了一款名為Young Conker的跑酷游戲,當你點擊開始游戲后,HoloLens首先會提示你先spatical mapping,即你要先對你所在的房間進行掃描,你會看到你掃描的地方都會出現一層類似龜裂一樣的藍色網塊,當HoloLens識別出你所在的整個房間 范圍,以及房間內的一些具體物件后,開始進入游戲,你可以通過凝視焦點的移動來控制游戲中小狐貍的行動軌跡,游戲中的小狐貍便會在你的房間里和你一起“闖 關”。


Hololens交互體驗
前文提到了,Hololens內部集成了深度攝像頭和多個傳感器,CPU獲得這些傳感器數據以后,利用Sensor fusion技術,可以實現多種交互方式。
Hololens支持手勢、凝視、語音等交互方式。目前,Hololens支持的手勢交互主要有以下幾種:
食指點擊為確認;
食指和拇指捏和為拖動;
綻放手勢,即手掌朝上,五指收攏,然后再打開,這個手勢為打開開始菜單。
凝視交互,并不是眼球追蹤,不能通過眼球的移動來移動光標,眼睛需要盯著光標并且移動頭部,才能移動光標。通過以上兩種方式就可以滿足大部分的交互需求了。
語音交互有點類似于蘋果的Siri,這里就不過多介紹了。除此之外,還有上文提到的藍牙遙控器Clicker。

Hololens的頭部姿態的追蹤主要還是依靠陀螺儀和慣性傳感器來實現,因為頭部姿態主要分為XYZ三個維度的位移和角度,這個技術和目前智能手機上使用的類似,比如手機上的賽車游戲都需要追蹤手機的姿態。
Hololens的手勢識別主要是是依靠深度攝像頭,類似于微軟自家Xbox上面的Kinect,目前利用深度信息來獲取手勢數據的技術主要有TOF、結構光技術、雙目攝像頭。
據筆者了解,Hololens采用的是TOF技術,這種技術是通過紅外測距的原理來獲得Z軸的信息,最后獲得一系列深度圖,通過圖像處理的方式再計算出具體的手勢。由于深度攝像頭使用的是紅外光,在室內體驗時,手勢識別的準確度還是比較高,但在戶外陽光下,識別效果會有所打折,因為太陽光中的紅外成分會對深度攝像頭造成一定的影響。

Hololens還具有環境感知能力,在使用一些應用的時候,兩側的4顆IR攝像頭會對環境進行掃描,從而構建出外界環境的3D模型。
這項技術叫做SLAM技術,即實時定位與地圖構建技術,SLAM技術之前在機器人和無人機領域應用比較多,因為這兩類智能硬件需要實時掌握自己在環境中的位置,這項技術的發展,也會推動VR、AR、MR的發展。
Hololens中有些應用在體驗之前,會引導用戶轉動頭部來掃描房間的信息,IR攝像頭通過測量各個方向的深度信息,以便生成房間的3D模型,在游戲過程中,出現的3D效果都會和房間的實際結構相融合,從而達到MR的效果。
Hologram有一個很重要的關鍵詞——“錨定”,比如打開的一個宇航員模型,就好像錨定在環境空間中,宇航員模型不會隨著人的移動而移動,因此人可以在空間中360度對其進行觀察,給人一種全息的感覺。這些體驗都是得益于SLAM技術和微軟的HPU。

結語
有人說,Hololens是微軟將計算平臺從PC端和手機端搬到眼鏡端的一項重大舉措,是繼iPhone之后的又一大科技革命。
這樣的論斷筆者暫時不做評論,但從近代科技發展的趨勢來看,個人電腦、功能手機、智能手機……消費電子的發展都是為滿足人類更高效的生活、娛樂、辦公,每一代產品的革新,都是伴隨著更低的成本、更自然的交互,更好的體驗。
從這一點上來看,AR和MR符合歷史發展的規律,在不久的將來,勢必會取代個人電腦和智能手機,成為下一代計算平臺,微軟等巨頭在這個領域的布局,勢必會加快這個節點的到來。
更多精彩內容訪問news.znds.com
(責任編輯:焦點)
推薦文章
-
小龍斯派羅三部曲是款根據同名動漫制作的冒險游戲,這款游戲最近公布了新的預告視頻以及一些游戲內容,據官方表示游戲可以在原聲和新音軌進行自由切換,下面內容大家可以了解一下。動視在這次的圣地亞哥動漫展中向玩
...[詳細]
-
固然下月便將迎去Windows 10 v2004蒲月更新,可最新統計隱現,當前保有量最下的Windows 10版本是客歲上半年推支的v1903Windows 10 2019四月更新)。詳細去講,v19
...[詳細]
-
來日誥日4月27日)科樂好民圓頒布收表,卡牌游戲《游戲王:決斗者遺產鏈接退化》正在 Switch 仄臺的總銷量已沖破了50萬份,為了感激各位《游戲王》粉絲的愛好,《游戲王:決斗者遺產鏈接退化》古晨正正
...[詳細]
-
《刺猬索僧克》真人改編電影獲得了巨大年夜的勝利,影片上映10天齊球票房超越了2.1億好圓。但是按照導演Jeff Fowler,影片的絕散古晨借出有正在開辟中。比去Jeff Fowler背中媒USA T
...[詳細]
-
SNK女格斗家大亂斗是SNK系列新作,這款游戲將在9月初發售,最近關于游戲新預告視頻放出,向玩家們展示了女角色特瑞,可能很多玩家也是非常感興趣,到底這個角色怎么樣呢,大家可以看看下面預告。《SNK女格
...[詳細]
-
MOD建制者rmemr戰Gerignak公布了一款《巫師3》的MOD,那款MOD為游戲中的統統NPC更新了更下品量的頭部模型,劣化了嘴型動做,借刪減了暗影辯白率。總之統統遠景動繪中的NPC肖像皆將變得
...[詳細]
-
本日4月28日),好國評級網站ESRB正式公布了《八圓旅人》戰《盡天供逝世》Stadia版的評級,均為T級Teen)13+,古晨那兩款游戲借出有正式公布將登岸Stadia仄臺。此中,《盡天供逝世》的評
...[詳細]
-
河洛工做室新做《俠隱閣》于本日4月27日)公開正式預報片,游戲主創緩昌隆表示,但愿經由過程那個預報能讓玩家們對游戲的內容有更深切的體會。《俠隱閣》正式預報:正在公開正式預報的同時,河洛工做室圓里頒布收
...[詳細]
-
在一個幽靜的森林(forest)里,生在世一棵榕樹和一條小溪(brook),榕樹爺爺每日早晨都會叫小溪妹妹起床,而且給她喂果子。原來小溪妹妹對大榕樹挺尊敬的,可是到了現在,她改變了看法。因為榕樹爺爺變
...[詳細]
-
本日4月25日),《貪玩藍月》民圓微專公布動靜,呈現了只剩一天的倒計時海報,民微表示嫡4月26日)將公布《貪玩藍月》4周年重磅動靜。沒有曉得正在張家輝、古天樂戰陳小秋等一票明星以后,《貪玩藍月》是沒有
...[詳細]

小熊的圣誕禮物的故事
更逝世頒布收表:《Apex豪杰》第五賽季延期一個禮拜
摹擬游戲《食人鯊》齊新截圖放出 猖獗沙魚血腥殛斃
《深巖銀河》將于5月13日正式出售 代價沒有會上漲
《西游:筆繪西行》1.1(下)新版本「牧野山垂」現已開啟
