Intel RealSense D435i(實感技（jì）術)概覽，本文對（duì）Intel RealSense D435i 3D麵（miàn）部和動作捕（bǔ）捉功能做簡要介紹

前段時間CES的報道滿天飛，網上逛了幾圈，感覺料猛的還數Intel：老樹開新花（huā），推（tuī）出14nm的第五代酷睿處理器；在智能可穿戴設備及物聯網上雄起；RealSense實感技術開啟未（wèi）來人機交互模式。之前總聽老哥講，鼠標鍵盤這些傳統交互模（mó）式統治了二三（sān）十年，目前跟蹤（zōng）識別爆火且技術趨於（yú）成熟，新的（de）交互革命快要打（dǎ）響了。看RealSense這陣勢，估計不出三五年新（xīn）的交互便會普及開來。

英特爾早在2012年左右就著重研發（fā）實感技術，當時叫Perceptual Computing，即感知計算，並開放英特爾® 感知計算（suàn）軟件開發套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎舉辦因（yīn）特爾感（gǎn）知計算挑戰賽，吸引（yǐn）眾多開發者參與（yǔ）。隨著技術完善與成熟（shú），2014年初更名為（wéi）RealSense，即實感技術，而後發布了新的Intel® RealSense™ SDK 2014 ，同時（shí）舉行2014英特爾®RealSense™應用（yòng）挑戰賽。

基於此技術的應用在IDF2014及今年CES上（shàng）大（dà）放異彩。

Intel® RealSense™ SDK的架構（gòu）：SDK core,I/O module和Capability modules組成整個SDK堆棧的基（jī）礎。SDK core管理I/O module和Capability modules同時組織並管理管線（xiàn）的執行。I/O module捕獲設備的輸入數據而後發送數據到輸出設備或Capability modules。Capability modules也叫algorithm modules，主要包括各種模式檢測和識別算法（麵部跟蹤和檢測、手（shǒu）部跟蹤、手勢識別、語音識別及合成等（děng））。

各功能：手部和手指跟蹤、麵（miàn）部分析、語音識別、背景移除、目標跟蹤、增強現實、3D掃描（miáo）。

1. 手

SDK將手抽象出骨（gǔ）架，並從背景中剝離出來。允許在照相機的0.2–1.2米範圍（wéi）內跟（gēn）蹤手上的22個點的位置和（hé）方向（xiàng），如圖。左右（yòu）手是區分的，因而可以雙手進（jìn）行交互。

手勢識別：包括靜態手（shǒu）勢識別和動態手勢識別。SDK中內嵌了（le）一（yī）係列手勢如下圖。你可（kě）以用內嵌（qiàn）的這些手勢組合出新的手勢，也可以根據手（shǒu）骨架上那22個點位置創建出新的手勢。

動態手勢識別：靜態手勢可以單獨使用，當然也可以組合（hé）使用形成一（yī）定（dìng）的動作。組合（hé）時要（yào）求開始的手勢和結束的手（shǒu）勢都已（yǐ）在手勢識別係統中注冊。

SDK給出了一係列動作如下：

2．臉

臉部（bù）檢測：SDK提供（gòng）準確（què）的3D臉部檢測和跟蹤，且可以同時跟蹤4張人臉。每張人臉用長方形來標記，你可以獲得長方形的XYZ坐標。與2D跟蹤相比，3D頭部跟（gēn）蹤（zōng）在頭部運動方麵更給力。

臉部識別：SDK提供識別特定人臉的能力（lì）。特定ID對應注冊的特定人臉，並將此人臉的信息存儲到人臉庫的內存中（zhōng）。如果同（tóng）張人臉被注冊多次，那這張人臉被正確識別的機會將會增大。當沒被識別的人臉出現時，識別模塊將與數（shù）據庫中的可能數據進行比（bǐ）對，如果找（zhǎo）到匹配則返回此人臉對應的ID。

用戶不用擔心自己的頭像被存儲，因為存儲的隻是算法從圖像中提（tí）取的特征的集合。

頭的運動：SDK提（tí）供頭部運動的3D方（fāng）向：俯仰、左右轉動、左右偏轉，如圖。

所以可以輕鬆獲（huò）得用戶頭部指向哪裏。也可以以此做粗略的眼神跟蹤，下一版將（jiāng）會推出更精細的眼神跟蹤。

標記點跟（gēn）蹤：SDK提供臉部78個標記點的跟蹤以提高臉部識別和分析的準確度。在圖像（xiàng）和坐（zuò）標係中給出（chū）這78個標記點（diǎn）的位置。臉部標記點跟蹤支持頭像創建、臉部動畫、擬（nǐ）態及簡單的表情識別。可以直接用這些點或這些點的相對位置來作分析。不管你有沒（méi）有劉海、戴不戴眼鏡，這種標記點跟蹤都支持。但用戶頭部在屏幕30度內效果*好。

麵部表情識（shí）別：SDK也包（bāo）括更高（gāo）級的麵部表情識別。這使得你創建卡通（tōng）頭像更（gèng）簡單。每一（yī）種表情有1到100的強（qiáng）度等（děng）級使得你做的動畫更平滑自然（rán）。SDK中表情（qíng）：

情感識別：SDK中的情感識別算法用的是（shì）2D RGB數據。情感模塊是獨立的模塊，並非臉部模塊的一部分。為保障情（qíng）感識別正常工作，圖像中的人臉至少要有48×48個（gè）像素。此算法並不局限於RGB數據，灰度數據同樣可行。利用（yòng）SDK，你可以檢測並估計以下六種原（yuán）始情感的強度（dù）。

頭像控製：SDK通過結（jié）合麵部表情及78個標記點提供簡單的頭像控製功能。SDK提供動畫角色的示例代碼，使你的應用可（kě）以適應任何臉型並把用戶頭像動畫化。

應用場景：

3. 語（yǔ）音

主要包（bāo）括語音（yīn）命令（lìng）和控製、聽寫（xiě）、從文字轉譯成語音（yīn）等功（gōng）能。隻支持英語，語音（yīn）識別對成年人效（xiào）果*好。

語音識別：分為命令模式和聽寫模式。命令模式需提前設定命令列（liè）表，特定命令綁定特定動作。聽寫（xiě）模式內置了一個通用的詞典，包括50k個常用單詞。如果你覺得不夠用（yòng），也可以自己（jǐ）添加詞（cí）典中沒有的單詞。聽寫模式限時30秒。命（mìng）令和聽（tīng）寫（xiě）模式不可同時開啟。

語音分析：SDK也可以根據文本動態的（de）生成語音，由（yóu）女聲讀出。

4. 背景移除

可以實（shí）時的移除（chú）背景並替換成新的（de）背景。

應用場景：

5. 目標跟蹤

Metaio*3D目標跟蹤模塊提供（gòng）基於光學的跟（gēn）蹤技（jì）術，可以跟蹤視頻（pín）序列或場景中的目標物。Metaio工具箱可（kě）以訓練、創建並編輯（jí）3D模型，這些模型（xíng）可以傳（chuán）給各（gè）種目標檢測及跟蹤算法。

跟蹤（zōng）技術支持平麵的2D目標跟蹤、基於特征的3D跟蹤、CAD模型的基於邊界的3D跟蹤（zōng）及即時3D跟蹤。

6. 增（zēng）強現實

用音頻、視頻（pín）、圖像或其他信息來添加、增強或補充英特爾實感技術遊戲的內容。

7. 三維掃描和打印

可以掃描、編輯、打印和分享三維物體（tǐ），並與 3D Systems展開合作。

目前（qián）因特爾已經與騰訊合作（zuò）創立遊戲創新實驗室，推進實感技術，並打造了《軒轅傳奇》。與京東合作建立“京東因特爾聯合創新實驗室”，推出虛擬試（shì）衣、3D物品展示等，使實感技術落地電商平（píng）台。同時因特爾自己也在不斷推出自己的實感技術產品。這不前兩天在北京推出其全新的第五代酷睿處理器家族（zú），搭載此處理（lǐ）器的多款產品還配備了英特爾實感技術，看來這項技術很（hěn）快就會遍（biàn）地開花（huā）。

隻要你（nǐ）的處理器是第四代及四代以後英特爾® 酷睿™處理器，操作係統滿足Microsoft* Windows 8.1（僅限64 bit），再外購一（yī）個英特爾® RealSense™ 3D 攝像頭就可以下載SDK玩（wán）起來。估計不久聯（lián）想、戴爾、華碩（shuò）、宏基（jī）、惠普等（děng）等搭載第五代酷睿處理器並內嵌因特爾3D攝（shè）像頭的超（chāo）很（hěn）本、二合（hé）一及一體機設備就會上市，那時（shí）玩起來會更爽。

資料來源：RealSenseSDKdesignGuidelinesGold

補充一點自己的實際體會：

1.基於結構（gòu）光方案的深度相機（jī），受光線影響（xiǎng）很大（dà），下午太陽光照進來，深度數據殘缺嚴重，這個就是所（suǒ）謂的激光散斑受強光淹沒掉了。

2.手勢識別中，靜態手勢，手型（xíng）識別效果（guǒ）不錯。同時，對（duì）著深度相機方向的手勢運動，識別效果也不錯。但（dàn）左右方向的運動手（shǒu）勢，效果很差。主要是視場角小（xiǎo），深度數（shù）據殘缺嚴重。

3.SDK可支持多個設備同（tóng）時鏈接 。采（cǎi）用一台設備（bèi），一個線程來管（guǎn）理維護。線程內部，SDK所有功能都支持。也就是多個設備互不影（yǐng）響。

4.手勢（shì），采用22點骨架模型（xíng）。大（dà）致的（de）手型是（shì）可以捕捉的， 但是容易受到（dào）環境光影響，在準確獲取手部動作時還是考慮使用專業的數據手（shǒu）套設備，比如WONGLOVE數（shù）據手套。

5.手勢識別，在20~55cm範圍內可（kě）用。其實，整體來看，隻能是小範圍運動情況了。