可以透視的黑科技:隔著牆都能看見你在幹嘛

MIT計算機科學及人工智慧實驗室團隊設計出一套人體姿態估計系統,通過無線信號,就能“穿牆而過”,精確監測出視線外的受試者的姿態及運動。

圖1 通過人體姿態估計系統得到的2d骨架輪廓。(來源:mit csail)圖1 通過人體姿態估計系統得到的2d骨架輪廓。(來源:mit csail)

所謂人體姿態估計(human pose estimation),是指從人體圖像中提取出手臂、腿部的關節,以及軀幹和頭部的關鍵點,並用這些信息重新組成2D的人體骨架。通俗點說,就是把人簡化成“火柴人”的模樣。作為機器視覺的重要分支,人體姿態估計在行為識別、監控、遊戲等場景中都有重要套用。

不過,以往的人體姿態估計是通過相機拍攝的圖像實現的,因此當人體被牆壁等物體遮擋時,姿態估計將面臨困境:如果人體被部分遮擋,人們還可以通過可視的部位,粗略推測身體其餘部位的位置;而當障礙物將人完全遮住,設備就將束手無策了。

要估計出牆另一側的人體姿態,透視是必不可少的。一個容易想到的方案是X射線,不過,這需要被測者完全處於X射線輻射中,這在現實中顯然不切實際。

用“Wi-Fi”信號識別姿態

MIT計算機科學及人工智慧實驗室(CSAIL)的研究人員另闢蹊徑,他們使用的手段是無線信號——沒錯,我們每天都在用的Wi-Fi就是最典型的無線信號。相比於標準的Wi-Fi信號,這項研究使用的信號強度還要低1000倍。

由於人體的高含水量,無線信號難以穿透,因此信號在遇到人體時會反射回來,重新穿過牆體,從而被另一側的探測器接收。

從原理上看,用無線信號進行穿牆的監測絲毫不複雜,但真正困難的地方在於,探測器收到的信號十分嘈雜——不僅有人體反射回的信號,還有經過其他反射途徑收集到的信號。“從牆壁直接反射回來的信號,要比穿過牆體、經人體反射,再一次穿過牆體後收到的信號強得多。”這項研究的共同作者之一,MIT的計算機科學家Dina Katabi說。因此,他們決定設計一套名為RF-Pose的AI系統,通過神經網路學習估計人體姿態。

研究團隊所面臨的一項挑戰,是訓練樣本的標記問題。在通常的神經網路訓練過程中,人們需要首先對海量圖片庫進行標註,例如,告訴AI這張圖片上的是貓。這樣,AI才能通過大量圖片進行學習。然而,在這個特定的問題中,研究者很難對圖片中的人體姿態進行標記。

為此,研究人員想到了用無線設備和相機同時採集數據的方法。在MIT校園的50個地點,他們進行了超過50小時的數據收集。他們在辦公室、咖啡廳、樓梯、走道等場所,採集了數千名學生行走、交談、靜坐、開窗、站立等日常活動的照片。

圖2數據採集地點遍布MIT校園圖2數據採集地點遍布MIT校園

隨後,他們從相機拍攝的照片中,將學生們的輪廓簡化成骨架,並連同相應的無線信號送至神經網路。這樣,神經網路就能學習各種場景下的骨架與無線信號間的對應關係。經過訓練,RF-Pose僅僅依靠從人體反射回的無線信號,就能精準預測一個人的姿態及行動。

值得注意的是,RF-Pose從未接受過“穿牆透視”的姿態判斷訓練。原因很簡單,相機無法拍攝牆壁後的學生。因此,當MIT團隊發現他們的系統能運用所學的知識來處理隔牆的情形時,也感到十分驚訝。“如果你將計算機視覺系統看作教師,這個案例向我們展示了學生是如何勝過老師的。”這項研究的參與者之一,Antonio Torralba教授說道。

圖3原始圖像(上)、關鍵點置信圖(中)及生成的2D骨架圖(下)(來源:研究論文)圖3原始圖像(上)、關鍵點置信圖(中)及生成的2D骨架圖(下)(來源:研究論文)

廣闊前景Vs隱私擔憂

除了反映被測者的姿態及運動,這項技術甚至能夠進行個體識別。在測試中,RF-Pose從100名志願者中識別個體的正確率高達83%。“不僅是位置,”Katabi說,“系統監測的是精確的移動。因此,如同人們的指紋,系統得到的步態也是你獨一無二的特徵,能將你和其他人區分開。”該團隊的下一步工作,是將2D的姿態估計拓展至3D,如能實現,它將反映出更加微幅的運動。這一技術具有重要的實用場景:如果檢測到一位老人的手在規律性地微幅抖動,系統就可以建議被測者去做帕金森病的檢查。

研究團隊表示,他們希望將這套系統用於帕金森病、多發性硬化等疾病的監測,從而幫助人類理解疾病的進程。為此,他們正與醫院合作,以探索在醫療領域的套用。此外,這項技術也可能降低老年人群獨立生活的風險:一旦出現突然跌倒、受傷等情況,系統可以向監護人立即發出警報。

這項技術在令人驚嘆之餘,也不免讓人擔心,會不會始終處於無形的監控之下。為了保護使用者的隱私,研究團隊收集的所有匿名數據都得到了被測者的同意,並進行加密。而在今後的實際套用中,研究者表示,他們計畫建立“同意機制”,使用者可以通過特定的動作開啟監控。這項工作將在本月的計算機視覺及圖像識別會議(Conference on Computer Vision and Pattern Recognition)上進行展示。

相關知识

熱門知识

熱門詞條