眼動(dòng)追蹤越發(fā)成為頭顯的標(biāo)準(zhǔn)配置，各家廠商都在積極探索精確、輕型、緊湊和高成本效益的眼動(dòng)追蹤系統(tǒng)。早前映維網(wǎng)已經(jīng)分享了一系列與所述主題相關(guān)的廠商發(fā)明，而美國專利商標(biāo)局日前又公布了一份名為“Distributed sensor module for eye-tracking”的Meta專利申請(qǐng)。
對(duì)于眼動(dòng)追蹤，其中一個(gè)挑戰(zhàn)是需要將功耗降到最低，從而優(yōu)化可穿戴設(shè)備的形狀參數(shù)設(shè)計(jì)和續(xù)航能力。一種降低功耗的方法是利用機(jī)器學(xué)習(xí)來執(zhí)行目標(biāo)追蹤，但所述方式需要一個(gè)大型網(wǎng)絡(luò)，而這不可避免地會(huì)產(chǎn)生功耗，并且不能提供足夠精確的結(jié)果。
為了解決上述問題，Meta希望通過一個(gè)分布式設(shè)置來減少功耗，并提供足夠精確的結(jié)果。簡(jiǎn)單來說，可以由頭顯搭載一個(gè)傳感器模塊，并由在與頭戴式設(shè)備分離的本地計(jì)算設(shè)備中實(shí)現(xiàn)一個(gè)中央模塊。然后，傳感器模塊來檢測(cè)來自下采樣圖像的特征，從而執(zhí)行對(duì)象追蹤，而中央模塊可處理傳感器模塊的任何潛在請(qǐng)求/服務(wù)。
所述分布式傳感器模塊包括攝像頭、存儲(chǔ)單元、檢測(cè)單元和計(jì)算單元，并用于通過機(jī)器學(xué)習(xí)模型從下采樣的圖像中有效地檢測(cè)特定特征。以所述方式，傳感器模塊可以生成/計(jì)算特定于特征的圖像，無需過度讀取圖像中的片段并降低功耗。
在一個(gè)實(shí)施例中，攝像頭配置為捕捉描繪用戶眼睛的一個(gè)或多個(gè)用戶圖像，存儲(chǔ)單元配置為存儲(chǔ)圖像，檢測(cè)單元可以從下采樣版本的圖像中檢測(cè)包括用戶眼睛特征的一個(gè)或多個(gè)第一片段，并從存儲(chǔ)單元讀取與下采樣版本圖像中的第一片段相對(duì)應(yīng)的一個(gè)或多個(gè)圖像中的一個(gè)或多個(gè)第二片段。然后，計(jì)算單元可以基于包括圖像中眼睛特征的第二片段來計(jì)算用戶的注視點(diǎn)，而不搜索原始圖像中每個(gè)片段中的特征（這需要額外的時(shí)間和能力來從原始圖像讀取/檢測(cè)每個(gè)片段）。因此，所述傳感器模塊可以在一定程度降低功耗。
圖1示出了具有bounding box110和分割遮罩120的圖像100。在特定實(shí)施例中，機(jī)器學(xué)習(xí)模型接受訓(xùn)練以處理圖像（例如圖像100），并檢測(cè)圖像中的特定對(duì)象。在所述示例中，機(jī)器學(xué)習(xí)模型經(jīng)過訓(xùn)練以識(shí)別人的特征。在特定實(shí)施例中，機(jī)器學(xué)習(xí)模型可以輸出包圍檢測(cè)到的對(duì)象類型實(shí)例（例如人）的bounding box110。矩形bounding box可以表示為四個(gè)二維坐標(biāo)，并表示框的四個(gè)角。在特定實(shí)施例中，機(jī)器學(xué)習(xí)模型可以附加地或可選地輸出識(shí)別屬于所檢測(cè)實(shí)例的特定像素的分割遮罩120。例如，分割遮罩120可以表示為二維矩陣，每個(gè)矩陣元素對(duì)應(yīng)于圖像的像素，而元素的值對(duì)應(yīng)于關(guān)聯(lián)像素是否屬于檢測(cè)目標(biāo)。
圖2A示出了機(jī)器學(xué)習(xí)模型200的架構(gòu)。機(jī)器學(xué)習(xí)模型200配置為將圖像210或圖像的預(yù)處理表示作為輸入，例如三維矩陣，其尺寸對(duì)應(yīng)于圖像的高度、寬度和顏色通道，比方說紅色、綠色和藍(lán)色。機(jī)器學(xué)習(xí)模型200識(shí)別包圍圖像210中的目標(biāo)對(duì)象（例如人）的bounding box212。另外，機(jī)器學(xué)習(xí)模型200配置為讀取圖像210的下采樣版本（例如下采樣圖像218）中的bounding box220中的片段222，并檢測(cè)作為與圖像210中的bounding box212中的目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)區(qū)域（RoI）的區(qū)段222。在特定實(shí)施例中，RoI可包括人、汽車或任何其他類型的對(duì)象。
在一個(gè)實(shí)施例中，可以通過任何可操作的計(jì)算機(jī)視覺技術(shù)來檢測(cè)下采樣圖像218中的RoI。例如，包括RoIWarp for RoI pooling或RoaAign的Mask R-CNN可以處理圖像210以確定作為RoI的bounding box212，并通過使用ROAlign經(jīng)由卷積層214、216將圖像210中的bounding box212映射到特征映射（例如下采樣圖像218中的bounding box220對(duì)應(yīng)于圖像210中的bounding box212），將圖像210卷積到下采樣圖像218中，并在圖像210中輸出與bounding box212中的特征對(duì)應(yīng)的分割遮罩。
在特定實(shí)施例中，機(jī)器學(xué)習(xí)模型200配置為輸出對(duì)象檢測(cè)（例如圍繞人的邊界框的坐標(biāo)）、關(guān)鍵點(diǎn)（例如代表被檢測(cè)人的姿勢(shì)）和/或分割遮罩（例如識(shí)別對(duì)應(yīng)于被檢測(cè)人的像素）。在特定實(shí)施例中，每個(gè)分割遮罩具有與輸入圖像（例如圖像210）相同數(shù)量的像素。在特定實(shí)施例中，分割遮罩中對(duì)應(yīng)于目標(biāo)對(duì)象的像素標(biāo)記為“1”，其余像素則標(biāo)記為“0”，以便當(dāng)分割遮罩覆蓋在輸入圖像上時(shí)，機(jī)器學(xué)習(xí)模型200可以有效地選擇與捕獲圖像中的目標(biāo)對(duì)象相對(duì)應(yīng)的像素，例如包括圖像210中用戶特征的區(qū)段。
Meta指出，機(jī)器學(xué)習(xí)模型的200架構(gòu)旨在降低復(fù)雜性，從而減少處理需求，以在資源有限的設(shè)備產(chǎn)生足夠精確和快速的結(jié)果，并滿足實(shí)時(shí)應(yīng)用的需求，例如每秒10、15或30幀。與基于ResNet或Feature Pyramid Networks（FPN）的傳統(tǒng)架構(gòu)相比，機(jī)器學(xué)習(xí)模型200要小得多，并且可以更快地生成預(yù)測(cè)，例如大約快100倍。
所以，這個(gè)機(jī)器學(xué)習(xí)模型可用于檢測(cè)關(guān)于用戶眼睛的特征（例如用戶眼睛的輪廓），以便實(shí)時(shí)計(jì)算用戶的注視點(diǎn)。
圖2B示出了用于預(yù)測(cè)bounding box、分段遮罩和關(guān)鍵點(diǎn)的機(jī)器學(xué)習(xí)模型201的示例架構(gòu)。機(jī)器學(xué)習(xí)模型201配置為獲取輸入圖像230，并且通過處理圖像230的下采樣版本（例如下采樣圖像234），輸出N個(gè)區(qū)段236。其中，區(qū)段236是下采樣圖像234中的RoI。在特定實(shí)施例中，RoI是用戶的眼睛特征/關(guān)鍵點(diǎn)，例如，用戶眼睛的輪廓、虹膜的邊緣和/或用戶眼球中的反射。
在圖2B中，輸入圖像230包括包圍用戶眼睛特征并由一個(gè)或多個(gè)區(qū)段組成的bounding box232。機(jī)器學(xué)習(xí)模型201處理輸入圖像230的下采樣版本（例如下采樣圖像234），并讀取下采樣圖像234中對(duì)應(yīng)于輸入圖像230中的bounding box232的bounding box236中的區(qū)段，以檢測(cè)包括目標(biāo)眼睛特征的一個(gè)或多個(gè)第一區(qū)段238。因此，當(dāng)需要計(jì)算用戶的注視點(diǎn)時(shí)，用機(jī)器學(xué)習(xí)模型201實(shí)現(xiàn)的追蹤系統(tǒng)可以直接讀取/檢索輸入圖像230中與在下采樣圖像234中用眼睛特征識(shí)別的第一區(qū)段238相對(duì)應(yīng)的區(qū)段240。
在特定實(shí)施例中，輸入圖像230可存儲(chǔ)在存儲(chǔ)器或任何存儲(chǔ)設(shè)備中，這樣，可以簡(jiǎn)單地從存儲(chǔ)器選擇性地讀取下采樣圖像234和描繪眼睛特征的全分辨率圖像的部分（例如下采樣圖像234的至少一部分），從而最小化消耗大量功率的存儲(chǔ)器訪問。
在特定實(shí)施例中，機(jī)器學(xué)習(xí)模型200、201可包括若干高級(jí)組件以檢測(cè)bounding box、關(guān)鍵點(diǎn)和分割掩碼。組件中的每一個(gè)都可以配置為神經(jīng)網(wǎng)絡(luò)。從概念上講，機(jī)器學(xué)習(xí)模型200、201在所示架構(gòu)中配置為處理輸入圖像并準(zhǔn)備表示圖像的特征映射，例如卷積輸出的起始。RPN獲取由神經(jīng)網(wǎng)絡(luò)生成的特征映射，并輸出N個(gè)可能包括感興趣對(duì)象的擬議RoI。
圖3示出了根據(jù)追蹤系統(tǒng)架構(gòu)。追蹤系統(tǒng)300包括至少一個(gè)傳感器模塊310和中央模塊322。傳感器模塊310包括至少一個(gè)攝像頭312，其捕捉用戶的一個(gè)或多個(gè)圖像，而圖像可以是描繪用戶眼睛特征的用戶的一系列幀。傳感器模塊同時(shí)可以包括存儲(chǔ)用戶捕捉的圖像的存儲(chǔ)單元314和檢測(cè)單元316，后者利用機(jī)器學(xué)習(xí)模型來實(shí)現(xiàn)，以在捕獲圖像的下采樣版本中檢測(cè)包含用戶眼睛特征的區(qū)段。傳感器模塊同時(shí)包括計(jì)算單元318，其基于與捕獲圖像的下采樣版本中的檢測(cè)片段相對(duì)應(yīng)的捕獲圖像中的片段來計(jì)算用戶的注視點(diǎn)。
另外，中央模塊322包括至少一個(gè)處理器324，處理器324進(jìn)一步處理來自傳感器模塊310的捕獲圖像320中的用戶的計(jì)算注視點(diǎn)和識(shí)別片段。中央模塊進(jìn)一步包括來自一個(gè)或多個(gè)IMU 328的慣性測(cè)量單元（IMU）數(shù)據(jù)330，所述慣性測(cè)量單元（IMU）數(shù)據(jù)330在帶有傳感器模塊310的頭戴式設(shè)備中實(shí)現(xiàn)。例如，中央模塊322基于所拍攝圖像的所識(shí)別片段中的特征，以及從IMU 328發(fā)送的IMU數(shù)據(jù)330中提供的camera姿勢(shì)、速度、加速度和運(yùn)動(dòng)來估計(jì)用戶的狀態(tài)，另外，中央模塊322可以利用用戶的狀態(tài)來細(xì)化捕獲圖像中的片段，并將用戶326的細(xì)化片段/注視點(diǎn)提供給傳感器模塊310。
在特定實(shí)施例中，中央模塊322可以為用戶320的計(jì)算注視執(zhí)行廣泛的服務(wù)，以降低功耗，例如在本地或全局定位用戶/設(shè)備（例如遠(yuǎn)程定位服務(wù)334）。在特定實(shí)施例中，中央模塊322處理來自IMU 328的IMU數(shù)據(jù)330，以提供用戶的預(yù)測(cè)姿勢(shì)并幫助生成用戶的狀態(tài)。在特定實(shí)施例中，如果需要，中央模塊322可以通過基于從傳感器模塊310發(fā)送的捕獲圖像320中的識(shí)別片段中的特征檢索實(shí)時(shí)映射332來定位傳感器模塊310。實(shí)時(shí)映射332包括用于用戶/傳感器模塊310的定位的映射數(shù)據(jù)334。中央模塊322可以校準(zhǔn)用戶在映射數(shù)據(jù)334的姿勢(shì)，并將用戶326的校準(zhǔn)姿勢(shì)提供給傳感器模塊310。在特定實(shí)施例中，中央模塊322可以包括存儲(chǔ)設(shè)備，其用于存儲(chǔ)捕獲的圖像和/或用戶的計(jì)算注視點(diǎn)，以減輕傳感器模塊310的重量。
在特定實(shí)施例中，傳感器模塊310可在頭戴式設(shè)備中實(shí)現(xiàn)，而中央模塊322可在與頭戴式設(shè)備分離的本地計(jì)算設(shè)備實(shí)現(xiàn)。如在兩部分系統(tǒng)中。頭戴式設(shè)備包括一個(gè)或多個(gè)處理器，配置為實(shí)現(xiàn)傳感器模塊310的攝像頭312、存儲(chǔ)設(shè)備314、檢測(cè)單元316和計(jì)算單元318。在一個(gè)實(shí)施例中，每個(gè)處理器被配置為分別實(shí)現(xiàn)攝像頭312、存儲(chǔ)設(shè)備314、檢測(cè)單元316和計(jì)算單元318。本地計(jì)算設(shè)備包括配置為執(zhí)行中央模塊322的一個(gè)或多個(gè)處理器。
一種基于機(jī)器學(xué)習(xí)（ML）的輕型眼動(dòng)追蹤系統(tǒng)可以分階段執(zhí)行，以最小化功耗。執(zhí)行眼動(dòng)追蹤系統(tǒng)以對(duì)傳感器模塊捕獲的圖像進(jìn)行下采樣，從下采樣圖像中識(shí)別目標(biāo)片段（例如，基于眼睛輪廓），基于識(shí)別的片段加載高分辨率圖像的目標(biāo)區(qū)域，以及基于高分辨率圖像（例如最初捕獲的圖像）的RoI中的反射/折射計(jì)算注視點(diǎn)。眼動(dòng)追蹤系統(tǒng)僅檢索高分辨率圖像的RoI，所以可以減少內(nèi)存訪問和功耗。
圖4A示出了傳感器模塊處檢測(cè)特征片段的示例方法400。方法400可以從步驟410開始：使用一個(gè)或多個(gè)攝像頭捕捉用戶的一個(gè)或多個(gè)圖像，用戶的一個(gè)或多個(gè)圖像描繪了用戶的至少一只眼睛。在特定實(shí)施例中，用戶的一個(gè)或多個(gè)圖像包括從一個(gè)或多個(gè)攝像頭的一個(gè)或多個(gè)視角捕獲的不同注視方向，從而確定用戶的注視點(diǎn)。
在步驟420，方法400可以將用戶的一個(gè)或多個(gè)圖像存儲(chǔ)在存儲(chǔ)單元中。在特定實(shí)施例中，存儲(chǔ)單元可以在具有一個(gè)或多個(gè)攝像頭的頭戴式設(shè)備中實(shí)現(xiàn)。
在步驟430，方法400可以從存儲(chǔ)設(shè)備讀取用戶的一個(gè)或多個(gè)圖像的下采樣版本。
在步驟440，方法400可以通過使用機(jī)器學(xué)習(xí)模型處理一個(gè)或多個(gè)圖像的下采樣版本，在一個(gè)或多個(gè)圖像的下采樣版本中檢測(cè)包含用戶眼睛特征的一個(gè)或多個(gè)第一區(qū)段。在特定實(shí)施例中，一個(gè)或多個(gè)第一區(qū)段包括用戶眼睛輪廓的至少一部分。
圖4B的示例方法401通過讀取與傳感器模塊處下采樣圖像中檢測(cè)到的區(qū)段相對(duì)應(yīng)的圖像中的區(qū)段來計(jì)算用戶的注視點(diǎn)。方法401可以在方法400中的步驟440之后的步驟450開始：從存儲(chǔ)單元讀取與一個(gè)或多個(gè)圖像的下采樣版本中的一個(gè)或多個(gè)第一區(qū)段相對(duì)應(yīng)的一個(gè)或多個(gè)圖像中的一個(gè)或多個(gè)第二區(qū)段。在特定實(shí)施例中，一個(gè)或多個(gè)第二區(qū)段包括用戶眼睛中的反射和/或折射。在特定實(shí)施例中，一個(gè)或多個(gè)第二區(qū)段包括至少一個(gè)注視方向。
在步驟460，方法401可以基于一個(gè)或多個(gè)圖像中的一個(gè)或多個(gè)第二區(qū)段來計(jì)算用戶的注視點(diǎn)。
圖4C示出了在中央模塊處理的圖像細(xì)化示例方法402。在方法401中的步驟460之后的步驟470，方法402可以開始向中央模塊發(fā)送一個(gè)或多個(gè)第二區(qū)段和用戶的計(jì)算注視點(diǎn)。
在步驟480，方法402可以從中央模塊接收用戶的第三圖像，所述圖像基于一個(gè)或多個(gè)第二片段與用戶的計(jì)算注視點(diǎn)之間的比較而實(shí)現(xiàn)細(xì)化。在特定實(shí)施例中，中央模塊可以在與頭戴式設(shè)備分離的本地計(jì)算設(shè)備中實(shí)現(xiàn)。中央模塊可處理傳感器模塊的任何潛在請(qǐng)求/服務(wù)，以降低功耗。
相關(guān)專利：Facebook Patent | Distributed sensor module for eye-tracking
名為“Distributed sensor module for eye-tracking”的Meta專利申請(qǐng)最初在2020年8月提交，并在日前由美國專利商標(biāo)局公布。
