卷積神經網路擴增實境遮蔽感知系統

摘要

擴增實境中最大的難題，就是深度感知遮擋，虛擬物件與現實場景物體相互交錯並 不是一件簡單的事，虛擬物件不像人類有對物理世界的理解，只是單純的被疊加於場景 之上，無法被遮擋，使得場景變的不真實。現有的擴增實境技術，雖已能做到使虛擬物 體被現實世界物體遮蔽，但在移動的畫面中，還是無法快速且精準得知所有物體的每個 深度值情況下，仍有閃爍或不準確的情況發生。本論文所提的系統使用稀疏的 SLAM 重 構點雲資訊作為輸入，取代原有技術中計算光流的方法，採用深度學習中訓練好的光流 估計模型。用在估算定位準確的遮蔽邊緣，將稀疏深度點雲傳播至估算好的遮蔽邊緣圖 中，產生深度圖。將深度圖進一步用在擴增實境中，無法達到即時生成，但能有效解決 遮擋問題。本論文所提的系統使用深度學習計算光流的方法，雖然在時間上比原有技術 費時，但精度上比原有技術更加精確。