手指指向即時辨識系統

Real-time Finger Pointing Recognition System
 

摘  要

    由於人機介面的應用日益普及，包括手勢辨識、語音辨識、或是肢體語言辨識等等…，都已經被廣泛研究並且應用在日常生活之中。而手指指向的人機介面系統尚未有許多的研究及探討。故我們選取手指指向的辨識系統，並且規劃一個結合平面以及空間資訊的指向系統。首先我們要選取一個適當的追蹤系統，在這方面我們選取具有許多優點的particle filter來幫助我們做手部的追蹤。另外我們使用基本矩陣的概念來幫助我們在兩個相機上都能達到追蹤的效果。因此，有了兩個相機的手部區域之後，我們做一些影像上的修整及背景來獲取完整的手形。接下來我們對此手形做手指模型的建立，其中我們使用了包括moment descriptor、radon transform以及curvature points的概念來幫助我們建立手指模型，並找到手指的指向線。有了手指線的前處理資訊後，我們將可以應用在單平面指向以及空間指向系統中。在單平面的紙向上，我們使用一個平面轉換的概念，在兩個相機上做轉換，並且求取其手指線的交點，來得到平面上的指向點。由此我們可以在一個平面上達到指向辨識的目的。另外，在空間指向的部分，我們預先建立空間中的座標系，並且分別獲取手指及物體的相對空間座標，亦可達到空間指向的效果。

3D pointing with 5 objects