Tracking human motion with multiple cameras using articulated ICP with hard constraints

Questa tesi propone un nuovo algoritmo basato su ICP per il tracking di un modello scheletrico articolato di un corpo umano. L’algoritmo proposto prende in input immagini calibrate di un soggetto, calcola la ricostruzione volumetrica e la linea mediale del corpo e quindi posiziona in modo adeguato il modello, composto di segmenti, in ogni frame usando una versione di ICP modificata (versione che usa una strategia di attraversamento alberi gerarchica che mantiene connessi tutti i segmenti del modello nei giunti relativi). L’approccio proposto usa limiti cinematica per i giunti e un filtro di Kalman esteso per fare il tracking del modello. Il primo contributo originale di questa tesi è l’algoritmo per trovare i punti sullo scheletro di un volume tridimensionale. L’algoritmo, usando una tecnica di slicing trova l’asse mediale di un volume 3D in modo veloce utilizzando il processore della scheda grafica e le texture units della scheda stessa. Questo algoritmo produce ottimi risultati per quanto riguarda la qualità e le prestazioni se comparato con altri algoritmi in letteratura. Un altro contributo originale è l’introduzione di una nuova strategia di tracking basata su un approccio gerarchico dell’algoritmo ICP, utilizzato per trovare le congruenze tra un modello di corpo umano composto da soli segmenti e un insieme di punti 3D. L’algoritmo usa una versione di ICP dove tutti i punti 3D sono pesati in funzione del segmento del corpo preso in considerazione dall’algoritmo in quel momento. L’applicazione di queste tecniche dimostra la bontà del metodo e le prestazioni ottenute in termini di qualità della stima della posa sono comparabili con altri lavori in letteratura. I risultati presentati nella tesi dimostrano la fattibilità dell’approccio generale, che si intende utilizzare in un sistema completo per il tracking di corpi umani senza l’uso di marcatori. In futuro il lavoro può essere esteso ottimizzando l’implementazione e la codifica in modo da poter ottenere prestazioni real-time.

This thesis proposed a new ICP-based algorithm for tracking articulated skeletal model of a human body. The proposed algorithm takes as input multiple calibrated views of the subject, computes a volumetric reconstruction and the centerlines of the body and fits the skeletal body model in each frame using a hierarchic tree traversal version of the ICP algorithm that preserves the connection of the segments at the joints. The proposed approach uses the kinematic constraints and an Extended Kalman Filter to track the body pose. The first contribution is a new algorithm to find the skeletal points of a 3D volume. The algorithm using a slicing technique find the medial axis of a volume in a fast way using the graphic card processor and the texture units. This algorithm produce good results in quality and performance compared to other works in literature. Another contribution is the introduction of a new tracking strategy based on a hierarchical application of the ICP standard algorithm to find the match between a stick body model and a set of 3D points. The algorithm use a traversing version of ICP where also all the 3D points are weighted in such a way every limbs of the model can best fit on the right portion of the body. The application of these techniques shown the feasibility of the method and the performances obtained in terms of quality of estimate pose are comparable with other works in literature. The results presented here demonstrate the feasibility of the approach, which is is intended to be used in complete system for vision-based markerless human body tracking. Future work will aimed at optimizing the implementation, in order to achieve real-time performances.