Accurate sound synthesis of 3D object collisions in interactive virtual scenarios

Questa tesi affronta lo studio di algoritmi efficienti per la sintesi di suoni risultanti dalla collisione di oggetti generici, partendo da una descrizione fisica del problema. L'obiettivo della ricerca e' lo sviluppo di strumenti in grado di aumentare l'accuratezza del feedback uditivo in ambienti di realta' virtuale attraverso un approccio basato sulla fisica, senza il bisogno quindi di far riferimento a suoni pre-registrati. Data la loro versatilita' nel trattare geometrie complesse, i metodi agli elementi finiti (FEM) sono stati scelti per la discretizzazione spaziale di generici risonatori tridimensionali. Le risultanti equazioni discrete sono riarrangiate in modo da disaccoppiare i modi normali del sistema tramite l'utilizzo di tecniche di Analisi e Sintesi Modale. Queste tecniche, infatti, portano convenientemente ad algoritmi computazionalmente efficienti per la sintesi del suono. Implementazioni di esempio di tali algoritmi sono state sviluppate facendo uso solo di software open-source: questo materiale a corredo della tesi permette una migliore riproducibilita' dei risultati di questa tesi da parte di ricercatori aventi una preparazione nel campo della sintesi audio. I risultati originali presenti in questo lavoro includono: i tecniche efficienti basate sulla fisica che aiutano l'implementazione in tempo reale di algoritmi di sintesi del suono su hardware comune; ii un metodo per la gestione efficiente dei dati provenienti da analisi FEM che, assieme ad un modello espressivo per la dissipazione, permette di calcolare l'informazione caratterizzante un oggetto risonante e salvarla in una struttura dati compatta iii una trasformazione nel dominio discreto del tempo su due diverse rappresentazioni nello spazio degli stati di filtri digitali del secondo ordine, che permette il calcolo esatto di variabili derivate come la velocita' e l'energia di un risonatore anche quando semplici realizzazioni a soli poli sono impiegate i un'efficiente realizzazione multirate di un banco parallelo di risonatori, derivata usando una suddivisione con Quadrature-Mirror-Filters (QMF). Confrontata con lavori simili presenti in letteratura, questa realizzazione permette l'uso di eccitazione nonlineare in feedback per un banco di risonatori in multirate: l'idea chiave consiste nello svolgere un cambio di stato adattivo nel banco di risonatori, muovendo i risonatori dalla frequenza di campionamento elevata, usata per il processamento della fase transiente, ad un insieme di sottofrequenze ridotte usate durante l'evoluzione in stato libero del sistema.

This thesis investigates efficient algorithms for the synthesis of sounds produced by colliding objects, starting from a physical description of the problem. The objective of this investigation is to provide tools capable of increasing the accuracy of the synthetic auditory feedback in virtual environments through a physics-based approach, hence without the need of pre-recorded sounds. Due to their versatility in dealing with complex geometries, Finite Element Methods (FEM) are chosen for the space-domain discretization of generic three-dimensional resonators. The resulting state-space representations are rearranged so as to decouple the normal modes in the corresponding equations, through the use of Modal Analysis/Synthesis techniques. Such techniques, in fact, conveniently lead to computationally efficient sound synthesis algorithms. The whole mathematical treatment develops until deriving such algorithms. Finally, implementation examples are provided which rely only on open-source software: this companion material guarantees the reproducibility of the results, and can be handled without much effort by most researchers having a background in sound processing. The original results presented in this work include: i efficient physics-based techniques that help implement real-time sound synthesis algorithms on common hardware; ii a method for the efficient management of FEM data which, by working together with an expressive damping model, allows to pre-compute the information characterizing a resonating object and then to store it in a compact data structure; iii a time-domain transformation of the state-space representation of second-order digital filters, allowing for the exact computation of dependent variables such as resonator velocity and energy, even when simple all-pole realizations are used; iv an efficient multirate realization of a parallel bank of resonators, which is derived using a Quadrature-Mirror-Filters (QMF) subdivision. Compared to similar works previously proposed in the literature, this realization allows for the nonlinear feedback excitation of a multirate filter bank: the key idea is to perform an adaptive state change in the resonator bank, by switching the sampling rate of the resonators from a common highest value, used while processing the initial transient of the signals at full bandwidth, to a set of lower values in ways to enable a multirate realization of the same bank during the steady state evolution of the signals.