Presentiamo una tastiera virtuale che mira a sostituire quella del pianoforte con dei tasti in realtà aumentata. Lo sforzo maggiore è stato compiuto nel rilevamento accurato nonché rapido dei movimenti delle mani. Per raggiungere questo obiettivo sono stati confrontati un dispositivo di rilevamento a infrarossi ed uno a ultrasuoni, valutandone pro e contro nell’impiego specifico. Abbiamo poi realizzato un sistema di feedback multimodale riprendendo le azioni delle mani dell’esecutore mediante la fotocamera posteriore di un comune dispositivo mobile, e presentandole all’utente unite alla visualizzazione di una tastiera di pianoforte animata. Connettendo il dispositivo Leap Motion, responsabile del rilevamento a infrarossi, e altri dispositivi hardware per la generazione di stimoli audio e vibrotattili, il prototipo promette potenziali applicazioni come interfaccia musicale mobile a basso costo, trasformando un comune tavolo in uno scenario di realtà aumentata dove possono essere eseguiti semplici esercizi con buona accuratezza e una risposta realistica in assenza di una tastiera reale.
Confronto tra sistemi di rilevamento del gesto basati su sensori a infrarossi o ultrasuoni per applicazioni di pianoforte virtuale
De Pra, Yuri;FONTANA, Federico;
2014-01-01
Abstract
Presentiamo una tastiera virtuale che mira a sostituire quella del pianoforte con dei tasti in realtà aumentata. Lo sforzo maggiore è stato compiuto nel rilevamento accurato nonché rapido dei movimenti delle mani. Per raggiungere questo obiettivo sono stati confrontati un dispositivo di rilevamento a infrarossi ed uno a ultrasuoni, valutandone pro e contro nell’impiego specifico. Abbiamo poi realizzato un sistema di feedback multimodale riprendendo le azioni delle mani dell’esecutore mediante la fotocamera posteriore di un comune dispositivo mobile, e presentandole all’utente unite alla visualizzazione di una tastiera di pianoforte animata. Connettendo il dispositivo Leap Motion, responsabile del rilevamento a infrarossi, e altri dispositivi hardware per la generazione di stimoli audio e vibrotattili, il prototipo promette potenziali applicazioni come interfaccia musicale mobile a basso costo, trasformando un comune tavolo in uno scenario di realtà aumentata dove possono essere eseguiti semplici esercizi con buona accuratezza e una risposta realistica in assenza di una tastiera reale.File | Dimensione | Formato | |
---|---|---|---|
cim2014.pdf
accesso aperto
Descrizione: Articolo principale
Tipologia:
Documento in Pre-print
Licenza:
Creative commons
Dimensione
841.96 kB
Formato
Adobe PDF
|
841.96 kB | Adobe PDF | Visualizza/Apri |
I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.