Presentiamo una tastiera virtuale che mira a sostituire quella del pianoforte con dei tasti in realtà aumentata. Lo sforzo maggiore è stato compiuto nel rilevamento accurato nonché rapido dei movimenti delle mani. Per raggiungere questo obiettivo sono stati confrontati un dispositivo di rilevamento a infrarossi ed uno a ultrasuoni, valutandone pro e contro nell’impiego specifico. Abbiamo poi realizzato un sistema di feedback multimodale riprendendo le azioni delle mani dell’esecutore mediante la fotocamera posteriore di un comune dispositivo mobile, e presentandole all’utente unite alla visualizzazione di una tastiera di pianoforte animata. Connettendo il dispositivo Leap Motion, responsabile del rilevamento a infrarossi, e altri dispositivi hardware per la generazione di stimoli audio e vibrotattili, il prototipo promette potenziali applicazioni come interfaccia musicale mobile a basso costo, trasformando un comune tavolo in uno scenario di realtà aumentata dove possono essere eseguiti semplici esercizi con buona accuratezza e una risposta realistica in assenza di una tastiera reale.

Confronto tra sistemi di rilevamento del gesto basati su sensori a infrarossi o ultrasuoni per applicazioni di pianoforte virtuale

De Pra, Yuri;FONTANA, Federico;
2014-01-01

Abstract

Presentiamo una tastiera virtuale che mira a sostituire quella del pianoforte con dei tasti in realtà aumentata. Lo sforzo maggiore è stato compiuto nel rilevamento accurato nonché rapido dei movimenti delle mani. Per raggiungere questo obiettivo sono stati confrontati un dispositivo di rilevamento a infrarossi ed uno a ultrasuoni, valutandone pro e contro nell’impiego specifico. Abbiamo poi realizzato un sistema di feedback multimodale riprendendo le azioni delle mani dell’esecutore mediante la fotocamera posteriore di un comune dispositivo mobile, e presentandole all’utente unite alla visualizzazione di una tastiera di pianoforte animata. Connettendo il dispositivo Leap Motion, responsabile del rilevamento a infrarossi, e altri dispositivi hardware per la generazione di stimoli audio e vibrotattili, il prototipo promette potenziali applicazioni come interfaccia musicale mobile a basso costo, trasformando un comune tavolo in uno scenario di realtà aumentata dove possono essere eseguiti semplici esercizi con buona accuratezza e una risposta realistica in assenza di una tastiera reale.
9788890341335
File in questo prodotto:
File Dimensione Formato  
cim2014.pdf

accesso aperto

Descrizione: Articolo principale
Tipologia: Documento in Pre-print
Licenza: Creative commons
Dimensione 841.96 kB
Formato Adobe PDF
841.96 kB Adobe PDF Visualizza/Apri

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/11390/1069788
 Attenzione

Attenzione! I dati visualizzati non sono stati sottoposti a validazione da parte dell'ateneo

Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact