Deep Learning-based Emotion Spatial Regression in Speech Recognition for Human-computer Interaction

Author(s):  
Jui-Feng Yeh ◽  
Jian-Cheng Tsai ◽  
Bo-Wei Wu ◽  
Tai-You Kuang
Sensors ◽  
2020 ◽  
Vol 20 (10) ◽  
pp. 2972
Author(s):  
Qinghua Gao ◽  
Shuo Jiang ◽  
Peter B. Shull

Hand gesture classification and finger angle estimation are both critical for intuitive human–computer interaction. However, most approaches study them in isolation. We thus propose a dual-output deep learning model to enable simultaneous hand gesture classification and finger angle estimation. Data augmentation and deep learning were used to detect spatial-temporal features via a wristband with ten modified barometric sensors. Ten subjects performed experimental testing by flexing/extending each finger at the metacarpophalangeal joint while the proposed model was used to classify each hand gesture and estimate continuous finger angles simultaneously. A data glove was worn to record ground-truth finger angles. Overall hand gesture classification accuracy was 97.5% and finger angle estimation R 2 was 0.922, both of which were significantly higher than shallow existing learning approaches used in isolation. The proposed method could be used in applications related to the human–computer interaction and in control environments with both discrete and continuous variables.


2004 ◽  
Vol 43 (1-2) ◽  
pp. 1-16 ◽  
Author(s):  
Mustafa N Kaynak ◽  
Qi Zhi ◽  
Adrian David Cheok ◽  
Kuntal Sengupta ◽  
Zhang Jian ◽  
...  

2019 ◽  
Vol 1 (1) ◽  
pp. 11
Author(s):  
Awang Pradana ◽  
Agung Prasetya

Interaksi manusia dan komputer (IMK) adalah sesuatu yang mempelajari hubungan antara sistem komputer dan manusia, bagaimana membuat suatu perancangan, evaluasi pada sistem komputer yang interaktif. Ada banyak penelitian di bidang IMK yang berhubungan dengan metode interaksi yang lebih memudahkan dan membuat nyaman user yang memakainya. Natural human computer interaction (NHCI) merupakan salah satu bagian dari IMK yang berfokus pada pengembangan sebuah metode interaksi yang alami. Terdapat beberapa kategori teknologi pada NHCI seperti kinetic interface, speech recognition, dan multitouch. Kategori kinetic interface memanfaatkan gerakan tubuh manusia untuk berinteraksi dengan perangkat komputasi seperti gerakan pada tangan, kaki, kepala dan lain sebagainya. Dengan memanfaatkan sensor dari kamera kinect yang merupakan game konsol xbox, penelitian ini memfokuskan untuk mengembangkan antar muka manusia-komputer yang alami dengan memanfaatkan salah satu gerakan anggota tubuh yaitu pada gerakan tangan. Gerakan tangan tersebut nantinya akan menjadi kontrol yang digunakan untuk menggerakan sebuah objek dari gambar. Proses akuisisi data yang didapatkan dari sensor kinect dengan memanfaatkan fitur dari depth sensor. Skenario pengujian pada penelitian ini yaitu menentukan akurasi jarak yang paling optimal dari pengenalan jenis kontrol dengan menggunakan 2 user yang berbeda(user a dan user b). Dari hasil ujicoba tersebut diambil nilai rata-rata akurasi untuk jarak yang paling optimal yaitu jarak 1.5 meter dengan nilai akurasi 97%. Kemudian untuk kondisi latar belakang yang paling baik untuk melakukan skenario ini yaitu pada latar belakang tidak kompleks dengan hasil akurasi 96%.


Sign in / Sign up

Export Citation Format

Share Document