Partitioning variability in animal behavioral videos using semi-supervised variational autoencoders

Recent neuroscience studies in awake and behaving animals demonstrate that a deeper understanding of brain function requires a deeper understanding of behavior. Detailed behavioral measurements are now often collected using video cameras, resulting in an increased need for computer vision algorithms that extract useful information from this video data. In this work we introduce a new semi-supervised framework that combines the output of supervised pose estimation algorithms (e.g. DeepLabCut) with unsupervised dimensionality reduction methods to produce interpretable, low-dimensional representations of behavioral videos that extract more information than pose estimates alone. We demonstrate this method, the Partitioned Subspace Variational Autoencoder (PS-VAE), on head-fixed mouse behavioral videos. In a close up video of a mouse face, where we track pupil location and size, our method extracts unsupervised outputs that correspond to the eyelid and whisker pad positions, with no additional user annotations required. We use this resulting interpretable behavioral representation to construct saccade and whisking detectors, and quantify the accuracy with which these signals can be decoded from neural activity in visual cortex. In a two-camera mouse video we show how our method separates movements of experimental equipment from animal behavior, and extracts unsupervised features like chest position, again with no additional user annotation needed. This allows us to construct paw and body movement detectors, and decode individual features of behavior from widefield calcium imaging data. Our results demonstrate how the interpretable partitioning of behavioral videos provided by the PS-VAE can facilitate downstream behavioral and neural analyses.

Hand Gesture Recognition Sebagai Pengganti Mouse Komputer Menggunakan Kamera

Akhir-akhir ini perkembangan teknologi semakin pesat, metode interaksi dan komunikasi antara pengguna dengan komputer adalah salah satu tuntutan perkembangan teknologi. Berbagai macam pembaharuan teknologi mengusahakan untuk meminimalisir berbagai macam perangkat menjadi satu agar lebih mudah digunakan. User lebih membutuhkan peralatan komunikasi yang bersifat alami karena tidak membutuhkan kontak langsung dengan peralatan input. Misalnya dengan gerakan dari tubuh manusia didepan kamera komputer sudah bisa menginterpretasikan. Untuk mengatasi masalah tersebut maka dilakukan suatu penelitian tentang deteksi isyarat tangan. Inputan berupa isyarat dan gerakan tangan didepan kamera dapat memberikan aksi pergerakan pada mouse yang diistilahkan dengan kamera mouse. Metode yang digunakan adalah convexhull algorithm. Melalui convexhull algorithm bisa didapatkan jumlah jari tangan yang kemudian dapat dijadikan acuan dalam pengerjaan aksi mouse. Sebenarnya sudah banyak penelitian tentang camera mouse, tetapi implementasinya masih banyak yang bergantung dengan peralatan tambahan. Penelitian ini mengembangkan penelitian yang sudah ada, yaitu hand gesture recognition dengan implemen-tasi pergerakan mouse dari video secara realtime. Dengan hand gesture recognition dan menggunakan metode convexhull algorithm pengenalan tangan akan lebih mudah hanya dengan menggunakan kamera, hanya dengan hitungan detik aksi mouse pada komputer dapat berjalan dengan baik yaitu dengan tingkat akurasi sebesar 68 % dari 75 kali percobaan

Acesso ao computador: comparação do desempenho de jovens com diferentes dispositivos de entrada

Há diferentes dispositivos para facilitar o acesso ao computador, porém, poucos estudos para verificar a eficácia dos mesmos. O objetivo deste estudo foi comparar o desempenho de jovens ao utilizarem dispositivos de acesso ao computador. Participaram do estudo cinquenta jovens saudáveis com idades entre 15 e 25 anos. Para a coleta de dados foi utilizado computador com tela sensível ao toque, mouse e o Camera Mouse. Foram utilizados três softwares para avaliar tempo de reação e acurácia dos participantes: Discrete Aiming Task, Tracking Task e Single Switch Performance Test. Para conhecer o grau de satisfação de uso dos dispositivos, foi utilizado o Quebec User Evaluation of Satisfaction with Assistive Technology. O resultados demonstraram que nas atividades de precisão e tempo de reação, o mouse e a toque na tela foram os dispositivos que geraram os melhores desempenhos. Conclui-se que, o Camera Mouse foi o dispositivo que gerou os piores desempenhos.