Piano teaching mobile application with augmented reality

Abstract

The piano is one of the key fields of music, and music venues worldwide welcome a huge number of people interested in learning it. Despite this high demand, music institutions charge students a high price for piano lessons. The conducted studies related to this topic didn't solve the issue of learning costs since they required expensive devices to set up. The purpose of this study is to create an affordable, simple, easy-to-set-up, and accessible piano teaching mobile application that everybody can use with their basic augmented reality devices, such as smartphones, which have become an essential part of our lives in the last decades. This cross-platform app can be installed on Android or iOS smartphones. The player sits in front of a genuine MIDI keyboard, launches the app, selecting a music track and the proper mode to play in. The app displays the piano keys, which must be touched at the right time, on the screen of the smartphone. It also uses the smartphone's camera to track the player's hand movements. Each song has a weighted score that the player should achieve. The earned score is displayed on the screen as the player continues playing. After the game is completed, the final score is displayed on the screen as shared feedback on the player's performance.

Piyano, müziğin en önemli alanlarından biridir ve dünyanın her yerindeki müzik mekanları, piyano öğrenmek isteyen çok sayıda insanı ağırlamaktadır. Bu yoğun talebe rağmen müzik kurumları öğrencilerden piyano dersleri için yüksek ücret almaktadır. Bu konuyla ilgili yapılan çalışmalar, kurulumu pahalı cihazlar gerektirdiğinden öğrenme maliyetleri sorununu çözememiştir. Bu çalışmanın amacı, hayatımızın vazgeçilmez bir parçası haline gelen akıllı telefonlar gibi temel artırılmış gerçeklik cihazlarıyla herkesin kullanabileceği uygun fiyatlı, basit, kurulumu kolay ve erişilebilir bir mobil piyano öğretimi uygulaması oluşturmaktır. Bu çapraz platform uygulaması, Android veya iOS akıllı telefonlara yüklenebilir. Oyuncu, orijinal bir MIDI klavyenin önünde oturur, uygulamayı başlatır ve bir müzik parçası çalmak için uygun modu seçer. Uygulama, doğru zamanda dokunulması gereken piyano tuşlarını kullandığı akıllı telefonun ekranında görüntüler. Ayrıca oyuncunun el hareketlerini izlemek için de akıllı telefonun kamerasını kullanır. Her şarkının, oyuncunun elde etmesi gereken ağırlıklı bir puanı vardır. Oyuncu oynamaya devam ettikçe, kazanılan puan ekranda görüntülenir. Oyun tamamlandıktan sonra, nihai puan, oyuncunun performansı hakkında paylaşılan geri bildirim olarak ekranda görüntülenir.