Sistema multimodal para análise automática do desempenho desportivo de atletas

Abstract

Os sistemas multimodais são cada vez mais utilizados no contexto desportivo e este trabalho tem por objetivo demonstrar como a aprendizagem automática embebida na visão por computador aplicada ao contexto do boxe pode ajudar um praticante a melhorar a sua técnica e tempo de reação. Foi implementada uma aplicação utilizando ReactJS, que através da câmara consegue extrair dados sobre a postura do atleta num referencial de 2 dimensões por meio do modelo Posenet e que são posteriormente fornecidos a uma Rede Neuronal para os classificar como ”esquerda”, ”direita”, ”esquiva” ou ”guarda”. Foram recolhidas um total de 31425 amostras, incluindo movimentos de todas as classes alvo de classificação, sendo que o conjunto de dados está dividido em: 46% treino, 27% validação e 27% teste. Após o treino concluiu-se que a Rede Neuronal com afinação de hiper-parâmetros para 20 épocas foi o modelo que obteve melhor desempenho com uma Medida-F Média e Exatidão de 95%. Posteriormente o mesmo foi testado com o conjunto de teste e obteve uma Medida-F Média e Exatidão de 97.7% . A aplicação foi concebida no formato de um jogo em que o jogador terá de executar corretamente os movimentos que lhe serão pedidos de forma aleatória ao longo de 30 segundos. Tudo isto foi desenvolvido com o apoio de ferramentas de código aberto e sem necessidade de nenhum dispositivo adicional ao de um computador portátil ou tablet comum; Abstract: Multimodal system for automatic analysis of athletes sports peformance Multimodal systems are becoming mainstream in the context of sport and this work has the objective to show how machine learning embedded with computer vision can be applied to the context of boxing can help a praticioner by improving his technique and reaction time. A web application was implemented using ReactJS and uses the web cam to extract data about the posture of the athlete in a 2 dimensions referential, thanks to Posenet, that is posteriorly supplied to a Neural Network that uses it to classify each pose as a ”right”, ”left”, ”dodge” or ”guard”. A total of 31425 samples were collected, including all classes target of classification, divided in: 46% training, 27% validation and 27% test. After training, the Neural Network with the hyperparameter tuning for 20 epochs was the model with the best performance overall with an Average F-score and Accuracy of 95%. The same model was tested with the test set and obtained an Average F-score and Accuracy of 97.7%. The application was conceived in the format of a game in which the player will have to execute correctly the movements that will be demanded by the system in a random manner for 30 seconds. All this was developed with the support of open source tools and no need of any extra devices but a common laptop or a tablet.