Les drones sauront-ils reconnaître les gestes du guidage au sol ?

Cette caméra stéréo détecte les mouvements. © MIT News Office 

Les drones militaires sont déjà capables d’apponter sur un porte-avion de façon autonome. Demain, ils pourront peut-être suivre les ordres gestuels des officiers de pont, ceux que l’on appelle les marshallers dans l’aviation civile, chargés de guider les avions au sol. Des étudiants-chercheurs du Massachusetts Institute of Technology (MIT) ont en effet mis au point un système de reconnaissance des mouvements capable de distinguer séparément la position du corps et des bras ainsi que les mouvements des mains.

Au cœur du procédé, un algorithme apprend à partir d’une base de données des gestes effectués par les officiers de pont pour indiquer les manœuvres. « Notre objectif est de permettre à des drones de reconnaître les gestes qu’utilisent les officiers de pont pour guider les avions sur les porte-avions. Cela comprend des postures du corps et des bras. Il est donc important que notre système identifie ces deux informations », explique Yale Song, l’un des étudiants-chercheurs à l’origine du projet.

Vingt-quatre gestes à apprendre, mais aussi leurs variantes individuelles

Le dispositif utilise une caméra stéréo pour suivre simultanément les mouvements du corps et des bras et les combiner afin d’identifier la commande correspondante. La procédure de reconnaissance des gestes se décompose en quatre étapes.

• L’image produite par la caméra est traitée en retirant l’arrière-plan afin de pouvoir la calculer en 3D.
• Le système insère un modèle de squelette 3D dans l’image source pour extraire des éléments visuels liés à la posture (nuage de points 3D, historique du mouvement). Ces éléments sont traités à la fois pour l’image source et le squelette 3D puis ensuite comparés, ce qui permet à l’ensemble d’en déduire le geste le plus probable.
• Une fois la posture du corps reconnue, le système sait où se trouvent les mains de l’intervenant. Il se sert alors de la position des poignets pour repérer la forme de la main qu’il perçoit et s’assurer qu’elle correspond aux codes utilisés par les officiers de pont : pouce levé, pouce baissé, main ouverte, main fermée.
• Les informations relatives à la posture du corps et la forme de la main sont combinées pour déterminer un geste.

Mais tous les marshallers ne font pas exactement les mêmes mouvements ! « Nous avons recueilli 24 gestes de manœuvre des avions auprès de 20 personnes, ce qui nous donne un échantillon de 400 gestes que nous utilisons pour apprendre au système », poursuit Yale Song. L’apprentissage se fait à partir d’un modèle graphique probabiliste qui assimile la composition de chaque signe ainsi que la transition entre chacun d’eux. Actuellement, le dispositif de reconnaissance affiche une fiabilité de 76 %. Un taux élevé mais encore insuffisant pour un usage en conditions réelles. « Nous travaillons à rendre le système plus fiable et plus intelligent, de telle sorte qu’il soit capable d’indiquer s’il a reconnu le geste ou pas », conclut le jeune chercheur.