Un workshop mêlant IA et musique de Komitas au TUMO
En mars 2024, Chahan et Baptiste ont animé un workshop dédié à l’intelligence artificielle et au musicologue Komitas au TUMO Center d’Erevan. Pendant deux semaines, des étudiants du TUMO, âgés de 13 à 18 ans, ont pu apprendre à créer un modèle d’IA capable de lire les partitions du célèbre musicologue et compositeur Arménien, à qui l’on doit notamment la conservation de nombreux chants populaires.
Les étudiants ont pu créer un modèle d’IA en partant de zéro, de la création des données à la prédiction de résultats, en passant par l’entrainement.
Un objectif identique à nos workshops précédents : mélanger de manière inédite l’IA avec le patrimoine culturel d’Arménie. Lors des précédents workshops, les étudiants TUMO avaient pu se plonger dans la création de modèles dédiés à la reconnaissance de l’écriture manuscrite ou à la détection d’éléments dans les pages des archives de la bibliothèque de la FSL de Erevan.
Cette année, la première semaine du workshop a été consacrée à l’OMR (Optical Music Recognition) : il s’agissait d’entraîner un modèle capable de lire les partitions de musique de Komitas sur des scans issus d’éditions originales des recueils du musicien, conservés à la Librairie Samuelian à Paris, où Calfa est par ailleurs engagé dans un projet de numérisation et de sauvegarde.
Cette session a permis d’étudier le fonctionnement des réseaux de neurones et de la computer vision avec YOLO dans le cas pratique de la détection de musique. Les étudiants ont également appris à développer un projet d’IA, en installant des environnements, en créant les données nécessaires, en paramétrant les entrainements (nombre d’époques, learning rate etc) et en évaluant les résultats obtenus : metrics curves, confusion matrix etc. Durant toute la semaine, ils ont travaillé sur des éditions originales des partitions de Komitas datant des années 1920 et 1930.
Cette première semaine s’est conclue par une visite des étudiants au Centre Komitas de Erevan, accompagnée du Dr. Tatevik Shakhkulyan, directrice de la recherche, qui ont eu la générosité de nous accueillir. Le principe de nos visites pendant les workshops est de quitter momentanément le virtuel et les lignes de code pour tisser un lien entre la technologie numérique et les collections physiques des musées. Les étudiants ont ainsi pu découvrir les collections physiques du centre, riches en documents d’archives, objets personnels et en partitions de Komitas, sur lesquelles ils avaient travaillé durant la semaine.
La seconde semaine du workshop a été consacrée au développement d’une IA générative capable de générer de la musique : l’occasion pour les étudiants de découvrir le fonctionnement des generative networks et les phases d’apprentissage des modèles. Les entrainement ont été réalisés tant bien que mal sur les ordinateurs du TUMO, aux performances limitées comparée aux grosses puissances de calcul habituellement mobilisées pour l’entraînement de ces technologies. Nous avons pu malgré tout produire quelques souffles de duduk ou quelques bruits de percutions, obtenus à l’issue d’un entraînement de 12 heures, jusqu’à ce que la mémoire vive des ordinateurs soit saturée ! Encore loin des très gros réseaux génératifs, qui demandent des puissances de calcul très importantes pour être développés, les étudiants ont ainsi pu néanmoins mettre un premier pied dans le vaste domaine de l’IA générative en apprenant à installer et manipuler des packages utilisés par les professionnels du domaine.
Enfin, chaque étudiant a également codé sa webapp avec Streamlit, afin de faire fonctionner ses modèles dans une interface de démonstration. A l’issue du dernier jour de workshop, les résultats obtenus ont été restitués en public. Retrouvez les contenus du workshop (programme et code) sur GitHub !
