CONFLUENCE — Segmentation sémantique de scènes sonores complexes dans un système embarqué

Le projet CONFLUENCE vise à développer des technologies d'intelligence artificielle (IA) pour la segmentation sémantique des signaux sonores qui peuvent reconnaître les événements sonores et séparer/isoler les sources sonores formant des entités sémantiques. Cela peut être considéré comme une extension audio de la tâche de segmentation sémantique d'images qui a reçu beaucoup d'attention dernièrement. L'objectif est de concevoir des systèmes d'IA embarqué capable de mettre en œuvre ces technologies pour la communication immersive et les dispositifs de téléassistance et d’actimétrie. En analysant, en séparant et en augmentant les signaux séparés avec des métadonnées telles que des informations de localisation, il sera possible de transmettre uniquement les sons pertinents d'une scène sonore et de recréer spatialement cette scène dans un endroit éloigné, ou de comprendre ce qui se passe à distance. La ségmentation sématique pourra être appliquée aux systèmes de conférence en ligne respectueux de la vie privée, aux appareils d’assistance à domicile, qui ne transmettent que les sons importants, ou à de nouveaux systèmes de communication inclusifs qui permettraient aux participants locaux et distants de se sentir dans le même lieu. Dans ce projet, nous aborderons : (1) le développement de la séparation de sources sonores et de l'extraction des sons cibles comme base de la ségmentation sémantique, (2) l'implémentation open source des algortihmes développés et l'implémentation dans des dispositifs embarqués, (3) la diffusion de la technologie par le biais d'une proposition à la normalisation internationale des systèmes de communication mobile (3GPP) et le déploiement dans des dispositifs de téléassistance préservant la vie privée, (4) la contribution à l'accélération du domaine académique en distribuant les données acquises dans ce projet et en organisant des challenges internationaux. Grâce à la combinaison de l'expertise scientifique et industrielle de partenaires français et japonais, le projet CONFLUENCE développera des solutions innovantes et embarquées de segmentation du son.