Département Traitement de l'Information et Systèmes

From violinists to metal welders, finely tuned hand and arm movements are the foundation of craft, while all of us rely on proficient use of hands for the activities of daily life. Yet, more than 25 million people worldwide lost functional movements to subcortical stroke. Subcortical stroke often interrupts the communication between the cortex and the cervical spinal cord circuits, which leads to permanent hand and arm paralysis. The result is a vastly reduced quality of life and enormous socioeconomic burden for the affected, their families, and the society. A treatment that can effectively restore functional movements after subcortical stroke does not yet exist. Still, the motor cortex, which orchestrates movements, and the spinal cord motor circuits that directly control muscles remain largely intact. We aim to reverse the hand and arm paralysis of people with subcortical stroke by developing a digital bridge that reconnects the motor cortex with the cervical spinal motor circuits. This brain-spine interface consists of fully-implantable recording and stimulation systems that link cortical signals to spatiotemporal sequences of epidural electrical stimulation targeting spinal cord regions involved in the production of hand and arm movements. Our preliminary results in people with spinal cord injury strongly indicate that the brain-spine interface can restore natural control of movement and promote neurological recovery. Therefore, we are confident that a cervical brain-spine interface can reverse hand and arm paralysis incurred by stroke and, therefore, become the first viable treatment option for subcortical stroke survivors. Beyond the development and validation of the cervical brain-spine interface for stroke survivors, this project will build the intellectual property necessary to secure funding that will bring this treatment into widespread clinical use.

La disponibilité croissante de données de télédétection, comme celles provenant de la constellation Sentinel, offre de nombreuses opportunités pour l'automatisation de tâches en observation de la Terre. Cependant, la majorité des données brutes transmises quotidiennement par les capteurs décrivent des phénomènes courants dont l'analyse détaillée n'est pas indispensable. À l'inverse, les événements d'intérêt peuvent se retrouver noyés dans la masse d'information. Compte-tenu de la masse de données de télédétection acquise chaque jour, il devient crucial de pouvoir automatiquement identifier les observations les plus riches en information. L'intelligence artificielle peut ainsi jouer un rôle en aidant à filtrer les acquisitions inhabituelles pour une interprétation plus approfondie. Le projet OGRE (Observation de la Terre et IA Générative pour la Reconnaissance d'Événements rares) a pour objectif de développer de nouvelles méthodologies utilisant les modèles génératifs profonds afin d'identifier des événements extrêmes dans des piles multimodales SAR/optique d'images de télédétection. Nous faisons l'hypothèse que les images les plus pertinentes sont celles présentant un caractère inhabituel, déviant de la distribution habituellement observée. Cette définition regroupe ainsi les catastrophes naturelles (inondations, incendies, tempêtes, séismes...), des événements environnementaux et météorologique extrêmes (fonte des glaces, sécheresses prolongées) ou des activités humaines anormales, voire illégales (déforestation, contrebande, construction non réglementée). Pour ce faire, le projet croise l'état de l'art en détection non-supervisée de données « hors distribution » et celui des modèles génératifs profonds tels que les modèles de diffusion et les auto-encodeurs masqués. En effet, ces modèles permettent d'apprendre la distribution des observations « normales », sans aucune supervision. Des critères, tels que l'erreur de reconstruction, permettent alors d'estimer la vraisemblance d'une nouvelle observation et de la placer soit comme étant représentative de la distribution, soit comme étant en marge de celle-ci. Les images ainsi identifiées correspondent plausiblement à des événements rarement observées dans la distribution initiale. La force du projet est de construire un cadre de travail dédié à l'imagerie de télédétection, en développant des modèles génératifs adaptés à l'imagerie optique multispectrale et à l'imagerie SAR, bien au-delà des modèles habituels de la vision par ordinateur. En s'appuyant sur ces outils, le projet évolue selon trois directions: - le conditionnement des modèles génératifs et leur influence sur la capacité à détecter différents types d'événements extrêmes, afin de prendre en compte que certains phénomènes ne sont rares que dans certains contextes (une tempête de neige est exceptionnelle à Paris mais commune à Anchorage, Alaska), - la localisation spatiale de l'événement, afin de placer précisément où dans l'image se situe l'événement extrême, jusqu'au niveau du pixel, - la prise en compte de la temporalité des phénomènes en étendant les modèles génératifs au cas des séries temporelles d'images satellitaires, permettant d'identifier des événements rares constituant des ruptures (par exemple, changements du tissu urbain). Le croisement des modèles génératifs et de la détection de données en queue de distribution est entièrement nouveau pour l'observation de la Terre. Le projet construit donc un cadre méthodologie nouveau, au caractère fortement exploratoire. Toutefois, il se raccroche à plusieurs cas d'usage réels, sur lesquels ces nouvelles méthodes seront validées expérimentalement, allant de la segmentation d'inondation à la détection de fonte des neiges en passant par l'identification de deep fakes et le suivi des changements urbains.

Avec l'expansion rapide des activités humaines dans l'espace, qu'il s'agisse des missions habitées, des satellites de communication, des constellations pour l'observation de la Terre ou des initiatives du New Space, la gestion du domaine spatial devient de plus en plus complexe. Cette complexité accrue nécessite une surveillance accrue de l'espace pour garantir la sécurité des infrastructures en orbite. L'optique, et plus particulièrement l'optique adaptative (OA), offre un potentiel considérable pour surveiller avec une haute résolution les objets spatiaux. L'optique adaptative est une technologie clé pour corriger les effets de la turbulence atmosphérique, permettant ainsi d'obtenir des images détaillées depuis des télescopes terrestres. Aujourd'hui, l'OA est intégrée dans tous les grands télescopes au sol. Avec la construction de l'Extremely Large Telescope (ELT), l'OA est devenue indispensable. Équipé d'une OA ultra-performante, l'ELT ouvre des perspectives fascinantes, telles que la détection de planètes similaires à la Terre et l'analyse potentielle de leurs atmosphères. L'OA joue également un rôle stratégique dans la surveillance de l'espace, notamment pour l'observation des satellites et la sécurisation des communications optiques entre le sol et les satellites. En améliorant la résolution angulaire, l'OA permet de distinguer des détails tels que les panneaux solaires, les antennes ou les variations de forme des satellites. Elle facilite également la détection de changements, comme les dégradations mécaniques ou les dysfonctionnements, et améliore la précision astrométrique pour déterminer les orbites. Ces capacités sont essentielles pour surveiller les comportements anormaux et identifier les satellites potentiellement hostiles. La plateforme PROVIDENCE, développée par l'ONERA, vise à répondre à ces enjeux en offrant des capacités d'observation, de classification, d'identification, de caractérisation et de surveillance à haute résolution angulaire de l'orbite terrestre basse. En combinant les avancées en optique adaptative et en apprentissage automatique, le projet AI4AO vise à repousser les limites actuelles de l'imagerie à haute résolution angulaire, avec des applications directes pour l'astronomie, les communications optiques et la surveillance de l'espace. AI4AO ambitionne de transformer les systèmes d'OA en les rendant plus performants, robustes et autonomes. Développé sur 36 mois, AI4AO se positionne comme un projet structurant pour les futures générations d’instruments à haute résolution angulaire. Les avancées réalisées bénéficieront directement à des projets comme l'ELT et PROVIDENCE, offrant des perspectives d’innovation majeures au service de l’astronomie, des télécommunications optiques et de l’observation de l’espace. Le projet prépare également le terrain pour une future maturation technologique, en vue d'un déploiement opérationnel à plus grande échelle. Le consortium est composé du Laboratoire d'Astrophysique de Marseille, de l'ONERA et de l'Université de Durham, réunissant des expertises complémentaires en photonique, IA et intégration de solutions en temps réel embarquées.

La transition vers une agriculture durable et respectueuse de l'environnement est essentielle pour relever les défis planétaires tels que la sécurité alimentaire, la dégradation de l'environnement et le changement climatique. L'agroécologie, qui applique des principes écologiques aux systèmes agricoles, est au cœur de cette transformation. Cependant, la mise en œuvre de pratiques agroécologiques nécessite a) des données détaillées en temps réel sur des aspects tels que les conditions du sol et les interactions entre plantes et insectes, et b) un soutien technologique avancé pour atteindre la précision requise pour des tâches telles que la plantation de cultures diversifiées et adaptées au contexte local. Dans ce contexte, les robots agricoles légers, multifonctionnels et connectés sont considérés comme indispensables à cette transformation, comme le soulignent des initiatives telles que France 2030. Toutefois, le déploiement à grande échelle de ces robots nécessite une infrastructure numérique adaptative pour connecter les flottes de robots au système de supervision basé sur les données de l'agriculteur. Néanmoins, la réalisation d'une telle infrastructure est confrontée à un défi majeur : alors que les agriculteurs ont besoin d'un accès constant à des données de haute qualité et en grand volume (par exemple, l'état des champs, y compris les flux vidéo), les robots opèrent dans des environnements imprévisibles et dynamiques où des problèmes de connectivité et mécaniques peuvent se produire. Pour y apporter une solution, AGREENET introduit un cadre de connectivité et de tâches résilient et adaptable pour les robots, qui peut être déployé à la demande dans divers environnements. La principale innovation d'AGREENET réside dans son système de réseau adaptatif et son approche multi-agents, qui fonctionnent ensemble pour coordonner une flotte de drones afin de fournir une connectivité résiliente et de haute qualité sur le terrain.

Dans ce projet, nous nous intéressons à des problèmes de planification et d’ordonnancement des activités de satellites d’observation de la Terre. Plus spécifiquement, nous considérons une constellation du ‘’newspace’’ où les satellites utilisés sont généralement des petites plateformes de type nanosatellites. Dans ce contexte, nous étudions trois problématiques remettant en question les méthodes d’optimisation de plan utilisées pour des constellations de satellites traditionnels. Premièrement, nous abordons la question de la modélisation des capacités des satellites du newspace, pour lesquels l’énergie disponible à bord est par exemple un facteur très limitant. Sur ce point, notre objectif est d’améliorer les plans de mission en augmentant le niveau de représentativité des modèles de décision utilisés pour le newspace. Deuxièmement, pour faire face à la complexité de problèmes qui impliquent potentiellement plusieurs dizaines de satellites et plusieurs milliers de requêtes d’observation, nous étudions des hybridations de techniques d’optimisation combinatoire, notamment l’hybridation entre méthodes complètes et incomplètes pour améliorer la qualité des solutions produites. Troisièmement, pour faire face à différents types d’incertitudes, nous explorons des stratégies de décision mixtes proactives/réactives dans lesquelles des méthodes d’optimisation au sol au niveau d’un centre de mission sont combinées avec des méthodes d’adaptation de plan exécutées à bord des satellites. Dans cette optique, nous cherchons à exploiter les deux opportunités du newspace que sont d’une part la disponibilité de capacités de calcul bord accrues, et d’autre part la disponibilité d’un réseau de communication étendu grâce notamment à des liens inter-satellites. Ces pistes de recherche sont appliquées à des spécifications et scénarios fournis par Prométhée, acteur industriel du newspace.

Les signaux d’opportunité pour la navigation sont les signaux issus des émetteurs TV, FM, Wifi, réseaux de télécommunication, etc... Même s’ils n’ont pas été conçus pour la localisation des récepteurs (comme le sont les signaux GNSS), les signaux d’opportunités contiennent une information utile à la navigation. Nous nous y intéressons comme une alternative ou un complément aux signaux GNSS pour la navigation des drones. La principale difficulté est de savoir extraire, des signaux reçus, l’information qui est utile à la navigation. L’utilisation de cette information pour la navigation se fera ensuite par des techniques classiques de traitement du signal, comme le filtrage de Kalman par exemple. La problématique de cette proposition adresse la réception des signaux d’opportunité, l’analyse de ces signaux pour en extraire les informations pertinentes à la navigation, et enfin le traitement de ces informations pour estimer la position. Elle recouvre les aspects matériel et logiciel temps réel sur calculateur embarqué. Des campagnes de tests statiques, mobiles terrestres et aériennes (au moyen de drones lourds) seront réalisées.

En dépit d’avancées scientifiques considérables dans le domaine de la robotique collaborative, l’application de ces connaissances au domaine de l’industrie reste extrêmement faible. Pourtant, les mutations technologiques à l’œuvre dans le domaine de la robotique collaborative pourraient profondément modifier l’interaction entre l’humain et la machine. Pour que la robotique collaborative puisse réellement atteindre ce niveau de maturation et fournir une assistance à des opérateurs humains qualifiés, de nombreuses questions de recherche sont à traiter. Parmi ces questions, celle de la lisibilité du système robotisé par l’utilisateur constitue le propos de ce projet. Nous nous inspirons du cadre théorique de l’action conjointe (i.e., action nécessitant la coordination avec un autre agent humain). Il est aujourd’hui accepté que la production d’action conjointe repose sur l’échange d’informations entre les partenaires ; notamment, sur la capacité à inférer les intentions d’autrui. Ainsi, de nombreux auteurs soulignent que le partage des intentions des agents, avant comme au cours de l’action, est un élément essentiel à la coopération9. Dès lors, nous faisons l’hypothèse que la lisibilité des intentions du système robotisé est un élément clef de leur prédictibilité, et, par extension, des capacités de l’opérateur humain à interagir de manière efficiente (i.e., atteindre un niveau de performance acceptable tout en minimisant le cout cognitif) avec des systèmes robotisés fortement automatisés. Le projet a pour objectif d’explorer 1/ le lien entre lisibilité des intentions du système robotisé et sa prédictibilité, 2/ l’impact de cette prédictibilité sur la performance et le coût cognitif lié à la réalisation d’une tâche commune, 3/ comment le niveau de prédictibilité du système évolue avec l’apprentissage, et 4/ quel cadre générique de formulation de la commande robotique peut permettre l’expression riche de modalités de communication de l’intention.

En situations critiques, les opérateurs doivent poser des diagnostics provisoires sur la base d'informations partielles et incertaines pour prendre des décisions. Ce contexte est propice aux « erreurs de fixation », c’est-à-dire le fait de ne pas mettre à jour l'évaluation d'une situation ou de persister dans un plan d'action qui n'est plus approprié. Ces erreurs sont une cause majeure d'événements indésirables et d'accidents dans les domaines de la santé et de l'aviation commerciale. Le projet IDEFIX a pour objectif d'étudier l'apport de l'Intelligence Artificielle et de la Réalité Virtuelle & Augmentée pour aider les opérateurs en situation critique, comme des pilotes d'avion ou des professionnels de santé, à détecter ces erreurs de fixation et à développer des stratégies pour les prévenir et minimiser leur impact. Pour ce faire, nous allons étudier le comportement de pilotes et de soignants dans des environnements simulés, construire une représentation en logique formelle de la situation, développer un assistant informatique capable de d’identifier de possibles erreurs de fixation et mesurer l’impact de l’utilisation de ce dispositif sur la performance des opérateurs. Nous utilisons donc une approche pluridisciplinaire qui combine des recherches en sciences humaines (facteurs humains et psychologie cognitive) et en informatique (intelligence artificielle, interaction humain-machine, réalité virtuelle pour la formation). Nos contributions en SHS portent sur la compréhension des mécanismes d'apparition des erreurs de fixation, à partir d'études terrain. Nos contributions en informatique portent sur la conception d'un modèle formel de diagnostic de l'erreur humaine et son utilisation dans un contexte de formation en réalité virtuelle et augmentée. Ce projet a pour objectif de contribuer à augmenter la sécurité dans les domaines de l’aviation et de la santé.

Aujourd'hui, nous sommes entourés de systèmes de surveillance qui génèrent des milliards d'images traitées par des techniques de vision par ordinateur, ce qui soulève des questions juridiques liées à la protection de la vie privée. Si une protection est parfois apportée par un post-traitement des images, par exemple en les rendant floues, cette protection peut être attaquée en accédant à la sortie brute de la caméra. Un solution consiste à assurer la protection de la vie privée directement au niveau de la caméra en dégradant délibérément la qualité des images brutes. L'enjeu est alors de maintenir une tâche d'analyse performante malgré cette dégradation. Pour concevoir une telle caméra, il est nécessaire d'optimiser conjointement les paramètres du réseau optique et du réseau neuronal, sujet de recherche désigné par le terme co-conception. En outre, une méthode d'apprentissage adversaire doit être développée afin de garantir les deux objectifs : l'analyse de la scène et la protection de la vie privée. Des méthodes de l'état de l'art ont réalisé la conception conjointe de caméras préservant la vie privée à l'aide d'un apprentissage adversaire, mais elles optimisent un seul composant optique diffractif, à l'aide d'un modèle optique différentiable basé sur de l'optique de Fourier, qui n'est valable que pour un faible champ. En revanche, nous proposons la co-conception d'une caméra préservant la vie privée à l'aide d'un logiciel de tracé de rayons différentiables développé à l'ONERA. Cet outil permet d'optimiser l'ensemble des paramètres de l'objectif d'une caméra avec un large champ de vue. En outre, nous proposons l'utilisation dans ce logiciel de surfaces non conventionnelles, notamment diffractives, afin d'avoir plus de degrés de liberté dans la réponse de l'objectif. La co-conception d'un tel système, associant un grand champ, des surfaces non conventionnelles et un entraînement adversaire présente de nombreux défis scientifiques à relever dans ce projet.

La réduction du bruit est actuellement un challenge pour le monde industriel, d’une part par les contraintes économiques que soulève la fabrication de nouveaux matériaux absorbants, que par l’efficacité même de ces matériaux en fonction de la température, l’humidité, ou la pollution de l'air ambiant.

L'objectif principal du projet HERR-MAN est d'améliorer les aspects confort et ergonomie chez l'humain en interaction physique et permanente avec un robot collaboratif pour des tâches de co-manipulation d'objet déformable. Pour cela une interaction physique sûre et acceptable pour l'homme doit être assurée. De plus, une assistance cognitive pour l'humain lors de la tâche collaborative est souvent nécessaire. Pour relever ces défis scientifiques, le projet vise à prendre en compte des critères ergonomiques humains et des modèles d'objets déformables dans les stratégies de contrôle du robot, en considérant la morphologie, les capacités physiques et d'autres informations physiologiques telles que la fatigue. Le projet prévoit également d'accompagner l'humain avec une assistance visuelle par une réalité virtuelle/mixte, renseignant de la situation de collaboration, et de son anticipation. Cela nécessite d'inclure les modèles biomécaniques et dynamiques du système humain-objet-robot en interaction physique et la perception de l'objet deformable, dans les stratégies de génération de mouvement et de commande du robot. Ainsi, ce projet vise une forte collaboration homme-robot intégrant l'ergonomie humaine ainsi qu'une assistance visuelle. Les applications principales sont dans l'industrie du future et dans le domaine médical pour l'assistance et la rééducation.

La diminution de l’étendue de la banquise, et le changement de couleur de l’océan arctique associé ont un impact fort sur le changement climatique. De plus, cette diminution s’accompagne d’une variabilité accrue des conditions de la banquise qui impacte la sûreté du transport maritime et des habitants de l’Arctique lors de leur déplacement en mer ou sur la banquise. Afin de quantifier ces impacts ou de faire des prévisions météorologiques, des modèles physiques de la banquise sont utilisés. Ces modèles sont initialisés avec l’épaisseur de la banquise (sea ice thickness, SIT). Cette épaisseur est mesurée par des satellites altimètres, qui produisent des mesures peu denses, car ponctuelles le long de leur trajectoire. De plus, la mesure de l’altitude de la glace par les radars altimètre est biaisée par la présence d’étangs de fonte en été et la présence de neige en hiver crée une forte incertitude. Dans ce travail, des images SAR de Sentinel-1 (S1) seront utilisées pour compenser les changements d’état de surface de la banquise et étendre la couverture spatiale des mesures de SIT. Les avantages de capteurs actifs sont qu’ils couvrent une large zone à chaque acquisition, et que leur acquisition est journalière en Arctique pendant l’entièreté de l’année. Afin d’améliorer la résolution des cartes de SIT, de nouveaux algorithmes d’apprentissage profond seront conçus pour le traitement conjoint des données SAR et altimètre. Ce projet est construit en trois étapes: 1. Le développement d’une nouvelle méthode de cartographie haute-résolution de la banquise à partir d’images SAR S1 soit par apprentissage semi-supervisé en utilisant un petit nombre d’images Sentinel-2 (S2) imageant la même banquise que les images S1, soit par apprentissage faiblement en utilisant les mesures de concentration de banquise (sea ice concentration, SIC) obtenue par ASMR2 ou MODIS. 2. Le développement d’une nouvelle méthodologie d'apprentissage pour la mesure de la dérive de la banquise, utilisant les données basses résolutions obtenues grâce à ASMR2, et incluant la modélisation physique au travers de simulation haute résolution du modèle océan-banquise NEMO-SI3. 3. Le développement d’une méthode bayésienne permettant de l'estimation de la SIT sur l’ensemble de l’année par l’amélioration en été de la classification des échos altimétriques dans les classes “eau” et “glace” à partir de leur forme et des informations SAR disponibles. Ces informations de SIT seront ensuite extrapolées en se basant sur les statistiques des images radar, pour obtenir une meilleure couverture spatiale des mesures de SIT. Ces travaux seront permis par la création d’un jeu de données couvrant deux zones régionales en Arctique, incluant l'ensemble des données précitées, recalées, qui sera mis à disposition de la communauté. Ces nouveaux algorithmes pourront permettre de guider le développement de nouveaux outils pour les futurs capteurs tels que l’altimètre CRYSTAL ou HARMONY, le compagnon de S1. L’amélioration de la résolution des cartes de SIT permettra d’obtenir des mesures de SIT plus proches des zones côtières, zones dans lesquelles se situe la majeure partie du trafic maritime. Ces cartes hautes résolutions pourront être utilisées pour comprendre la dynamique de la banquise, ainsi que l’interaction entre la glace de mer et le vêlage d'icebergs. Cela contribuera aussi à la validation des modèles physiques de banquise à des résolutions fines, afin de guider le développement des futurs modèles de banquise. Lorsque ces méthodologies seront étendues à de plus grandes échelles, elles pourront servir opérationnellement à la navigation ou être assimilées à des modèles pour en améliorer les prédictions.