# Stratégie scientifique TIRF 2024/2025 Ce document pour établir la stratégie scientifique de l'équipe TIRF pour l'année 2024/2025. Exercice similaire à celui qui a été fait pour la rédaction du document d'auto-évaluation de l'HCERES, mais pour une vision plus court terme (1 an vs les 4/5 ans pour l'HCERES). [GT] je vous propose que chacun rédige sa stratégie scientifique (au niveau individuel) dans les sections correspondants aux différents thématiques de l'équipe. Je ferai une passe d'uniformisation. Vous pouvez lister : * des axes de recherche plutôt "méta" * les résultats attendus (si applicable) * les publications / valorisation attendues (si applicable également) Je remets (pour info), ce qui a été rédigé dans le DAE de l'HCERES pour les différentes thématiques (vous pouvez bien entendu reprendre ça et le simplifier / décliner pour une vision court terme), et vous laisse compléter en dessous à chaque fois. ## Morphologie mathématique *La morphologie mathématique reste le coeur d'expertise de l'équipe TIRF. Les travaux sur les représentations hiérarchiques d'images ont démontré une grande robustesse méthodologique et demeurent des outils extrêmement puissants pour une large gamme d'applications. Ils continueront à jouer un rôle clé dans les différentes thématiques applicatives de l'équipe. L'interfaçage entre la morphologie mathématique et l'IA va se poursuivre et se complexifier dans le futur, par le biais de deux pistes principales et de collaborations déjà initiées :* * *le remplacement des couches de convolution par des opérations morphologiques dans des architectures de réseaux profonds, en collaboration avec le Centre de Morphologie Mathématiques (MINES Paris) ;* * *l'intégration et l'exploitation des représentations hiérarchiques par des réseaux profonds grâce aux architectures de type Graph Convolutional Networks, en collaboration avec le CREATIS (INSA Lyon).* *Ces pistes de recherche permettront de conserver une composante méthodologique forte, tout en y intégrant les récentes avancées dans le domaine de l'apprentissage profond, avec des perspectives de publication dans des revues à haut facteur d'impact.* #### Stratégie scientifique en lien avec la thématique morphologie mathématique - **TODO** [NB] : * liens surfaces discrètes, PCM's, et pseudo-variétés (viser DGMM ou JMIV) * étude des liens en différentes formes de bien-composé (sa version digitale versu sa version homologique) afin de trendre vers des variétés topologiques (viser DGMM ou JMIV) [GT] : * ne pas laisser mourir morphonet -> essayer de valoriser le travail qu'Antoine avait fait pendant son stage (publi nationale (GRETSI) ?) * construction du BPT parallèle -> collaboration intra-équipe (avec JR + BE(?)). Permet aussi de rajouter une composante "performance". Pas de publi attendue pour le moment, réussir (enfin) à lancer ce sujet serait déjà pas mal ! [EP] : * morphonet aussi * exploitation des représentations hierarchiques pour la segmentation d'images médicales => collaboration avec le Creatis et l'IMT (ensemble et séparées). Dépot de demandes de financement en cours, publications envisagées : DGMM, MICCAI, MEDIA, TMI [EC] : * utilisation des architectures massivement parallèles pour la construction des représentations hiérarchiques morphologiques * Exploitation (SaaS) des techniques basées Morpho. Math. pour la dématérialisation de documents historiques [JR] : * construction de BPT parallèle aussi * morphonet (m'intéresse aussi) * utilisation des structures hiérarchiques pour la segmentation d'images médicales (m'intéresse aussi) * MCT et ses applications (viser JMIV) (collaboration avec ICube, CReSTIC et LIPADE) [BE] : * Combinaison de représentations hiérarchiques d'image (notamment le ToS) et de réseaux de neuronnes pour diverses applications. [GRG] : * Utiliser des opérateurs morphologiques sur des arbres pour analyser la texture en musique (suite de mes travaux de thèse) * Appliquer les MaxTrees pour analyser des spectrogrammes (suite de mes travaux de thèse) ## Calcul performant *Les axes de recherche qui se dégagent pour le futur de la thématique calcul performant sont dans la continuité des travaux actuels :* * *maintenir le développement de Pylene. Les principaux défis concernent l'évolution constante du C++ pour simplifier l'écriture du code générique et performant ainsi que l'exploitation non-intrusive des architectures parallèles et massivement parallèles. Le développement conjoint de Pylena, interface de Pylene en Python, permettra également de capitaliser sur cette dernière et ainsi favoriser son utilisation dans les thématiques applicatives de traitement du document, d'imagerie médicale et d'imagerie spatiale. Les besoins en performance, flexibilité et facilité d'utilisation dans ces domaines sont précisément ceux auxquels Pylene est destinée à répondre ;* * *adapter les représentations morphologiques et leurs algorithmes sur GPU. Cet axe de recherche algorithmique, lié à l'axe précédent pour répondre au besoin de performances de la bibliothèque Pylene, permettra une intégration fluide des algorithmes morphologiques dans les pipelines de traitement d'images sur GPU (notamment celles mettant en œuvre de l'apprentissage profond). Nos premiers travaux, en collaboration avec le LIP6, ont montré que les algorithmes morphologiques peuvent être adaptés sur GPU avec des gains de performances significatifs. Nous envisageons donc de poursuivre cette collaboration pour étendre ces travaux à d'autres opérateurs morphologiques et à des représentations morphologiques plus complexes (alpha-tree et arbre des formes).* *Garantir le maintien de la thématique calcul performant nécessite la présence d'ECs dans l'équipe avec des profils orientés développement & génie logiciel. Les perspectives de publication à court terme concernent les travaux algorithmiques sur GPU, à l'intersection des communautés du calcul performant et de la morphologie mathématique (des revues telles que TPDS ou TIP sont ainsi visées).* #### Stratégie scientifique en lien avec la thématique calcul performant - **TODO** [EP] : * promotion de la bibliothèque Pylène via les projets et le démonstrateur de Valentine, volonté de faire une session tutoriel dans une conférence internationale (quand les résultats côté morpho arriveront) [EC] : * AdF sur GPU * Mise en place d'une bibliothèque "morpho GPU" * Maintenance et augmentation de la bibliothèque Pylene [JR] : * travailler sur Pylene (m'intéresse aussi) [BE] * Maintenance continue et augmentation de la bibliothèque Pylene * Implémentations parallèle de représentations hiérarchiques d'image(ToS (GPU), BPT (CPU, GPU)) [GRG] : * Me former à Pylène pour pouvoir aider à la développer * Porter les algorithmes de ma biliothèque [nnMorpho](https://github.com/Manza12/nnMorpho) sur Pylène * Aider au développement de Pylena * La faire tourner sur Windows * La faire compatible avec PyTorch pour le côté GPU et DeepLearning * Aider à produire du code CUDA pour des algorithmes GPU ## Traitement du document *La thématique applicative traitement du document se retrouve aujourd'hui à la convergence des domaines de la vision par ordinateur et du traitement automatique des langues ; les récentes avancées dans le domaine de l'apprentissage profond permettant en effet d'adresser ces deux problématiques de manière simultanée. Nos travaux, qui intègrent déjà cette double dimension, s'orientent vers trois directions principales :* * *améliorer l'extraction d'informations dans des documents toujours plus complexes, aux structures toujours plus riches, en particulier en contribuant à des systèmes end-to-end permettant de façon conjointe la détection de la structure d'un document et sa transcription ;* * *construire des représentations évoluées pour extraire et analyser automatiquement, de façon à la fois massive (quantité d'information traitée) et précise (finesse de l'information extraite) des corpus de documents ;* * *rendre accessibles ces outils auprès de la communauté de chercheurs en SHS, en leur permettant en particulier d'utiliser ces approches sur leurs données, de façon la plus autonome possible.* *Les collaborations déjà en cours avec l'IGN et l'EHESS ont vocation à se maintenir et se renforcer. Les multiples perspectives de publication sont à la croisée des différentes communautés impliquées dans ces travaux.* #### Stratégie scientifique en lien avec la thématique traitement du document - ✅ - développer des outils de visualisation et d'édition collaborative d'annotation dans le cadre du projet [Mezanno](https://mezanno.xyz) cofinancé par la BnF - améliorer les systèmes de transcription automatique à l'aide de procédure d'apprentissage et d'architectures dédiées, en partenariat avec Teklia, Univ. Rouen, INSA Rennes - améliorer l'extraction de données structurées depuis des données textuelles grâce à des modifications des architectures transformer-encoder, avec EHESS, IGN, Turing Institute (UK) et BnF (et idéalement continuer les travaux sur l'extraction de layout dans cette direction) - si possible, commencer les travaux sur des systèmes RAG adaptés aux corpus de documents anciens, en collaboration avec l'équipe MNSHS dans le cadre du projet DECIDON [GRG] : * Essayer de faire de la transcription de partitions en fichiers en format MusicXML pour aider les chercheurs en musicologie computationnelle (potentielle collaboration avec Marie de l'équipe SHS et avec l'IRCAM) ## Imagerie médicale *De nouvelles collaborations sont nées autour du thème commun de la segmentation vasculaire pour la thématique applicative imagerie médicale. Ce thème a des caractéristiques bien précises : les objets à segmenter sont des structures fines, bruitées et faiblement contrastées, le tout dans des volumes 3D. Les défis à relever sont divers : les quantités de données à traiter sont importantes, les sources d'acquisitions sont multiples, les objets sont des structures difficiles à segmenter et ont des contraintes topologiques fortes. Les outils développés dans les axes méthodologiques morphologie mathématique et calcul performant s'appliquent particulièrement à ce type d'objets. Les objectifs se concentreront majoritairement sur le développement de méthodes légères et rapides de détection d'objets fins, peu contrastés, minoritaires dans les images, en combinant des outils issus de la morphologie mathématique avec des approches d'apprentissage profond et des a priori physiologiques et médicaux. L'objectif étant de rendre public et accessible toutes ces méthodes sans pré-requis de puissance de calcul, et donc utilisables en routine clinique. Ces travaux pourront être publiés dans des conférences et dans des revues visant à la fois la communauté de médecine et celle du traitement d'images. Les collaborations actuelles avec le CREATIS et avec General Electric Healthcare sont amenées à se renforcer. De nouvelles collaborations sont en discussion avec les Hôpitaux Sud de Lyon et l'Institut Curie. Pour finir, des participations régulières aux challenges MICCAI et ISBI sont envisagées afin de promouvoir nos méthodes tout en se comparant de la manière la plus objective possible aux autres méthodes de l'état de l'art.* #### Stratégie scientifique en lien avec la thématique imagerie médicale - **TODO** [NB] : * fonctions de cout topologiques pour la segmentation d'images biomédicales (avec Yongchao et Benjamin Perret) (viser CVPR) * tracking de vaisseaux sanguins dans les images rétiniennes (avec Elodie et Odyssée) (conf ou journal à discuter) [EP] : * continuité des collaborations avec le CREATIS sur la segmentation cardiaque et vasculaire * initiation de collaborations avec l'IMT (imagerie du rein) * metriques adaptées à l'évaluation d'objets fins (communication souhaitée avant la fin de l'année) * tracking avec nicolas ? (soucis de bande passante) * cifre avec GEH ? [JR] : * vers des applications sur des images médicales (je ne sais pas quoi pour l'instant) [GRG] : * Monter en compétences en imagerie médicale pour faire mes cours et pour pouvoir faire de la recherche dans ce domaine ## Imagerie spatiale *Tout en restant ouverte aux opportunités de collaboration en ce qui concerne le traitement d'images satellitaires, l'équipe a pour volonté de donner la priorité aux travaux initiés avec l'IMCCE (Observatoire de Paris), privilégiant le développement de la thématique applicative imagerie spatiale. Ces travaux initiés visent à développer des algorithmes efficaces pour la détection et la localisation d'objets dans des images astronomiques pour des problématiques d'astrométrie (mesure de la position d'une source donnée). Cette collaboration avec l'IMCCE est appelée à se poursuivre et s'approfondir dans le futur, car les défis à relever sont nombreux. La partie traitement d'images étant en général en début de chaîne pour les problématiques d'astrométrie, les contraintes imposées sur la précision de la mesure sont extrêmement fortes afin de minimiser la propagation des erreurs. Viennent s'ajouter également des contraintes de performance (volume de données à traiter, éventuellement en temps réel), de fiabilité (coût élevé d'un faux négatif) et de portabilité (déploiement des solutions développées sur des machines non optimisées). Les perspectives de publication visent principalement les revues de haut rang de la communauté d'astronomie.* #### Stratégie scientifique en lien avec la thématique imagerie spatiale - **TODO** [GT] Idem DAE mais version déclinée à 1 an : favoriser les collaborations en lien avec la thématique spatiale. Fil directeur : *développement d'es 'algorithmes efficaces pour la détection et la localisation d'objets dans des images astronomiques pour des problématiques d'astrométrie* * application directe "facile" de la morphologie mathématique & IA * des contraintes de performances peuvent aussi être présentes * priorité sur les projets en cours avec l'IMCCE (CABERNET, thèse de Giulio Quaglia) * Publi A&A visée dans l'année 2024/2025 pour chacun de ces deux projets * développement de nouvelles collaborations dans le thème *imagerie spatiale* * nouveau sujet / collaboration avec le SYRTE : *classification des types spectraux de quasars* (même si techniquement c'est full signal/IA car pas d'images dans les données) * suite de la discussion avec l'IMPMC + muséum d'histoire naturelle sur la classification d'images de météorties : à voir ce qu'il en débouche cet automne... [JR] : * ouvert au traitement d'images satellitaires aussi (mais pas de perspectives pour l'instant) ## Robotique d'exploration et nuages 3D *Le développement de nouvelles méthodologies de relevés terrains sous-marins est au cœur des travaux de la thématique robotique d'exploration et nuages 3D, et les perspectives pour le futur intègrent des composantes méthodologiques et applicatives transversales :* * *une composante focalisée sur l'aspect acquisition de données in situ (robotique de terrain) avec le développement de capteurs multi-vues légers dédiés à l'acquisition de données environnementales multi-milieux, le développement de plate-formes agiles d'acquisition, principalement en milieu marin (drone catamaran) et sous-marin (drone hybride AUV/ROV), le développement d'algorithmes de collaboration au sein de flottilles hétérogènes, ainsi que le développement de méthodologies de déploiement opérationnel de réseaux de contrôle servant de vérité terrain ;* * *une composante focalisée sur l'aspect traitement des données avec le développement de nouveaux algorithmes pour la reconstruction 3D de fonds marins (jumeaux numériques) visant à apporter des solutions aux problèmes de reconstruction en présence de mouvement ou proposer des maillages multi-résolution des nuages 3D en fonction du contenu.* *Ces travaux permettront de mettre à la disposition de la communauté des bases de données sous-marines de référence accompagnées de vérité terrains. Le fait que deux \ecs~de l'équipe TIRF soient des plongeur.euses professionnel.les de classe 2B expérimenté.es est un atout attractif pour le développement de nouvelles collaborations (notamment avec l'université de Kiel et l'université de Chypre). Les perspectives de publication visent principalement des revues de rang A ou B dans des domaines comme la télédétection, les technologies sous-marines et la robotique de terrain ainsi que des conférences rassemblant les grandes communautés de la télédétection (IGARSS) et de la photogrammétrie (ISPRS).* #### Stratégie scientifique en lien avec la thématique robotique d'exploration et nuages 3D - **TODO** [2L] collaborations espérées avec le GEOMAR (gros institut océanographique allemand)/ université de Kiel, ainsi qu'avec le musée d'archéologie sous-marine de Saint-Raphaël [2L] travail sur la publication de bases de données images sur la reconstruction de sites sous-marins et soumission associée dans une revue de A/B [2L] développement de charges utiles multi-vues synchronisées [2L] travail sur l'estimation de la complétude d'un jeu de données in-situ