Séminaire de Khalil Bachiri

Apprentissage multimodal structuré sur graphes : expressivité, robustesse et contrôle de la complexité

Les approches d'apprentissage profond, lorsqu'elles intègrent des principes algorithmiques et structurels, constituent aujourd'hui un cadre central pour la modélisation et l'apprentissage sur des structures multimodales hétérogènes. L'essor de données structurées, multimodales et évolutives soulève des défis majeurs à l'interface entre apprentissage, algorithmique et modélisation, notamment en termes d’intégration des sources d'information, de robustesse et de maîtrise de la complexité.

Dans ce séminaire, je présenterai mes travaux sur l'apprentissage multimodal structuré, en mettant l'accent sur les graphes hétérogènes, le raisonnement multimodal et séquentiel, ainsi que l'analyse topologique des données. L'objectif est de concevoir des modèles capables d'intégrer l'hétérogénéité des modalités, les relations entre entités et la dynamique des interactions, en plaçant la structure au coeur de l'apprentissage et du contrôle de la complexité. Je montrerai comment l'exploitation explicite des structures relationnelles, via des graphes hétérogènes multimodaux et l'intégration de connaissances structurelles, permet de compléter et enrichir les approches de réseaux de neurones profonds. Ces travaux s'appuient notamment sur des mécanismes de fusion sélective sensibles à l'hétérogénéité et à la transférabilité entre modalités, combinés à des stratégies d'alignement multimodal probabiliste et à des formes de régularisation structurelle. Ces approches renforcent la robustesse et guident une réduction de la complexité par la structure, tout en permettant de modéliser la complémentarité des sources d'information. L'ensemble de ces contributions articule expressivité, coût computationnel et robustesse, via des biais inductifs structurés et un contrôle explicite de la complexité et de la frugalité.