Thèmes de recherche
Research Topics
Equipe d’accueil : IPI - Image Perception Interaction
Team : IPI - Image Perception Interaction
Mes activités de recherche portent principalement sur l'analyse et la reconnaissance des langages graphiques manuscrits en explorant conjointement des approches statistiques, structurelles et syntaxiques. Les domaines applicatifs sont principalement la reconnaissance d'expressions mathématiques manuscrites, de diagrammes, de gestes d'interaction et plus récemment l'analyse de documents anciens manuscrits, la vision industrielle et l'imagerie médicale.
Mes travaux se sont structurés autour ces grandes directions :
- reconnaissance d'expressions mathématiques manuscrites : en plus de proposer des systèmes complets de reconnaissance, je m'intéresse aussi à la problématique de l'évaluation de la reconnaissance (organisation de la compétition internationale CROHME) ;
- apprentissage automatique : utilisation et apprentissage du rejet dans les classifieurs statistiques (réseaux de neurones récurrents, profonds, SVM...) pour guider les étapes segmentations et de construction des graphes d'hypothèses ;
- graphes : modélisation des hypothèses, fouille non supervisée de donnée pour découvrir le vocabulaire du langage, reconnaissance de graphes par graph-matching ou graph-embedding, grammaire de graphes
- apprentissage profond : utilisation et adaptation des réseaux profonds pour la réalisation dans les problèmes cités ci-dessus (réseaux profonds sur des graphes, apprentissage avec peu de données, apprentissage par transfert, utilisation de attention visuelle)
Context : hanwritting recognition, on-line hanwritting, computer vision, deep-learning,
mathematical expression recognition, recognition evaluation metrics, graphe-based approaches (graph matching and graph embedding) writer adaptation, writer identification, document analysis, medical imaging.
- Pattern Recognition, Classification, Artificial Intelligence
- Classification Evaluation (with reject option), complex structural recognition evaluation (applied to math in CROHME competition)
- Used classifiers: Neural Networks (DeepLearning, MLP, RBFN, TDNN, RNN, BLSTM), Support Vector Machine (SVM), Fussy Inference Systems
- On the fly learning (adaptation)
- Deep-Learning in different context (graph-based deep-learning, tranning with few data, using attention based trainning, ...)
Groupe de Recherche GRCE: Organisation des journées thèmatiques SIFED et TALADOC le 1er et 2 juin 2017.
Habilitation à Diriger des Recherches, HDR
HDR
Reconnaissance de documents manuscrits structurés - Des équations manuscrites aux
documents anciens
Université de Nantes, le 2 décembre 2016. Jury composé de :
- Thierry Paquet, Professeur à l’Université de Rouen, section CNU 61 (Rapporteur)
- Jean-Yves Ramel, Professeur à Polytech Tours, section CNU 27 (Rapporteur)
- Antoine Tabbone, Professeur à l’Université de Lorraine, section CNU 27 (Rapporteur)
- Jean-Marc Ogier, Professeur à l’Université de La Rochelle, section CNU 27 (Président)
- Eric Anquetil, Professeur à l’INSA de Rennes, section CNU 27 (Examinateur)
- Christian Viard-Gaudin, Professeur à l’Université de Nantes, section CNU 61 (Garant HDR)
Projets récents ou en cours
Projects
- Projet AiBy4 : "L'IA par les Humains, pour les humains", Projet ANR Thèses IA, co-porteur avec Diana Mateus.
- Project AiBy4 : "AI by Human, for Human", ANR program PhD in AI, co-leader with Diana Mateus.
- Projet APACOSI collaboration avec Jean Baptiste Fasquel (LARIS Angers), R. Dahyot (Trinity
College Dublin) et I. Bloch (LTCI Télécom ParisTech) ; Apprentissage Profond et Connaissances Structurelles pour l'analyse d'Images
- Projet Interdisciplinaire CrohnIPI : collaboration avec l'équipe Imad du CHU de Nantes, création d'un outil d'aide au diagnostique pour la maladie Crohn (imagerie médicale, deep-learning, attention visuelle)
- Projet Interdisciplinaire DL4IVF : collaboration avec le CHU de Nantes, a precision medicine approach to improve IVF success rate through combination of automated image analysis and deep learning.
- Project APACOSI in collaboration with Jean Baptiste Fasquel (LARIS Angers), R. Dahyot (Trinity
College Dublin) and I. Bloch (LTCI Télécom ParisTech) ; Deep learning and structural knowledge for image analysis
- Interdisciplinary Project CrohnIPI : collaboration with Imad team from the University Hospital of Nantes de Nantes, computer assisted decision for the Crohn disease (medical imaging, deep-learning, visual attention)
- Interdisciplinary Project DL4IVF : collaboration with the University Hospital of Nantes, a precision medicine approach to improve IVF success rate through combination of automated image analysis and deep learning.
- Projet ANR CIRESFI Contrainte et Intégration : pour une réévaluation des spectacles forains et italiens sous l’Ancien Régime (2014 - 2019): Ancient document analysis, Analyse de documents anciens (XVIIe),, hanwritting recognition, transfert learning, language model with deep-learning, wordspotting.
- CROHME 2016 Competition on Recognition of Online Handwritten Mathematical Expressions, Compétion de la conférence ICFHR 2016
- Projet Région Pays de la Loire DEPART
(Document Ecrits et Paroles – Reconnaissance et Traduction, 2009-2014)
- Projet
ANR CIEL (Conversion Indexation
de l’Ecriture en Ligne, 2008-2010)
Encadrements
Supervision of students
Thèses en cours
Current PhD students
- « Apprentissage profond pour l’aide au diagnostic et comparaison
des mécanismes d’explicabilité avec l’attention visuelle humaine : application à la détection des lésions de la maladie de Crohn.
Visual attention in deep-learning in medical imaging for
computer assisted diagnosis
»,
Rémi Vallée, Université de Nantes, co-encadrement avec Nicolas Normand et Antoine Coutrot
- « Explicabilité des modèles profonds sur des données à composante
textuelle : entre modèle explicite et visualisation
Explanability of deep models on textual data: between explicit model and visualization
»,
Gaelle Jouis, Université de Nantes et Pôle Emploi (CIFRE), co-encadrement avec Fabien Picarougne
- « Deep Learning for morphokinetic information extraction on time lapse microscopy images of human embryo
Deep Learning for morphokinetic information extraction on time lapse microscopy images of human embryo
»,
Tristan Gomez, Université de Nantes, co-encadrement avec Fabien Picarougne
- « Apprentissage profond et connaissances structurelles pour l'analyse d'Images
Deep learning and structural knowledge for image analysis
»,
Jérémy Chopin, Université d'Angers, co-direction avec Jean Baptiste Fasquel (LARIS Angers), et co-encadrement avec R. Dahyot (Trinity
College Dublin)
- « Conversion d’image en encre numérique et réseaux de neurones profonds
Image to digital ink conversion and deep neural networks
»,
Mohamed Moussa Elmokhtar, Université de Nantes et MyScript (CIFRE), co-encadrement avec Thibault Lelore
Thèses soutenues
Former PhD students
- « Vision industrielle et réseau profond
»,
Julien Langlois, Université de Nantes et MultitudeTechnologies (CIFRE), co-encadrement avec Christian Viard-Gaudin et Nicolas Normand, soutenue le 28/08/2019, download
- « Extraction d'informations dans des collections historiques
»,
Adeline Granet, Université de Nantes, co-encadrement avec Emmanuel Morin et Solen Quiniou, soutenue le 12/12/2018, download
- « New Architecture for Handwritten Mathematical Expressions Recognition
»,
Ting Zhang, Université de Nantes, co-encadrement avec Christian Viard-Gaudin, soutenue le 26/10/2017, download
- « Reconnaissance et interprétation des interactions tactiles multipoints
»,
Zhaoxin Chen, Université de Nantes et INSA de Rennes, co-encadrement avec Christian Viard-Gaudin et Eric Anquetil de l'INSA de Rennes, soutenue le 28/04/2017, download
- « Structural Analysis of Handwritten Mathematical Expressions using Contextual Information
»,
Frank Julca-Aguilar, Universtity of Sao Paulo and Université de Nantes, co-encadrement avec Christian Viard-Gaudin et Nina Hirata de l'Université de Sao Paulo, soutenue le 29/04/2016 download
- « Stratégies de fusion pour des signaux
écrits et sonores – Application à la reconnaissance d’expressions mathématiques
»,
Sofiane Medjkoune, Université de Nantes, dans le cadre du
projet DEPART, co-encadrement avec Christian Viard-Gaudin et Simon Petitrenaud de l'Université du Mans, soutenue le 13/11/2013, download
- « Extraction de
connaissances symboliques et relationnelles appliquée aux
tracés manuscrits structurés en-ligne
»
Jinpeng Li, Université de Nantes, co-encadrement avec
Christian Viard-Gaudin, soutenue le 23/10/2012, download
- « Reconnaissance de
structures 2D dans les documents manuscrits : application aux
équations mathématiques
»,
Ahmad-Montaser Awal, Université de Nantes, dans le cadre du
projet CIEL, co-encadrement avec Christian Viard-Gaudin, soutenue le 12/11/2010, download
Stages de Master 2 recherche
Master Students
- Jing XING (2022, Master VICO) « Deeplearning for automatic analysis of lesion in endoscopic video using self-supervised approaches »
- Mira KHALIL (2022, Lebanese University Faculty of Engineering) « Graph Neural Network for Handwritten Math Expression »
- Caren AL ANAISSY (2021, Master VICO) « Training Handwriting Recognition System with Uncertain Data from Crowd-sourcing »
- Zhe LI (2020, Master VICO) « Electrocardiogram semantic segmentation from image based archives »
- Pingao LYU (2020, Master VICO) «Training Handwriting Recognition System with Uncertain Data from Crowd-sourcing »
- Zhengchao ZHANG (2019, Master VICO) «Inpainting with GAN for automatic segmentation of lesion in endoscopic video»
- Endong ZHENG (2019, Master VICO) «2D language recognition with graph-based BLSTM»
- Hippolyte DUBOIS (2019, Master VICO) «Using machine learning to capture and model the singularity of spatial trajectories»
- Zerui YANG (2019, Master VICO) «Morphocinetic information extraction in microscopic time-laps of embryo with deep-learning»
- Rémi Vallée (2018, Ingénieur Polytech, 2018) «Segmentation d’images de documents anciens par apprentissage profond utilisant des données issues du crowd-sourcing»
- Littisha Lawrance (2018, Master VICO) «Deep learning for automatic detection of early development stages in videos of human embryos»
- Yinan ZHANG (2017,Master MDM) « Adding local language constraints as post-processing of math recognizer»
Adding local language constraints as post-processing of math recognizer»
- Rashika BARALA (2017, Master MDM) « Classification in a Taxonomy with Deep
Learning for the Plankton Classification »
- Ziheng QIU (2017, Master MDM) « Segmentation free word spotting using deep-learning
in ancient document»
- Hansil RYU, (2016, Master MDM) « Low Quality Video-surveillance analysis »
- Jingwen HUANG, (2016, Master MDM) « Semi-automatic image segmentation of old documents »
- Weishen PAN, (2015, Master MDM) « Distance Metric Learning from Multilayer Perceptron to Convolutional Neural NetworkApplication for Word Spotting in Historical Documents »
- Chengcheng WANG, (2015, Master SEGE) « Understanding handwritten 2d structural language using conditional random field in the example of flowchart »
- Ram Hari (2014, Master MDM) « Spatial Relationship Identification for Handwritten Mathematical Expressions Recognition »
- Junbei Shang (2014, Master MDM) « Bidirectional Long Short Term Memory Classifier for Handwritten Mathematical Expressions Recognition »
- Bingwei WU (2013, Master MDM) « Two-dimensional (2D) languages and application to handwritten graphical parsing»
- Xiaoxin WEI (2013, Master MDM) « From Recurrent Neural Network to Long Short Term Memory Architecture »
- Boussad GHEDAMSI (2013, Master Recherche Informatique MRI, ISTIC, Université de Rennes 1 avec Eric Anquetil) « Muti-touch Gestures Recognition Using the Strategy of Graph Embedding »
- Zhaoxin CHEN : (2012, Master SEGE) « Stroke-order Free Handwriting Recognition System »
- Rahmoun Somia : (2012, Master Recherche Informatique MRI, ISTIC, Université de Rennes 1 avec Eric Anquetil) « Composition manuscrite de gestes graphiques sur des interfaces tactiles multipoints »
- J. Li : (2009, Master SEGE) « Writer identification based on grapheme distribution »
- A. Kanj : (2009, Master SEGE) « Handwritten mathematical expression recognition : symbol recognition optimization »
Publications