Soutenance de thèse de DE LEÓN BATISTA Lázaro Javier
Titre de thèse
développement d'outils numérique et algorithmiques pour l'amélioration de l'histologie Raman stimulée en vue d'applications cliniques
development of computational tools to enhance stimulated raman histology for clinical applications
Résumé de la thèse
Le diagnostic oncologique requiert l'étude de la structure microscopique de tissus.
Cette étude, nommée histologie/histopathologie, permet d'analyser des échantillons
de tissus pour différencier finement les tissus sains, les tissus pathologiques et les
pathologies tumorales associées. L'histologie conventionnelle s'appuie sur une colorisation des échantillons à l'hématoxyline et éosine (H&E) fournissant un contraste
permettant de visualiser au microscope les structures cellulaires. Le protocole de
préparation et de colorisation des échantillons histologiques est long et nécessite de
nombreux équipements. L'histologie par diffusion Raman stimulée (SRH), basée sur
la microscopie de diffusion Raman stimulée (SRS), a récemment émergé comme une
alternative prometteuse. Elle permet une imagerie des échantillons sans marquage
en quelques minutes et est non destructive. L'acquisition des décalages Raman correspondants aux liaisons moléculaires CH2 (2845 cm−1) et CH3 (2930 cm−1), mettent
respectivement en évidence les lipides et les protéines. La soustraction des signaux
CH2 −CH3 réhausse la visibilité des noyaux cellulaires, ouvrant la voie à la génération
d'images d'histologie virtuelle. Cependant, la SRH présente un champ de vue limité
par rapport à l'histologie conventionnelle et manque d'automatisation. Par ailleurs,
son interprétabilité pour le diagnostic reste un défi : en effet, les images SRH pré-
sentent un contraste différent des images H&E et nouveau pour les histopathologistes.
Pour augmenter la taille des champs de vue, nous proposons de réaliser une mosaïque
d'acquisitions SRH adjacentes. Le schéma de la mosaïque est déterminé automatiquement dans un cadre de microscopie intelligente s'appuyant sur le contenu des images.
Un modèle de segmentation de type U-Net pour identifier les noyaux cellulaires, informations primordiales pour le diagnostic, est développé. Étant donné la rareté des
données SRH annotées pour la segmentation, nous proposons une méthode de géné-
ration d'images pseudo-SRS et de leurs masques de segmentation correspondants,
pour un entraînement supervisé de notre modèle. En intégrant notre modèle dans un
système de guidage du microscope en boucle fermée, nous démontrons sa capacité
à augmenter itérativement la quantité d'informations utiles dans la mosaïque résultante. L'ensemble du système a été validé sur des échantillons de tumeurs cérébrales.
Pour rapprocher les images SRH du contraste et de la qualité standard d'images histologiques H&E, nous développons un réseau de neurones de colorisation virtuelle des
images SRH. À partir d'images de patches H&E inclus en paraffine une approche de
génération de pseudo-SRH est à nouveau adoptée. Cela permet de créer une base de
données d'images appairées dans deux contrastes différents pour entrainer le réseau
de colorisation virtuelle. Afin de valider le réseau en vue d'applications cliniques nous
proposons une méthode pour détecter ses hallucinations potentielles, un défi courant dans la colorisation virtuelle. Enfin, nous avons mené une évaluation préclinique de
notre méthode de coloration, au cours de laquelle des pathologistes formés ont correctement classé les 15 échantillons de tumeurs cérébrales testés en utilisant l'imagerie
SRH combinée à la coloration virtuelle.
Thesis resume
Oncological diagnosis requires the study of the microscopic structure of tissues.
This study, called histology/histopathology, allows the analysis of tissue samples to
precisely differentiate healthy tissues, pathological tissues, and associated tumor
pathologies. Conventional histology relies on staining samples with hematoxylin and
eosin (H&E), providing contrast that allows visualization of cellular structures using
a microscope. The protocol for preparation and staining of histological samples is
time-consumming and requires numerous ressources. Stimulated Raman scattering
histology (SRH), based on stimulated Raman scattering (SRS) microscopy, has recently
emerged as a promising alternative. It enables label-free imaging of samples in a few
minutes and is non-destructive. The acquisition of Raman shifts corresponding to
molecular bonds CH2 (2845 cm−1) and CH3 (2930 cm−1) respectively highlight lipids
and proteins. The subtraction of CH2 - CH3 signals enhances the visibility of cell
nuclei, paving the way for virtual histology image generation. However, SRH presents
a limited field of view compared to conventional histology and lacks automation. Furthermore, its interpretability for diagnosis remains a challenge: indeed, SRH images
present a contrast different from to H&E images and unusual for histopathologists.
To increase field of view size, we propose to create a mosaic of adjacent SRH acquisitions. The mosaic pattern is determined automatically within a smart microscopy
framework based on image content. A U-Net segmentation model to identify cell
nuclei, information crucial for diagnosis, is developed. Given the scarcity of annotated
SRH data for segmentation, we propose a method for generating pseudo-SRS images
and their corresponding segmentation masks for supervised training of our model.
By integrating our model into a closed-loop microscope guidance framework, we
demonstrate its ability to iteratively increase the amount of useful information in the
resulting mosaic. The entire system was validated on brain tumor samples. To bring
SRH images closer to the contrast and standard quality of H&E histological images,
we develop a virtual staining neural network for SRH images. Using images of paraffin
embedded H&E patches, a pseudo-SRH generation approach is again adopted. This
allows us to create a database of unpaired images in two different contrasts to train the
virtual staining network. To validate the network for clinical applications, we propose
a method to detect its potential hallucinations, a common challenge in virtual staining.
Finally, we conducted a preclinical evaluation of our staining method, in which trained
pathologists correctly classified all 15 brain tumor samples tested using SRH imaging
combined with virtual staining.