[PDF] Gurvan LÉCUYER 2 De l'annotation des

View - Download Gurvan LÉCUYER

Previous PDF

Next PDF

THÈSE DE DOCTORAT DE

L"UNIVERSITÉ DE RENNES 1

ÉCOLEDOCTORALEN° 601

Mathématiques et Sciences et Technologies

de l"Information et de la Communication

Spécialité : AST

Par

Gurvan LÉCUYER

Analyse automatique et assistance à l"annotation des proces- sus chirurgicaux basées Deep Learning Thèse présentée et soutenue à Rennes, le 30/01/2020

Unité de recherche : UMR 1099 Inserm

Thèse N° :

Rapporteurs avant soutenance :

Sandrine Voros Chargée de recherche Inserm

Gwénolé Quellec Chargé de recherche UMR 1101 Inserm

Composition du Jury :

Président : Prénom Nom Fonction et établissement d"exercice(à préciser après la soutenance)

Examinateurs : Sandrine Voros CR 1 Inserm

Gwénolé Quellec CR 1 Inserm

Guillaume Morel Professeur Sorbonne Université

Silvana Perretta Professeur, CHU Strasbourg, Université de Strasbourg

Dir. de thèse : Pierre Jannin DR Inserm

Invité(s) :

Laurent Launay Chef de laboratoire IRT b<>com

REMERCIEMENTS3

TABLE DES MATIÈRES1 Introduction17

1.1 Environnement de travail . . . . . . . . . . . . . . . . . . . . . . . . . . 17

1.2 La salle d"opération du futur . . . . . . . . . . . . . . . . . . . . . . . . . 20

1.2.1 Définition et enjeux . . . . . . . . . . . . . . . . . . . . . . . . . . 21

1.2.2 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

1.2.3 Projets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

1.3 Analyse automatique de procédure chirurgicale . . . . . . . . . . . . . . 25

1.3.1 Définition et enjeux . . . . . . . . . . . . . . . . . . . . . . . . . . 26

1.3.2 Signaux disponibles dans la salle d"opération pour l"analyse au-

tomatique des procédures . . . . . . . . . . . . . . . . . . . . . . 28

1.3.3 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

1.4 Annotation de vidéos chirurgicales . . . . . . . . . . . . . . . . . . . . . 30

1.4.1 Définition et enjeux . . . . . . . . . . . . . . . . . . . . . . . . . . 31

1.4.2 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

1.5 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2 De l"annotation des vidéos chirurgicales à la reconnaissance automatique

des processus chirurgicaux39

2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.2 Outils d"annotation de vidéos chirurgicales . . . . . . . . . . . . . . . . . 41

2.2.1 Méthode de recherche . . . . . . . . . . . . . . . . . . . . . . . . 41

2.2.2 Analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2.3 Reconnaissance automatique des processus chirurgicaux . . . . . . . . 53

2.3.1 Méthode de recherche . . . . . . . . . . . . . . . . . . . . . . . . 53

2.3.2 Analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

2.4.1 Outils d"annotation de vidéos chirurgicales . . . . . . . . . . . . 70

2.4.2 Reconnaissance automatique des processus chirurgicaux . . . . 72

2.5 Conclusion et positionnement de la thèse . . . . . . . . . . . . . . . . . 74

5

TABLE DES MATIÈRES

3 Présentation des données utilisées77

3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

3.2 Caractérisation des bases de données de vidéos chirurgicales . . . . . 78

3.2.1 Paramètres techniques . . . . . . . . . . . . . . . . . . . . . . . 80

3.2.2 Paramètres d"annotation . . . . . . . . . . . . . . . . . . . . . . . 82

3.3 Cholécystectomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

3.3.1 Description de la procédure . . . . . . . . . . . . . . . . . . . . . 83

3.3.2 Base de donnéesCholec80. . . . . . . . . . . . . . . . . . . . . 85

3.4 Opération de la cataracte . . . . . . . . . . . . . . . . . . . . . . . . . . 89

3.4.1 Description de la procédure . . . . . . . . . . . . . . . . . . . . . 89

3.4.2 Base de donnéesCATARACTS. . . . . . . . . . . . . . . . . . . 90

3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

3.5.1 Caractérisation des bases de données . . . . . . . . . . . . . . . 100

3.5.2Cholec80. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

3.5.3CATARACTS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

4 Analyse des cas d"erreurs rencontrés dans la reconnaissance automa-

tique des processus chirurgicaux107

4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

4.2 Réseaux de neurones convolutifs pour la classifications . . . . . . . . . 110

4.2.1 Formalisation du problème . . . . . . . . . . . . . . . . . . . . . 110

4.2.2 Composants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

4.2.3 Architectures utilisées . . . . . . . . . . . . . . . . . . . . . . . . 113

4.2.4 Stratégie d"entrainement . . . . . . . . . . . . . . . . . . . . . . . 116

4.3 Catégorisation des erreurs . . . . . . . . . . . . . . . . . . . . . . . . . 117

4.4 Expérimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

4.4.1 Reconnaissance des phases de la cholécystectomie . . . . . . . 118

4.4.2 Reconnaissance des phases de l"opération de la cataracte . . . 120

4.4.3 Reconnaissance des étapes de la cataracte . . . . . . . . . . . . 120

4.4.4 Métriques d"évaluation . . . . . . . . . . . . . . . . . . . . . . . . 122

4.5 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

4.5.1 Reconnaissance des phases de la cholécystectomie . . . . . . . 123

4.5.2 Reconnaissance des phases de l"opération de la cataracte . . . 125

6

TABLE DES MATIÈRES

4.5.3 Reconnaissance des étapes de la cataracte . . . . . . . . . . . . 128

4.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

4.6.1 Expérimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

4.6.2 Catégorisation des erreurs et analyse . . . . . . . . . . . . . . . 134

4.6.3 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

4.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

5 Identification automatique des erreurs de prédiction 139

5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

5.2 Approche naïve : seuil de durée minimum . . . . . . . . . . . . . . . . . 141

5.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

5.2.2 Formalisation du problème . . . . . . . . . . . . . . . . . . . . . 142

5.2.3 Méthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

5.2.4 Expérimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

5.2.5 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

5.2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

5.3 Approche analytique : indice de confiance . . . . . . . . . . . . . . . . . 160

5.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

5.3.2 Formalisation du problème . . . . . . . . . . . . . . . . . . . . . 161

5.3.3 Méthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

5.3.4 Expérimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

5.3.5 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

5.3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

5.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

5.4.1 Modèles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

5.4.2 Expérimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

5.4.3 Application et perspective . . . . . . . . . . . . . . . . . . . . . . 177

5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

6 Annotation assistée et test utilisateur181

6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

6.2 Baseline : le logiciel [Annotate] . . . . . . . . . . . . . . . . . . . . . . . 184

6.3 Premier système d"assistance : approche naïve et phases de la cholé-

cystectomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

6.3.1 Système d"assistance à l"annotation et interface utilisateur . . . . 185

7

6.3.2 Test utilisateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

6.3.3 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

6.3.4 Évaluation du questionnaire . . . . . . . . . . . . . . . . . . . . . 193

6.3.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

6.4 Deuxième système d"assistance : approche analytique et phases/étapes

de la cataracte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

6.4.1 Système d"assistance à l"annotation et interface utilisateur . . . . 195

6.4.2 Test utilisateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196

6.4.3 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200

6.4.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

6.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

7 Discussion générale209

7.1 Motivations et objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

7.2 Résumé des contributions . . . . . . . . . . . . . . . . . . . . . . . . . . 211

7.2.1 Classification des cas d"erreur de prédiction . . . . . . . . . . . . 211

7.2.2 Détection automatique des erreurs de prédiction . . . . . . . . . 213

7.2.3 Annotation assistée et tests utilisateurs . . . . . . . . . . . . . . 214

7.3 Limitations et points d"amélioration . . . . . . . . . . . . . . . . . . . . . 216

7.3.1 Données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

7.3.2 Méthodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217

7.3.3 Test utilisateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

7.4 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

7.4.1 Étude de variabilité de l"annotation . . . . . . . . . . . . . . . . . 220

7.4.2 Optimisation des bases de données pour l"apprentissage . . . . 221

7.4.3 Apprentissage continu . . . . . . . . . . . . . . . . . . . . . . . . 221

7.4.4 Facilitation de l"entrainement des réseaux de neurones . . . . . 222

7.4.5 Annotation assistée des activités chirurgicales . . . . . . . . . . 223

7.4.6 Système d"assistance et détection des erreurs de prédiction . . 223

Conclusion225

Publication227

Bibliography229

TABLE DES FIGURES1.1 Architecture d"un système conscient de son environnement pour l"assis- tance à l"intervention. SOURCE : https ://medicis.univ-rennes1.fr/ activi- ties/theme1/projects/kbmrspm . . . . . . . . . . . . . . . . . . . . . . . 19

1.2 Schéma de la mise en place de l"environnement virtuel et de la concep-

tion de scénario d"intervention pour l"entrainement du personnel médical SOURCE : https ://medicis.univ-rennes1.fr/activities/theme1/projects/s3pm 20

1.3 Vision de la salle d"opération du futur du projet CONDOR. SOURCE :

https ://b-com.com/fr/news/projet-condor-bcom-et-ses-partenaires-inventent- hopital-du-futur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

1.4 Première intervention au monde avec l"utilisation d"appareils connectés

en utilisant le standard DICOM-RTV. SOURCE : https ://b-com.com/fr/news/premiere- mondiale-realisee-par-bcom-et-le-chu-de-rennes . . . . . . . . . . . . . 25

1.5 Exemple de labélisation, image de la vidéo et son label associé . . . . . 32

1.6 Exemple de détection, image et le vecteur de présence des instruments.

Dans cet exemple, les instruments 1 et 2 sont marqués présents, les instruments 3 à 7 sont marqués comme absents . . . . . . . . . . . . . 32

1.7 Exemple de localisation avec annotation par rectangle, image est les

données de localisation associée . . . . . . . . . . . . . . . . . . . . . . 33

1.8 Exemple de segmentation partielle, seuls les outils sont segmentés dans

cette variante, les autres pixels sont labélisés comme étant une classe neutre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

1.9 Exemple de description . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

2.1 Processus de sélection des publications pour la revue de la littérature . 42

2.2 Décomposition de la revue des outils d"annotation de vidéos chirurgicales 44

2.3 Nombre d"outils d"annotation en fonction du type d"annotation . . . . . . 45

2.4 Processus de sélection des publications pour la revue de littérature sur

la modélisation et l"analyse des procédures chirurgicales . . . . . . . . 54 9

TABLE DES FIGURES

2.5 Organisation de la revue de la littérature sur la reconnaissance des pro-

cessus chirurgicaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

2.6 Nombre de publications par type de signal . . . . . . . . . . . . . . . . . 57

2.7 Nombre de publications en fonction du nombre de données utilisées . . 58

2.8 Occurrences des différents acteurs observés dans la littérature . . . . . 59

2.9 Occurrences des différents formalismes observés dans la littérature . . 61

2.10 Nombre de phases en bleu, d"étapes en orange et d"activités en gris

traitées dans la littérature . . . . . . . . . . . . . . . . . . . . . . . . . . 62

2.11 Pourcentage des publications de la littérature par spécialité chirurgicale 67

2.12 Pourcentage des publications de la littérature par procédure chirurgicale 69

2.13 Pourcentage des publications de la littérature par type d"application . . 70

3.1 Décomposition des caractéristiques des bases de données . . . . . . . 79

3.2 Pourcentage de base de données par procédure . . . . . . . . . . . . . 80

3.3 Pourcentage de base de données par capteur . . . . . . . . . . . . . . . 81

3.4 Nombre de bases de données en fonction du nombre de données qui

les composent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

3.5 Information annotées dans les différentes bases de données trouvées

dans la littérature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

3.6 Illustration d"une cholécystectomie. Source : http ://chirurgie-digestive-

sat.aphp.fr/chirurgie/cholecystectomie/ . . . . . . . . . . . . . . . . . . . 84

3.7 Les sept instruments chirurgicaux utilisés pour la procédure de la cho-

lécystectomie. De gauche à droite et de haut en bas : 1) la pince 2) le sac d"extraction 3) les ciseaux 4) la canule d"irrigation/aspiration 5) le crochet 6) la pince bipolaire 7) l"applicateur de clips . . . . . . . . . . . 87

3.8 Pourcentage d"images pour chaque phase annotée . . . . . . . . . . . . 88

3.9 Pourcentage d"image par combinaison d"instruments chirurgicaux . . . 89

3.10 Schéma d"une opération de la cataracte. Source : https ://ramsaygds.fr/vous-

etes-patient-en-savoir-plus-sur-ma-pathologie/operation-de-la-cataracte 90

3.11 Interface utilisateur du logiciel d"annotation [Annotate] . . . . . . . . . . 93

3.12 Pourcentage d"image de la base de données appartenant à chaque

phase de la cataracte . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

3.13 Pourcentage d"image de la base de données pour chaque étape . . . . 98

3.14 Pourcentage d"image dans la base de données les combinaisons d"ins-

truments les plus fréquentes . . . . . . . . . . . . . . . . . . . . . . . . 99 10

TABLE DES FIGURES

4.1 Représentation d"une couche de convolution en bleu et de son entrée en

rouge. Les neurones (cercle bleu) sont connectés à un champ récepteur, chaque couche de neurone applique un filtre différent et donnent en sortie une carte d"activation . . . . . . . . . . . . . . . . . . . . . . . . . 112quotesdbs_dbs50.pdfusesText_50

[PDF] cataracte precaution apres operation

[PDF] cataracte secondaire causes

[PDF] cataracte secondaire forum

[PDF] cataracte secondaire laser

[PDF] cataracte secondaire récidive

[PDF] cataracte secondaire symptomes

[PDF] cate respiratii pe minut sunt normale

[PDF] categorias de la lucha olimpica

[PDF] catégorie 13 fonction publique algerie

[PDF] catégorie age handball

[PDF] categorie age handball 2017

[PDF] catégorie d'age handball 2017-2018

[PDF] categorie de bourse au gabon

[PDF] categorie handball

[PDF] catégorie handball 2017 2018