La réalité augmentée promet de révolutionner les métiers dits « manuels », en particulier dans les environnements complexes ou sensibles. Le secteur de la santé est directement concerné. Et les espoirs sont immenses tant les attentes sont grandes. La révolution n’en est qu’à ses débuts.
C’est début octobre dernier que Microsoft (1) a fait la présentation de la réalité augmentée qui va révolutionner le workflow (2) des chirurgiens au bloc opératoire.
Le principe est plutôt simple…
Le chirurgien, équipé d’une paire de lunettes à réalité augmentée, travaille en 3D sur des images techniquement « projetées » (les éléments étant figés) [voir encadré]. Ces images peuvent être facilement diffusées vers d’autres confrères basés à l’extérieur, que ce soit pour seconder le chirurgien ou partager des expériences ou autres conseils,…
… et la réalité plus complexe. Jusqu’à maintenant, le chirurgien avait besoin de plusieurs écrans pour visualiser son intervention. Avec les lunettes HoloLens (3), la visualisation se fait uniquement dans le champ de vision du chirurgien contrôlé uniquement par le gestuel et le vocal, ce qui laisse au praticien toute liberté manuelle.
La réalité augmentée permet d’afficher une simulation d’hologrammes et d’orienter en 3D la version native du scanner, en clair de superposer de manière virtuelle un modèle 3D numérique du patient sur la zone d’opération. Cette visualisation étant impossible sur un écran traditionnel.
Toutes les informations sont calculées en temps réel dans le cloud et diffusées jusqu’à l’application HoloPortal, ce qui permet une visualisation extrêmement précise, notamment lors d’interventions micro-invasives. Ce ciblage de très grande précision diminuera notamment les tailles de cicatrices.
La latence entre les gestes du chirurgien et la répercussion à l’écran reste très faible. Un test entre la France et les Etas-Unis a montré un temps de latence de 30 millisecondes.
L’atout de l’information visuelle
Le chirurgien, durant l’opération, a toutes les informations en temps réel et en permanence sur le patient (imagerie, observations, notes, coupes 2D et 3D,…).
L’hologramme inséré en surimpression sur le corps du patient fournit un guide visuel. Poser par exemple un stent sera possible en naviguant en 3D avec une acquisition en fin d’intervention pour vérifier le succès technique de l’opération.
Restent le temps opératoire qui pourrait être amélioré, la 3D n’étant qu’un outil de navigation, une sorte de GPS corporel, qui permettra par la suite de gagner un temps précieux, et le problème du recalage (voir encadré ci-dessous). Il suffit que le patient bouge – même légèrement – pour que tout le système vasculaire se déforme. De fait, les algorythmes et les modèles d’acquisitions doivent donc être extrêmements performants pour recréer au plus vite le modèle 3D.
Pascal Wolff
(1) Usine Digitale
(2) WorkFlow » (traduisez littéralement « flux de travail ») la modélisation et la gestion informatique de l’ensemble des tâches à accomplir et des différents acteurs impliqué dans la réalisation d’un processus métier (aussi appelé processus opérationnel). Le terme de Workflow pourrait donc être traduit en français par Gestion électronique des processus métier.
(3) Microsoft a présenté pour la première fois les paires de lunettes HoloLens en janvier 2015.
Une première Mondiale
La première intervention d’une implantation d’une prothèse de l’épaule assistée par un casque de réalité augmentée a eu lieu le 5 décembre dernier à l’hôpital Avicenne (Bobigny). Cette opération de « routine » a montré en quoi l’utilisation d’HoloLens est une révolution. Le chirurgien, le docteur Gregory, projette à travers son casque, des modélisations en 3D. IL a ainsi pu visualiser l’image du squelette de l’épaule pour accéder, selon ses termes, à « la partie immergée de l’iceberg ». Cette opération a été diffusée en direct. Le Dr Gregory était en liaison par Skype avec trois chirurgiens situés aux Etats-Unis, au Royaume-Uni et en Corée du Sud qui ont ainsi pu visualiser les actions du chirurgien et lui donner des conseils en temps réel.