NEMESIS-3D-CM

CLASIFICACI√ďN INTRAOPERATORIA DE TUMORES CEREBRALES MEDIANTE MODELOS INMERSIVOS 3D EN LA COMUNIDAD DE MADRID

ID Proyecto: Y2018/BIO-4826, financiado por la Comunidad de Madrid a través del programa de proyectos sinérgicos de I+D (2018)

Proyecto

Objetivo

Construir un sistema de diagnóstico intraoperatorio en 3D que combine imágenes hiperespectrales, imágenes de resonancia magnética e imágenes de ultrasonido para idear futuros sistemas de neuronavegación

Conseguir un sistema que combine la información generada por los sistemas de resonancia magnética y ecografía intraoperatoria con las imágenes/vídeos hiperespectrales obtenidos en el quirófano mediante una matriz de cámaras. De esta manera se contribuirá a desarrollar el primer sistema en 3D basado en la fusión de imágenes hiperespectrales, imágenes de resonancia magnética e IOUSS.
NEMESIS-3D-CM mejorará los sistemas de neuronavegación actuales, proporcionando a los neurocirujanos un modelo 3D inmersivo que ayudará a navegar virtualmente en tiempo real por el cerebro y a decidir sobre la tarea crítica de delimitar tumores cerebrales, malformaciones vasculares cerebrales o localización de patologías cavernosas

Descripción

U

Innovación Tecnológica

El proyecto NEMESIS-3D-CM combina la investigación tecnológica en procesamiento de imágenes hiperespectrales, sistemas informáticos de alto rendimiento y técnicas de aprendizaje automático con la experiencia y la práctica diaria de los neurocirujanos.

Sinérgias entre medicina e ingeniería

El proyecto NEMESIS-3D-CM, en colaboración con la Fundación para la Investigación Biomédica del Hospital Universitario 12 de Octubre, crea sinergias entre la práctica médica y la ingeniería.

Diagnóstico de tumor cerebral en tiempo real

El sistema m√©dico HPC se basa en arquitecturas multiprocesador heterog√©neas, para apoyar la parte sistem√°tica del diagn√≥stico en tiempo real durante las intervenciones quir√ļrgicas de los tumores cerebrales al proporcionar a los neurocirujanos informaci√≥n adicional que les permite aumentar la precisi√≥n en la toma de decisiones cr√≠ticas durante el procedimiento de resecci√≥n del tumor.

PRINCIPALES HITOS DEL PROYECTO

Septiembre 2018

Inicio de NEMESIS-3D

Enero 2019

NEMESIS-3D comienza

Marzo 2019

Primeras visitas de los miembros del CITSEM al HU12O

Noviembre 2019

Prueba de las cámaras HSI dentro del quirófano

Enero 2020

Primer prototipo funcional

Abril 2020

NEMESIS-3D sigue trabajando desde casa debido a la pandemia de COVID-19

Noviembre 2020

Vídeo de presentación de NEMESIS-3D-CM en la Noche de los Investigadores de Madrid

Diciembre 2020

El primer prototipo entra en la sala de operaciones después de COVID-19

Mayo 2021

La segunda versión del prototipo entra en los quirófanos

Octubre 2021

Se alcanza un total de 100 im√°genes capturadas en el HU12O

Diciembre 2021

El tercer prototipo entra en la sala de operaciones con tecnología LiDAR y cámaras de barrido de líneas hiperespectrales

Marzo 2022

Creación de la primera herramienta inmersiva 3D que combina imágenes hiperespectrales y tecnología LiDAR

Mayo 2022

Clasificador de cerebro humano en tiempo real mediante im√°genes hiperespectrales utilizado en HU12O

Socios

Con el objetivo de crear colaboraciones sinérgicas dentro de la Comunidad de Madrid, el proyecto NEMESIS-3D-CM está integrado por dos socios, ambos ubicados en la región de Madrid.

CITSEM - Líneas de trabajo
  • Especificaci√≥n del sistema HPC
  • Especificaci√≥n de los algoritmos
  • Prototipo del sistema de diagn√≥stico por imagen
  • Caracterizaci√≥n del nodo de procesamiento en el quir√≥fano
HU12O - Líneas de trabajo
  • Evaluaci√≥n cl√≠nicosanitaria del sistema de diagn√≥stico y mejoras
  • Evaluaci√≥n de la precisi√≥n de la clasificaci√≥n tumoral empleando diagn√≥stico por im√°genes/v√≠deo hiperespectrales
  • Evaluaci√≥n de relaci√≥n entre el comportamiento biol√≥gico del tumor y las clasificaciones diagn√≥sticas del tejido tumoral
  • Evaluaci√≥n del n√ļmero m√≠nimo de bandas espectrales para conseguir la clasificaci√≥n

GRUPOS ASOCIADOS

El proyecto NEMESIS-3D-CM est√° asociado con los siguientes socios.

Fondos

NEMESIS-3D-CM es posible gracias a la ¬ęConsejer√≠a de Ciencia, Universidades e Innovaci√≥n¬Ľ de la Comunidad de Madrid y la Uni√≥n Europea

PUBLICACIONES

JOURNAL PAPERS

R. Lazcano et al.

"Parallel Implementations Assessment of a Spatial-Spectral Classifier for Hyperspectral Clinical Applications," , in IEEE Access, vol. 7, pp. 152316-152333, 2019

J. Sancho et al.

"GoRG: Towards a GPU-Accelerated Multiview Hyperspectral Depth Estimation Tool for Medical Applications," , Sensors 2021, 21, 4091.

G. Urbanos et al.

"Supervised Machine Learning Methods and Hyperspectral Imaging Techniques Jointly Applied for Brain Cancer Classification," , Sensors 2021, 21, 3827.

CONFERENCE PAPERS

S. Rogge et al.

"MPEG-I Depth Estimation Reference Software,", 2019 International Conference on 3D Immersion (IC3D), Brussels, Belgium, 2019, pp. 1-6

J. S. Aragón et al.

"Characterizing Hyperspectral Data Layouts: Performance and Energy Efficiency in Embedded GPUs for PCA-based Dimensionality Reduction," , 2019 XXXIV Conference on Design of Circuits and Integrated Systems (DCIS), Bilbao, Spain, 2019, pp. 1-6.

J. S. Aragón et al.

"Towards GPU Accelerated HyperSpectral Depth Estimation in Medical Applications," , 2020 XXXV Conference on Design of Circuits and Integrated Systems (DCIS)

L. Ruiz et al.

"Multiclass Brain Tumor Classification Using Hyperspectral Imaging and Supervised Machine Learning," , 2020 XXXV Conference on Design of Circuits and Integrated Systems (DCIS)

G. Rosa et al.

"Hyperspectral Images Acquisition: an Efficient Capture and Processing Stitching Procedure for Medical Environments," , 2020 XXXV Conference on Design of Circuits and Integrated Systems (DCIS)

M. Villa et al.

"Stitching technique based on SURF for Hyperspectral Pushbroom Linescan Cameras," , 2021 XXXVI Conference on Design of Circuits and Integrated Systems (DCIS)

J. Sancho et al.

"An Embedded GPU Accelerated Hyperspectral Video Classification System in Real-Time," , 2021 XXXVI Conference on Design of Circuits and Integrated Systems (DCIS)

M. Villa et al.

"Data-Type Assessment for Real-Time Hyperspectral Classification in Medical Imaging," , Design and Architecture for Signal and Image Processing. DASIP 2022

M.P. Alberto et al.

"Hyperparameter Optimization for Brain Tumor Classification with Hyperspectral Images," , Euromicro Conference on Digital System Design (DSD) 2022

EQUIPO NEMESIS-3D-CM

EDUARDO JU√ĀREZ: COORDINADOR - PROFESOR ASOCIADO DE LA UPM

Eduardo Ju√°rez se doctor√≥ en la EPFL en 2003. De 1994 a 1997, trabaj√≥ como investigador en el Grupo de Arquitectura Digital de la UPM y fue investigador visitante en el ENST, Brest (Francia) y en la Universidad de Pensilvania, Filadelfia (EEUU). De 1998 a 2000, trabaj√≥ como asistente en el Laboratorio de Sistemas Integrados (LSI) de la EPFL. De 2000 a 2003, trabaj√≥ como Ingeniero de Sistemas Senior en el Centro de Dise√Īo de Transwitch Corp. en Suiza, mientras continuaba su investigaci√≥n para obtener el doctorado en la EPFL. En diciembre de 2004, se incorpor√≥ al GDEM como postdoc. Desde 2007, es profesor asistente en la UPM. Su actividad investigadora se centra en (1) la resoluci√≥n, desde una perspectiva hol√≠stica, del problema de optimizaci√≥n del consumo de potencia/energ√≠a de los sistemas embebidos, (2) la extracci√≥n autom√°tica de paralelismo en las especificaciones de flujo de datos y (3) la obtenci√≥n de im√°genes hiperespectrales para aplicaciones sanitarias.

ALFONSO LAGARES: RESPONSABLE - Jefe de servicio de neurocirugía en el HU12O

Jefe del Servicio de Neurocirugía del H. 12 de Octubre. Profesor Titular de Neurocirugía de la Universidad Complutense de Madrid. Licenciado en Medicina por la Universidad Autónoma de Madrid. Doctor en Neurociencias por la Universidad Autónoma de Madrid (2004). Coordinador del Grupo de Neurotraumatología y HSA del Instituto imas12.

MIGUEL CHAVARR√ćAS: GESTOR DE COMUNICACI√ďN - Profesor asistente en la UPM

Miguel Chavarr√≠as es Profesor Adjunto del Departamento de Ingenier√≠a Telem√°tica y Electr√≥nica de la Universidad Polit√©cnica de Madrid desde 2019. Obtuvo su maestr√≠a y doctorado en la Universidad Polit√©cnica de Madrid, Madrid, Espa√Īa, en 2012 y 2017, respectivamente. Fue investigador visitante en el Institut National des Sciences Apliqu√©es de Rennes, Francia, en 2012 y 2015. Sus intereses de investigaci√≥n actuales incluyen los sistemas embebidos de alto rendimiento, el aprendizaje autom√°tico y las nuevas t√©cnicas de codificaci√≥n de v√≠deo.

GUSTAVO M. CALLICO: ASESOR ASOCIADO - Profesor Asociado de la ULPGC

(1970) es ingeniero de telecomunicaciones (1995) y tiene un doctorado europeo (2003). En 2000-2001 realiz√≥ una estancia en los laboratorios de investigaci√≥n de Philips en Eindhoven (NL). Actualmente es profesor asociado en la ULPGC. Tiene m√°s de 180 publicaciones en revistas nacionales e internacionales, conferencias y cap√≠tulos de libros. Ha participado en 18 proyectos de investigaci√≥n financiados por la Comisi√≥n Europea, gobiernos e industrias. Es editor senior de IEEE Transactions on Consumer Electronics (2009) y editor asociado de IEEE Access (2016). Fue coordinador del proyecto europeo HELICoiD en el marco del 7¬ļ PM.

C√ČSAR SANZ: Profesor titular de la UPM

C√©sar Sanz se doctor√≥ en Ingenier√≠a de Telecomunicaci√≥n por la Universidad Polit√©cnica de Madrid (UPM) en 1998. Desde 1985 forma parte de la Facultad de la UPM, donde actualmente es Profesor Titular del Departamento de Ingenier√≠a Telem√°tica y Electr√≥nica. Dirige el Grupo de Dise√Īo Electr√≥nico y Microelectr√≥nico (GDEM) desde 1996, participando en proyectos de I+D con empresas privadas e instituciones p√ļblicas. Desde 2013 es investigador del centro de investigaci√≥n CITSEM. Ha sido decano de la Escuela de Sistemas e Ingenier√≠a de Telecomunicaciones desde 2008 hasta 2017. Tiene m√°s de 100 publicaciones en revistas y congresos internacionales. Ha participado en m√°s de 80 proyectos de I+D. Sus intereses de investigaci√≥n incluyen el dise√Īo electr√≥nico aplicado a la codificaci√≥n de v√≠deo y las im√°genes hiperespectrales.

PABLO MUNARRIZ: Médico adjunto en el servicio de neurocirugía en el HU12O

M√©dico adjunto del Servicio de Neurocirug√≠a del H. 12 de Octubre. Licenciado en Medicina por la Universidad de Navarra (2009). Premio Extraordinario Fin de Carrera, n√ļmero 2 en el examen MIR 2010, Segundo Premio Nacional a la Excelencia en el Rendimiento Acad√©mico Universitario (2008-2009). Residencia en Neurocirug√≠a realizada en el H. 12 de Octubre (2010-2015), y subespecialidad en Neurocirug√≠a Pedi√°trica realizando un ¬ęClinical Fellowship¬Ľ en The Hospital for Sick Chidren (SickKids, Toronto, Canad√°) durante un a√Īo (2015-2016).

JAIME SANCHO: Investigador del CITSEM-UPM

Jaime Sancho obtuvo su t√≠tulo de M√°ster en Ingenier√≠a de Sistemas y Servicios para la Sociedad de la Informaci√≥n por la Universidad Polit√©cnica de Madrid (UPM), Espa√Īa, en 2018. Actualmente es estudiante de doctorado en el Grupo de Dise√Īo Electr√≥nico y Microelectr√≥nico (GDEM) de la UPM. Sus intereses de investigaci√≥n incluyen sistemas biom√©dicos en tiempo real y tecnolog√≠as de visi√≥n por ordenador inmersiva.

√ĀNGEL P√ČREZ: M√©dico adjunto en el servicio de neurocirug√≠a en el HU12O

M√©dico Adjunto del Servicio de Neurocirug√≠a del Hospital Universitario Doce de Octubre y Miembro de la Unidad Multidisciplinar de Neurooncolog√≠a. Miembro del Grupo de Investigaci√≥n de Neuro-Oncolog√≠a y del Grupo de Neurotraumatolog√≠a y HSA del instituto de investigaci√≥n imas12. Profesor Asociado de la Facultad de Medicina de la Universidad Complutense de Madrid. Licenciado en Medicina en el a√Īo 2000 por la Facultad de Medicina de la Universidad de Cantabria. Doctorado en el Programa de Cirug√≠a de la Facultad de Medicina de la Universidad Complutense de Madrid en 2016.

PALLAB SUTRADHAR: Investigador del CITSEM-UPM

Pallab Sutradhar est√° realizando un doctorado en Ingenier√≠a de Sistemas y Servicios para la Sociedad de la Informaci√≥n en el Grupo de Dise√Īo Electr√≥nico y Microelectr√≥nico (GDEM) de la UPM. Su investigaci√≥n actual se centra en el dise√Īo y desarrollo de nodos de computaci√≥n de alto rendimiento (HPC) con procesadores de computaci√≥n heterog√©neos para la fusi√≥n de im√°genes m√©dicas, la clasificaci√≥n y la representaci√≥n inmersiva en 3D.

ANA MAR√ćA CASTA√ĎO: M√©dico adjunto en el servicio de neurocirug√≠a en el HU12O

Médico adjunto del Servicio de Neurocirugía del H. 12 de Octubre. Licenciado en Medicina por la Universidad Autónoma de Madrid (2010). Residencia de Neurocirugía realizada en el H. 12 de Octubre (2011-2016). Miembro del Grupo de Neurotraumatología y HSA del Instituto imas12.

MANUEL VILLA ROMERO: Investigador en CITSEM-UPM

Actualmente cursando el grado de ingenier√≠a en sistemas de telecomunicaciones por la Universidad Polit√©cnica de Madrid (UPM), Espa√Īa. Investigador del CITSEM-UPM desde septiembre de 2018. Sus intereses de investigaci√≥n incluyen el procesamiento en tiempo real de im√°genes hiperespectrales y la optimizaci√≥n de algoritmos para realizar procesamiento en streaming.

IGOR PAREDES: Médico adjunto en el servicio de neurocirugía en el HU12O

Médico adjunto del Servicio de Neurocirugía del H. 12 de Octubre. Licenciado en Medicina por la Universidad Complutense de Madrid (2006). Residencia de Neurocirugía realizada en el H. 12 de Octubre (2008-2013). Adjunto de Neurocirugía del Hospital Virgen de la Salud de Toledo (2013-2015), y posteriormente del Hospital 12 de Octubre (febrero 2015-actualidad) dedicado a la cirugía abierta y endoscópica de la base del cráneo y a la cirugía mínimamente invasiva de la columna vertebral. Doctor en Medicina y Cirugía por la Universidad Complutense de Madrid (enero 2016), y miembro del Consejo Europeo de Cirugía Neurológica (F.E.B.N.S. marzo 2016).

GONZALO ROSA: Investigador en CITSEM-UPM

Gonzalo Rosa est√° terminando su licenciatura en ingenier√≠a electr√≥nica en la UPM. Actualmente es investigador en el Grupo de Dise√Īo Electr√≥nico y Microelectr√≥nico (GDEM) de la UPM. Sus intereses de investigaci√≥n incluyen el desarrollo de la interfaz del prototipo y el montaje del mismo.

JOS√Č FERN√ĀNDEZ-ALEN: M√©dico adjunto en el servicio de neurocirug√≠a en el HU12O

Médico Adjunto de Neurocirugía del H. 12 de Octubre. Profesor Asociado de Neurocirugía de la Universidad Complutense de Madrid. Licenciado en Medicina por la Universidad de Extremadura. Doctor en Cirugía por la Universidad Complutense de Madrid (2006). Miembro del Grupo de Neurotraumatología y HSA del Instituto imas12. Especial dedicación a la cirugía abierta y endovascular de la enfermedad cerebrovascular, así como a la cirugía abierta y endoscópica de la base del cráneo.

GEMMA URBANOS: Investigadora en el HU12O

Licenciada en Ingenier√≠a Sanitaria especialidad en Ingenier√≠a Biom√©dica por la Universidad de M√°laga (UMA), Espa√Īa, en 2018. M√°ster en Gesti√≥n y Desarrollo de Tecnolog√≠as Biom√©dicas por la Universidad Carlos III de Madrid (UC3M), Espa√Īa, en 2019. Actualmente es estudiante de doctorado en la Fundaci√≥n de Investigaci√≥n Biom√©dica H12O. Su inter√©s de investigaci√≥n incluye Dise√Īo de nuevas variantes de imagen multidimensional para la detecci√≥n de tumores cerebrales en tiempo real.

ALBERTO MART√ćN P√ČREZ: Investigador en CITSEM-UPM

Alberto se licenci√≥ en Ingenier√≠a de Imagen y Sonido por la UPM a principios de 2020. Durante sus estudios recibi√≥ una beca de colaboraci√≥n para trabajar con el Grupo de Dise√Īo Electr√≥nico y Microelectr√≥nico (GDEM) de la UPM, aplicando algoritmos de Machine Learning para clasificar tumores cerebrales humanos. Sus intereses de investigaci√≥n incluyen la clasificaci√≥n biom√©dica en tiempo real de tejidos cerebrales utilizando Machine Learning.

GUILLERMO V√ĀZQUEZ VALLE: Investigador en CITSEM-UPM

Guillermo termin√≥ su licenciatura en ingenier√≠a de sonido e imagen en la UPM. Actualmente es investigador en el Grupo de Dise√Īo Electr√≥nico y Microelectr√≥nico (GDEM) de la UPM. Sus intereses de investigaci√≥n incluyen la clasificaci√≥n biom√©dica en tiempo real de tejidos cerebrales utilizando Machine Learning.

INVOL√öCRATE

Estamos buscando personas altamente motivadas, apasionadas por (algunas de) las áreas descritas a continuación, con un alto compromiso con el trabajo, capaces de trabajar de forma independiente, buenas habilidades de colaboración e interés para participar en el proyecto.

Puesto de doctorando 1: [CERRADO]

Dise√Īo de nuevas modalidades de im√°genes multidimensionales para la detecci√≥n de tumores cerebrales en tiempo real.

Puesto de doctorando 2: [CERRADO]

Desarrollo de algoritmos de clasificación de fusión para diferentes modalidades de imagen (incluyendo hiperespectral) en entornos 3D inmersivos.

Puesto de doctorando 3: [CERRADO]

Dise√Īo y desarrollo de nodos de computaci√≥n de alto rendimiento para fusi√≥n de im√°genes m√©dicas, clasificaci√≥n y representaci√≥n 3D inmersiva.

Puesto de investigador: [CERRADO]

Dise√Īo y desarrollo de banco de pruebas usando algoritmos para la clasificaci√≥n de im√°genes hiperespectrales

TESIS

A continuación encontrará todas las tesis doctorales  asociados con el proyecto NEMESIS-3D-CM. Todas las tesis están incluidas en el programa de doctorado DISSSI de ETSIST, UPM.

Doctorando: Jaime Sancho.

(En progreso) Su tesis persigue el desarrollo de una metodolog√≠a para generar nubes de puntos 3D hiperespectrales en tiempo real durante las operaciones quir√ļrgicas. Para lograrlo, se emplean aceleradores de GPU junto con herramientas autom√°ticas.

Doctorando: Gemma Urbanos.

(En progreso), Su tesis consiste en dise√Īar un modelo para medir las propiedades √≥pticas de los tejidos usando im√°genes hiperespectrales. El objetivo es desarrollar un nuevo algoritmo de clasificaci√≥n para detectar tumores cerebrales in vivo durante la cirug√≠a a partir de los par√°metros √≥pticos de los tejidos.

Doctorando: Pallab Sutradhar

(En progreso), Su tesis se centra en el dise√Īo y desarrollo de nodos de computaci√≥n de alto rendimiento (HPC) con procesadores inform√°ticos heterog√©neos para la fusi√≥n de im√°genes m√©dicas, la clasificaci√≥n y la representaci√≥n 3D inmersiva.

Doctorando: Alberto Martín Pérez.

(En progreso), Su tesis consiste en utilizar imágenes de frecuencia espacial para obtener propiedades ópticas de los tejidos mientras se utilizan imágenes hiperespectrales. El objetivo es desarrollar un nuevo algoritmo de clasificación para la detección del cáncer cerebral in vivo durante la cirugía a partir de los parámetros ópticos de los tejidos.

Doctorando: Gonzalo Rosa Olmeda.

(En progreso), Su tesis consiste en utilizar el microscopio en muestras de suero de pacientes con patología neurológica mientras se utilizan imágenes hiperespectrales. El objetivo es desarrollar un nuevo algoritmo de clasificación para la detección de cánceres cerebrales in vivo durante la cirugía abstrayendo del comportamiento microscópico al macroscópico.

Doctorando: Guillermo V√°zquez Valle.

(En progreso), Su tesis consiste en analizar estadísticamente los datos obtenidos a partir de imágenes hiperespectrales de cerebros humanos in vivo. El objetivo es desarrollar un algoritmo de clasificación para la detección del cáncer cerebral in vivo durante la cirugía.

Doctorando: Manuel Villa Romero.

(En progreso), Su interés en la tesis es la fusión multimodal de imágenes médicas tradicionales, como la resonancia magnética y el IOUS, junto con modelos 3D reconstruidos a partir de imágenes hiperespectrales. El objetivo es desarrollar un nuevo algoritmo de fusión para registrar modelos 3D de MRI, IOUS y HSI en tiempo real, incluyendo información de clasificación de HSI.

PROYECTOS FIN DE ESTUDIOS

A continuación encontrará todos los Proyectos Fin de Máster y Proyectos Fin de Grado asociados al proyecto NEMESIS-3D-CM. Todos los Proyectos Fin de Máster corresponden al Máster Universitario en Internet de las Cosas/Internet of Things (IoT) de la ETSIST, UPM.

Estudiante de M√°ster: Cristina Royo

Internet of Hyperspectral Things, M√°ster en Internet de las cosas, ETSIST, UPM.

Estudiante de Máster: Alberto Martín Pérez

Convolutional Neural Network Model Deployment Using Azure Machine Learning And Docker For Intraoperative Brain Tumor Classification, M√°ster en Internet de las cosas, ETSIST, UPM.

Estudiante de M√°ster: Gonzalo Rosa Olmeda

Design of an embedded edge-cloud processing and acquisition system of depth images in healthcare environments, M√°ster en Internet de las cosas, ETSIST, UPM.

Estudiante de M√°ster: Guillermo V√°zquez Valle

Analysis of a Cloud Based Neural Network Compression and Decompression System Based on the International Standard ISO/IEC 15938-17 on an IoT Application for in-vivo Brain Tumor Detection, M√°ster en Internet de las cosas, ETSIST, UPM.

Estudiante de M√°ster: Manuel Villa Romero

Viability analysis of cloud and edge architecture for a real-time brain tumor classification system, M√°ster en Internet de las cosas, ETSIST, UPM.

CONTACTO

© NEMESIS-3D-CM 2021 | Todos los derechos reservados | ID del proyecto: Y2018 / BIO-4826, financiado por la Comunidad Autónoma de Madrid