NEMESIS-3D-CM

CLASIFICACIÓN INTRAOPERATORIA DE TUMORES CEREBRALES MEDIANTE MODELOS INMERSIVOS 3D EN LA COMUNIDAD DE MADRID

ID Proyecto: Y2018/BIO-4826, financiado por la Comunidad de Madrid a través del programa de proyectos sinérgicos de I+D (2018)

3

Proyecto

Objetivo

Construir un sistema de diagnóstico intraoperatorio en 3D que combine imágenes hiperespectrales, imágenes de resonancia magnética e imágenes de ultrasonido para idear futuros sistemas de neuronavegación

Conseguir un sistema que combine la información generada por los sistemas de resonancia magnética y ecografía intraoperatoria con las imágenes/vídeos hiperespectrales obtenidos en el quirófano mediante una matriz de cámaras. De esta manera se contribuirá a desarrollar el primer sistema en 3D basado en la fusión de imágenes hiperespectrales, imágenes de resonancia magnética e IOUSS.
NEMESIS-3D-CM mejorará los sistemas de neuronavegación actuales, proporcionando a los neurocirujanos un modelo 3D inmersivo que ayudará a navegar virtualmente en tiempo real por el cerebro y a decidir sobre la tarea crítica de delimitar tumores cerebrales, malformaciones vasculares cerebrales o localización de patologías cavernosas

Descripción

U

Innovación Tecnológica

El proyecto NEMESIS-3D-CM combina la investigación tecnológica en procesamiento de imágenes hiperespectrales, sistemas informáticos de alto rendimiento y técnicas de aprendizaje automático con la experiencia y la práctica diaria de los neurocirujanos.



Sinérgias entre medicina e ingeniería

El proyecto NEMESIS-3D-CM, en colaboración con la Fundación para la Investigación Biomédica del Hospital Universitario 12 de Octubre, crea sinergias entre la práctica médica y la ingeniería.



Diagnóstico de tumor cerebral en tiempo real

El sistema médico HPC se basa en arquitecturas multiprocesador heterogéneas, para apoyar la parte sistemática del diagnóstico en tiempo real durante las intervenciones quirúrgicas de los tumores cerebrales al proporcionar a los neurocirujanos información adicional que les permite aumentar la precisión en la toma de decisiones críticas durante el procedimiento de resección del tumor.

PRINCIPALES HITOS DEL PROYECTO

Septiembre 2018

Inicio de NEMESIS-3D

Enero 2019

NEMESIS-3D comienza

Marzo 2019

Primeras visitas de los miembros del CITSEM al HU12O

Noviembre 2019

Prueba de las cámaras HSI dentro del quirófano

Enero 2020

Primer prototipo funcional

Abril 2020

NEMESIS-3D sigue trabajando desde casa debido a la pandemia de COVID-19

Noviembre 2020

Vídeo de presentación de NEMESIS-3D-CM en la Noche de los Investigadores de Madrid

Diciembre 2020

El primer prototipo entra en la sala de operaciones después de COVID-19

Mayo 2021

La segunda versión del prototipo entra en los quirófanos

Octubre 2021

Se alcanza un total de 100 imágenes capturadas en el HU12O

Diciembre 2021

El tercer prototipo entra en la sala de operaciones con tecnología LiDAR y cámaras de barrido de líneas hiperespectrales

Marzo 2022

Creación de la primera herramienta inmersiva 3D que combina imágenes hiperespectrales y tecnología LiDAR

Mayo 2022

Clasificador de cerebro humano en tiempo real mediante imágenes hiperespectrales utilizado en HU12O

Socios

Con el objetivo de crear colaboraciones sinérgicas dentro de la Comunidad de Madrid, el proyecto NEMESIS-3D-CM está integrado por dos socios, ambos ubicados en la región de Madrid.

CITSEM - Líneas de trabajo

Especificación del sistema HPC
Especificación de los algoritmos
Prototipo del sistema de diagnóstico por imagen
Caracterización del nodo de procesamiento en el quirófano

HU12O - Líneas de trabajo

Evaluación clínicosanitaria del sistema de diagnóstico y mejoras
Evaluación de la precisión de la clasificación tumoral empleando diagnóstico por imágenes/vídeo hiperespectrales
Evaluación de relación entre el comportamiento biológico del tumor y las clasificaciones diagnósticas del tejido tumoral
Evaluación del número mínimo de bandas espectrales para conseguir la clasificación

GRUPOS ASOCIADOS

El proyecto NEMESIS-3D-CM está asociado con los siguientes socios.

Fondos

NEMESIS-3D-CM es posible gracias a la «Consejería de Ciencia, Universidades e Innovación» de la Comunidad de Madrid y la Unión Europea

PUBLICACIONES

JOURNAL PAPERS

R. Lazcano et al.

"Parallel Implementations Assessment of a Spatial-Spectral Classifier for Hyperspectral Clinical Applications," , in IEEE Access, vol. 7, pp. 152316-152333, 2019

J. Sancho et al.

"GoRG: Towards a GPU-Accelerated Multiview Hyperspectral Depth Estimation Tool for Medical Applications," , Sensors 2021, 21, 4091.

G. Urbanos et al.

"Supervised Machine Learning Methods and Hyperspectral Imaging Techniques Jointly Applied for Brain Cancer Classification," , Sensors 2021, 21, 3827.

CONFERENCE PAPERS

S. Rogge et al.

"MPEG-I Depth Estimation Reference Software,", 2019 International Conference on 3D Immersion (IC3D), Brussels, Belgium, 2019, pp. 1-6

J. S. Aragón et al.

"Characterizing Hyperspectral Data Layouts: Performance and Energy Efficiency in Embedded GPUs for PCA-based Dimensionality Reduction," , 2019 XXXIV Conference on Design of Circuits and Integrated Systems (DCIS), Bilbao, Spain, 2019, pp. 1-6.

J. S. Aragón et al.

"Towards GPU Accelerated HyperSpectral Depth Estimation in Medical Applications," , 2020 XXXV Conference on Design of Circuits and Integrated Systems (DCIS)

L. Ruiz et al.

"Multiclass Brain Tumor Classification Using Hyperspectral Imaging and Supervised Machine Learning," , 2020 XXXV Conference on Design of Circuits and Integrated Systems (DCIS)

G. Rosa et al.

"Hyperspectral Images Acquisition: an Efficient Capture and Processing Stitching Procedure for Medical Environments," , 2020 XXXV Conference on Design of Circuits and Integrated Systems (DCIS)

M. Villa et al.

"Stitching technique based on SURF for Hyperspectral Pushbroom Linescan Cameras," , 2021 XXXVI Conference on Design of Circuits and Integrated Systems (DCIS)

J. Sancho et al.

"An Embedded GPU Accelerated Hyperspectral Video Classification System in Real-Time," , 2021 XXXVI Conference on Design of Circuits and Integrated Systems (DCIS)

M. Villa et al.

"Data-Type Assessment for Real-Time Hyperspectral Classification in Medical Imaging," , Design and Architecture for Signal and Image Processing. DASIP 2022

M.P. Alberto et al.

"Hyperparameter Optimization for Brain Tumor Classification with Hyperspectral Images," , Euromicro Conference on Digital System Design (DSD) 2022

EQUIPO NEMESIS-3D-CM

EDUARDO JUÁREZ: COORDINADOR - PROFESOR ASOCIADO DE LA UPM

Eduardo Juárez se doctoró en la EPFL en 2003. De 1994 a 1997, trabajó como investigador en el Grupo de Arquitectura Digital de la UPM y fue investigador visitante en el ENST, Brest (Francia) y en la Universidad de Pensilvania, Filadelfia (EEUU). De 1998 a 2000, trabajó como asistente en el Laboratorio de Sistemas Integrados (LSI) de la EPFL. De 2000 a 2003, trabajó como Ingeniero de Sistemas Senior en el Centro de Diseño de Transwitch Corp. en Suiza, mientras continuaba su investigación para obtener el doctorado en la EPFL. En diciembre de 2004, se incorporó al GDEM como postdoc. Desde 2007, es profesor asistente en la UPM. Su actividad investigadora se centra en (1) la resolución, desde una perspectiva holística, del problema de optimización del consumo de potencia/energía de los sistemas embebidos, (2) la extracción automática de paralelismo en las especificaciones de flujo de datos y (3) la obtención de imágenes hiperespectrales para aplicaciones sanitarias.

ALFONSO LAGARES: RESPONSABLE - Jefe de servicio de neurocirugía en el HU12O

Jefe del Servicio de Neurocirugía del H. 12 de Octubre. Profesor Titular de Neurocirugía de la Universidad Complutense de Madrid. Licenciado en Medicina por la Universidad Autónoma de Madrid. Doctor en Neurociencias por la Universidad Autónoma de Madrid (2004). Coordinador del Grupo de Neurotraumatología y HSA del Instituto imas12.

MIGUEL CHAVARRÍAS: GESTOR DE COMUNICACIÓN - Profesor asistente en la UPM

Miguel Chavarrías es Profesor Adjunto del Departamento de Ingeniería Telemática y Electrónica de la Universidad Politécnica de Madrid desde 2019. Obtuvo su maestría y doctorado en la Universidad Politécnica de Madrid, Madrid, España, en 2012 y 2017, respectivamente. Fue investigador visitante en el Institut National des Sciences Apliquées de Rennes, Francia, en 2012 y 2015. Sus intereses de investigación actuales incluyen los sistemas embebidos de alto rendimiento, el aprendizaje automático y las nuevas técnicas de codificación de vídeo.

GUSTAVO M. CALLICO: ASESOR ASOCIADO - Profesor Asociado de la ULPGC

(1970) es ingeniero de telecomunicaciones (1995) y tiene un doctorado europeo (2003). En 2000-2001 realizó una estancia en los laboratorios de investigación de Philips en Eindhoven (NL). Actualmente es profesor asociado en la ULPGC. Tiene más de 180 publicaciones en revistas nacionales e internacionales, conferencias y capítulos de libros. Ha participado en 18 proyectos de investigación financiados por la Comisión Europea, gobiernos e industrias. Es editor senior de IEEE Transactions on Consumer Electronics (2009) y editor asociado de IEEE Access (2016). Fue coordinador del proyecto europeo HELICoiD en el marco del 7º PM.

CÉSAR SANZ: Profesor titular de la UPM

César Sanz se doctoró en Ingeniería de Telecomunicación por la Universidad Politécnica de Madrid (UPM) en 1998. Desde 1985 forma parte de la Facultad de la UPM, donde actualmente es Profesor Titular del Departamento de Ingeniería Telemática y Electrónica. Dirige el Grupo de Diseño Electrónico y Microelectrónico (GDEM) desde 1996, participando en proyectos de I+D con empresas privadas e instituciones públicas. Desde 2013 es investigador del centro de investigación CITSEM. Ha sido decano de la Escuela de Sistemas e Ingeniería de Telecomunicaciones desde 2008 hasta 2017. Tiene más de 100 publicaciones en revistas y congresos internacionales. Ha participado en más de 80 proyectos de I+D. Sus intereses de investigación incluyen el diseño electrónico aplicado a la codificación de vídeo y las imágenes hiperespectrales.

PABLO MUNARRIZ: Médico adjunto en el servicio de neurocirugía en el HU12O

Médico adjunto del Servicio de Neurocirugía del H. 12 de Octubre. Licenciado en Medicina por la Universidad de Navarra (2009). Premio Extraordinario Fin de Carrera, número 2 en el examen MIR 2010, Segundo Premio Nacional a la Excelencia en el Rendimiento Académico Universitario (2008-2009). Residencia en Neurocirugía realizada en el H. 12 de Octubre (2010-2015), y subespecialidad en Neurocirugía Pediátrica realizando un «Clinical Fellowship» en The Hospital for Sick Chidren (SickKids, Toronto, Canadá) durante un año (2015-2016).

JAIME SANCHO: Investigador del CITSEM-UPM

Jaime Sancho obtuvo su título de Máster en Ingeniería de Sistemas y Servicios para la Sociedad de la Información por la Universidad Politécnica de Madrid (UPM), España, en 2018. Actualmente es estudiante de doctorado en el Grupo de Diseño Electrónico y Microelectrónico (GDEM) de la UPM. Sus intereses de investigación incluyen sistemas biomédicos en tiempo real y tecnologías de visión por ordenador inmersiva.

ÁNGEL PÉREZ: Médico adjunto en el servicio de neurocirugía en el HU12O

Médico Adjunto del Servicio de Neurocirugía del Hospital Universitario Doce de Octubre y Miembro de la Unidad Multidisciplinar de Neurooncología. Miembro del Grupo de Investigación de Neuro-Oncología y del Grupo de Neurotraumatología y HSA del instituto de investigación imas12. Profesor Asociado de la Facultad de Medicina de la Universidad Complutense de Madrid. Licenciado en Medicina en el año 2000 por la Facultad de Medicina de la Universidad de Cantabria. Doctorado en el Programa de Cirugía de la Facultad de Medicina de la Universidad Complutense de Madrid en 2016.

PALLAB SUTRADHAR: Investigador del CITSEM-UPM

Pallab Sutradhar está realizando un doctorado en Ingeniería de Sistemas y Servicios para la Sociedad de la Información en el Grupo de Diseño Electrónico y Microelectrónico (GDEM) de la UPM. Su investigación actual se centra en el diseño y desarrollo de nodos de computación de alto rendimiento (HPC) con procesadores de computación heterogéneos para la fusión de imágenes médicas, la clasificación y la representación inmersiva en 3D.

ANA MARÍA CASTAÑO: Médico adjunto en el servicio de neurocirugía en el HU12O

Médico adjunto del Servicio de Neurocirugía del H. 12 de Octubre. Licenciado en Medicina por la Universidad Autónoma de Madrid (2010). Residencia de Neurocirugía realizada en el H. 12 de Octubre (2011-2016). Miembro del Grupo de Neurotraumatología y HSA del Instituto imas12.

MANUEL VILLA ROMERO: Investigador en CITSEM-UPM

Actualmente cursando el grado de ingeniería en sistemas de telecomunicaciones por la Universidad Politécnica de Madrid (UPM), España. Investigador del CITSEM-UPM desde septiembre de 2018. Sus intereses de investigación incluyen el procesamiento en tiempo real de imágenes hiperespectrales y la optimización de algoritmos para realizar procesamiento en streaming.

IGOR PAREDES: Médico adjunto en el servicio de neurocirugía en el HU12O

Médico adjunto del Servicio de Neurocirugía del H. 12 de Octubre. Licenciado en Medicina por la Universidad Complutense de Madrid (2006). Residencia de Neurocirugía realizada en el H. 12 de Octubre (2008-2013). Adjunto de Neurocirugía del Hospital Virgen de la Salud de Toledo (2013-2015), y posteriormente del Hospital 12 de Octubre (febrero 2015-actualidad) dedicado a la cirugía abierta y endoscópica de la base del cráneo y a la cirugía mínimamente invasiva de la columna vertebral. Doctor en Medicina y Cirugía por la Universidad Complutense de Madrid (enero 2016), y miembro del Consejo Europeo de Cirugía Neurológica (F.E.B.N.S. marzo 2016).

GONZALO ROSA: Investigador en CITSEM-UPM

Gonzalo Rosa está terminando su licenciatura en ingeniería electrónica en la UPM. Actualmente es investigador en el Grupo de Diseño Electrónico y Microelectrónico (GDEM) de la UPM. Sus intereses de investigación incluyen el desarrollo de la interfaz del prototipo y el montaje del mismo.

JOSÉ FERNÁNDEZ-ALEN: Médico adjunto en el servicio de neurocirugía en el HU12O

Médico Adjunto de Neurocirugía del H. 12 de Octubre. Profesor Asociado de Neurocirugía de la Universidad Complutense de Madrid. Licenciado en Medicina por la Universidad de Extremadura. Doctor en Cirugía por la Universidad Complutense de Madrid (2006). Miembro del Grupo de Neurotraumatología y HSA del Instituto imas12. Especial dedicación a la cirugía abierta y endovascular de la enfermedad cerebrovascular, así como a la cirugía abierta y endoscópica de la base del cráneo.

GEMMA URBANOS: Investigadora en el HU12O

Licenciada en Ingeniería Sanitaria especialidad en Ingeniería Biomédica por la Universidad de Málaga (UMA), España, en 2018. Máster en Gestión y Desarrollo de Tecnologías Biomédicas por la Universidad Carlos III de Madrid (UC3M), España, en 2019. Actualmente es estudiante de doctorado en la Fundación de Investigación Biomédica H12O. Su interés de investigación incluye Diseño de nuevas variantes de imagen multidimensional para la detección de tumores cerebrales en tiempo real.

ALBERTO MARTÍN PÉREZ: Investigador en CITSEM-UPM

Alberto se licenció en Ingeniería de Imagen y Sonido por la UPM a principios de 2020. Durante sus estudios recibió una beca de colaboración para trabajar con el Grupo de Diseño Electrónico y Microelectrónico (GDEM) de la UPM, aplicando algoritmos de Machine Learning para clasificar tumores cerebrales humanos. Sus intereses de investigación incluyen la clasificación biomédica en tiempo real de tejidos cerebrales utilizando Machine Learning.

GUILLERMO VÁZQUEZ VALLE: Investigador en CITSEM-UPM

Guillermo terminó su licenciatura en ingeniería de sonido e imagen en la UPM. Actualmente es investigador en el Grupo de Diseño Electrónico y Microelectrónico (GDEM) de la UPM. Sus intereses de investigación incluyen la clasificación biomédica en tiempo real de tejidos cerebrales utilizando Machine Learning.

INVOLÚCRATE

Estamos buscando personas altamente motivadas, apasionadas por (algunas de) las áreas descritas a continuación, con un alto compromiso con el trabajo, capaces de trabajar de forma independiente, buenas habilidades de colaboración e interés para participar en el proyecto.

Puesto de doctorando 1: [CERRADO]

Diseño de nuevas modalidades de imágenes multidimensionales para la detección de tumores cerebrales en tiempo real.

Puesto de doctorando 2: [CERRADO]

Desarrollo de algoritmos de clasificación de fusión para diferentes modalidades de imagen (incluyendo hiperespectral) en entornos 3D inmersivos.

Puesto de doctorando 3: [CERRADO]

Diseño y desarrollo de nodos de computación de alto rendimiento para fusión de imágenes médicas, clasificación y representación 3D inmersiva.

Puesto de investigador: [CERRADO]

Diseño y desarrollo de banco de pruebas usando algoritmos para la clasificación de imágenes hiperespectrales

TESIS

A continuación encontrará todas las tesis doctorales asociados con el proyecto NEMESIS-3D-CM. Todas las tesis están incluidas en el programa de doctorado DISSSI de ETSIST, UPM.

Doctorando: Jaime Sancho.

(En progreso) Su tesis persigue el desarrollo de una metodología para generar nubes de puntos 3D hiperespectrales en tiempo real durante las operaciones quirúrgicas. Para lograrlo, se emplean aceleradores de GPU junto con herramientas automáticas.

Doctorando: Gemma Urbanos.

(En progreso), Su tesis consiste en diseñar un modelo para medir las propiedades ópticas de los tejidos usando imágenes hiperespectrales. El objetivo es desarrollar un nuevo algoritmo de clasificación para detectar tumores cerebrales in vivo durante la cirugía a partir de los parámetros ópticos de los tejidos.

Doctorando: Pallab Sutradhar

(En progreso), Su tesis se centra en el diseño y desarrollo de nodos de computación de alto rendimiento (HPC) con procesadores informáticos heterogéneos para la fusión de imágenes médicas, la clasificación y la representación 3D inmersiva.

Doctorando: Alberto Martín Pérez.

(En progreso), Su tesis consiste en utilizar imágenes de frecuencia espacial para obtener propiedades ópticas de los tejidos mientras se utilizan imágenes hiperespectrales. El objetivo es desarrollar un nuevo algoritmo de clasificación para la detección del cáncer cerebral in vivo durante la cirugía a partir de los parámetros ópticos de los tejidos.

Doctorando: Gonzalo Rosa Olmeda.

(En progreso), Su tesis consiste en utilizar el microscopio en muestras de suero de pacientes con patología neurológica mientras se utilizan imágenes hiperespectrales. El objetivo es desarrollar un nuevo algoritmo de clasificación para la detección de cánceres cerebrales in vivo durante la cirugía abstrayendo del comportamiento microscópico al macroscópico.

Doctorando: Guillermo Vázquez Valle.

(En progreso), Su tesis consiste en analizar estadísticamente los datos obtenidos a partir de imágenes hiperespectrales de cerebros humanos in vivo. El objetivo es desarrollar un algoritmo de clasificación para la detección del cáncer cerebral in vivo durante la cirugía.

Doctorando: Manuel Villa Romero.

(En progreso), Su interés en la tesis es la fusión multimodal de imágenes médicas tradicionales, como la resonancia magnética y el IOUS, junto con modelos 3D reconstruidos a partir de imágenes hiperespectrales. El objetivo es desarrollar un nuevo algoritmo de fusión para registrar modelos 3D de MRI, IOUS y HSI en tiempo real, incluyendo información de clasificación de HSI.

PROGRAMA DE DOCTORADO ASOCIADO

PROYECTOS FIN DE ESTUDIOS

A continuación encontrará todos los Proyectos Fin de Máster y Proyectos Fin de Grado asociados al proyecto NEMESIS-3D-CM. Todos los Proyectos Fin de Máster corresponden al Máster Universitario en Internet de las Cosas/Internet of Things (IoT) de la ETSIST, UPM.

Estudiante de Máster: Cristina Royo

Internet of Hyperspectral Things, Máster en Internet de las cosas, ETSIST, UPM.

Estudiante de Máster: Alberto Martín Pérez

Convolutional Neural Network Model Deployment Using Azure Machine Learning And Docker For Intraoperative Brain Tumor Classification, Máster en Internet de las cosas, ETSIST, UPM.

Estudiante de Máster: Gonzalo Rosa Olmeda

Design of an embedded edge-cloud processing and acquisition system of depth images in healthcare environments, Máster en Internet de las cosas, ETSIST, UPM.

Estudiante de Máster: Guillermo Vázquez Valle

Analysis of a Cloud Based Neural Network Compression and Decompression System Based on the International Standard ISO/IEC 15938-17 on an IoT Application for in-vivo Brain Tumor Detection, Máster en Internet de las cosas, ETSIST, UPM.

Estudiante de Máster: Manuel Villa Romero

Viability analysis of cloud and edge architecture for a real-time brain tumor classification system, Máster en Internet de las cosas, ETSIST, UPM.

TÍTULOS ASOCIADOS