CASO Análisis IA IBM Watson-Salud
CASO Análisis IA IBM Watson-Salud
CASO Análisis IA IBM Watson-Salud
1
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
"Reputativamente, creo que tienen algunos problemas", dice Robert Wachter , director del
departamento de medicina de la Universidad de California en San Francisco, y autor del libro
2015 The Digital Doctor: Hope, Hype, and Harm en el Amanecer de la era de la computadora de
la medicina (McGraw-Hill). En parte, dice, IBM está sufriendo por su ambición: fue la primera
compañía en hacer un gran esfuerzo para llevar la inteligencia artificial a la clínica. Pero también
ganó mala voluntad y escepticismo al jactarse de las habilidades de Watson. "Llegaron con
marketing primero, producto segundo y entusiasmaron a todos", dice. "Entonces la goma salió
a la carretera. Este es un conjunto de problemas increíblemente difíciles, e IBM, al ser el primero
en salir, lo ha demostrado para todos los demás ".
En una conferencia de profesionales de TI de la salud de 2017, el CEO de IBM, Rometty, dijo a la
multitud que “AI es real, que es la corriente principal, que está aquí, y que puede cambiar casi
todo sobre el cuidado de la salud”, y agregó que podría dar paso a una “edad de oro” médica.
"Ella no está sola al ver una oportunidad: los expertos en informática y medicina están de
acuerdo en que AI tiene el potencial de transformar la industria de la salud. Sin embargo, hasta
ahora, ese potencial se ha demostrado principalmente en experimentos cuidadosamente
controlados. Solo unos pocos instrumentos basados en AI han sido aprobados por los
reguladoresPara uso en hospitales y consultorios reales. Esos productos pioneros funcionan
principalmente en el ámbito visual, utilizando la visión artificial para analizar imágenes como
rayos X y escáneres de retina. (IBM no tiene un producto que analice imágenes médicas, aunque
tiene un proyecto de investigación activo en esa área).
Sin embargo, mirando más allá de las imágenes, incluso la mejor IA de hoy se esfuerza por dar
sentido a la información médica compleja. Y codificar la experiencia de un médico humano en
software resulta ser una propuesta muy difícil. IBM ha aprendido estas lecciones dolorosas en
el mercado, como lo veía el mundo. Si bien la compañía no se da por vencida con su disparo a la
luna, sus fallas en el lanzamiento han demostrado a los tecnólogos y a los médicos lo difícil que
es construir un médico de IA.
El Jeopardy! La victoria en 2011 demostró la notable habilidad de Watson con el procesamiento
del lenguaje natural (PNL). Para jugar el juego, tenía que analizar pistas complicadas llenas de
juegos de palabras, buscar bases de datos masivas de texto para encontrar posibles respuestas
y determinar la mejor. Watson no era un buscador glorificado; no solo devolvió documentos
basados en palabras clave. En su lugar, empleó cientos de algoritmos para asignar las
"entidades" en una oración y comprender las relaciones entre ellas. ¡Usó esta habilidad para dar
sentido a los dos Jeopardy! Pista y los millones de fuentes de texto que extrajo.
"Casi parecía que Watson podía entender el significado del lenguaje, en lugar de simplemente
reconocer patrones de palabras", dice Martin Kohn , ¡el científico médico jefe de IBM Research
en el momento de Jeopardy! partido. "Era un orden de magnitud más poderoso de lo que
existía". Es más, Watson desarrolló esta capacidad por su cuenta, a través del aprendizaje
automático. ¡Los investigadores de IBM entrenaron a Watson dándole miles de Jeopardy! Pistas
y respuestas que fueron etiquetadas como correctas o incorrectas. En este complejo conjunto
de datos, la IA descubrió patrones e hizo un modelo de cómo obtener de una entrada (una pista)
a una salida (una respuesta correcta).
¡Mucho antes de que Watson protagonizara Jeopardy! etapa, IBM había considerado sus
posibilidades para la atención de la salud. La medicina, con su gran cantidad de datos de
pacientes, parecía un ajuste obvio, particularmente cuando los hospitales y los médicos estaban
cambiando a los registros electrónicos de salud. Si bien algunos de esos datos pueden ser
fácilmente digeridos por las máquinas, como los resultados de laboratorio y las mediciones de
signos vitales, la mayor parte es información "no estructurada", como las notas de los médicos
y los resúmenes del alta hospitalaria. Ese texto narrativo representa aproximadamente el 80 por
2
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
3
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
Actualmente se usa solo para Los expertos están empezando Con los escaneos genómicos Los sistemas experimentales
los pasos de rutina en a utilizar sistemas convirtiéndose en una parte han demostrado ser expertos
procedimientos simples como automatizados para ayudarlos rutinaria de la medicina, las en analizar muestras de
la cirugía ocular con láser y los a examinar los rayos X, las herramientas de inteligencia biopsias, pero aún no están
trasplantes de cabello. exploraciones de la retina y artificial que obtienen aprobados para uso clínico.
otras imágenes. información de los datos
rápidamente se están
volviendo necesarias.
Los hospitales están Los sistemas rudimentarios Las empresas se apresuran a Los investigadores están
introduciendo herramientas pueden controlar a los ofrecer herramientas explorando aplicaciones como
para aplicaciones como la pacientes entre visitas al habilitadas para la inteligencia el monitoreo de la depresión
predicción de shock séptico, consultorio y proporcionar artificial que pueden mediante la minería de datos
pero aún no han demostrado alertas automáticas a los aumentar la eficiencia en de teléfonos móviles y redes
su valor. médicos. tareas como la facturación y sociales.
las reclamaciones de seguros.
Al tratar de llevar la inteligencia artificial a la clínica, IBM estaba enfrentando un enorme desafío
técnico. Pero habiendo caído detrás de gigantes tecnológicos como Google y Apple en muchos
otros reinos informáticos, IBM necesitaba algo importante para mantenerse relevante. En 2014,
la compañía invirtió US $ 1.000 millones en su unidad Watson , que estaba desarrollando
tecnología para múltiples sectores empresariales. En 2015, IBM anunció la formación de una
división especial de Watson Health y, a mediados de 2016, Watson Health había adquirido
cuatro compañías de datos de salud por un costo total de aproximadamente $ 4 mil
millones. Parecía que IBM tenía la tecnología, los recursos y el compromiso necesarios para
hacer que la IA funcione en la atención médica.
Hoy, los líderes de IBM hablan sobre el esfuerzo de Watson Health como "un viaje" por un
camino con muchos giros y vueltas. “Es una tarea difícil inyectar la IA en la atención médica, y
es un desafío. Pero lo estamos haciendo ", dice John E. Kelly III, vicepresidente senior de
soluciones cognitivas e investigación de IBM. ¡Kelly ha guiado el esfuerzo de Watson desde
el Jeopardy! días, ya finales de 2018 también asumió la supervisión directa de Watson Health. Él
dice que la compañía ha girado cuando necesita: "Seguimos aprendiendo, por lo que nuestras
ofertas cambian a medida que aprendemos".
La herramienta de diagnóstico, por ejemplo, no se introdujo en el mercado porque el caso de
negocio no estaba allí, dice Ajay Royyuru , vicepresidente de investigación de salud y ciencias de
la vida de IBM. "El diagnóstico no es el lugar para ir", dice. "Eso es algo que los expertos hacen
bastante bien. Es una tarea difícil, y no importa lo bien que lo haga con AI, no va a desplazar al
profesional experto”. (No todos están de acuerdo con Royyuru: un informe de 2015 sobre
errores de diagnóstico de la Academia Nacional de Ciencias, Ingeniería y La medicina declaró
que mejorar los diagnósticos representa un "imperativo moral, profesional y de salud pública".
En un intento por encontrar el caso de negocios para la IA médica, IBM realizó un número
vertiginoso de proyectos dirigidos a todos los diferentes actores del sistema de atención médica:
médicos, personal administrativo, aseguradores y pacientes. Lo que une a todos los hilos, dice
Kelly, es un esfuerzo por proporcionar "apoyo a la decisión utilizando AI [que analiza] conjuntos
de datos masivos". El proyecto más publicitado de IBM se centró en la oncología, donde
esperaba desplegar las habilidades "cognitivas" de Watson para crecer. Datos en tratamientos
de cáncer personalizados para pacientes.
En muchos intentos de aplicación, la PNL de Watson tuvo problemas para dar sentido al texto
médico, al igual que muchos otros sistemas de inteligencia artificial. "Lo estamos haciendo
increíblemente mejor con la PNL que hace cinco años, pero aún somos increíblemente peores
4
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
5
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
Pero Watson no cambiará sus conclusiones basándose solo en cuatro pacientes. Para resolver
este problema, los expertos de Sloan Kettering crearon "casos sintéticos" de los que Watson
podía aprender, esencialmente pacientes ficticios con ciertos perfiles demográficos y
características del cáncer. “Creo en la analítica; Creo que puede descubrir cosas ", dice
Kris. "Pero cuando se trata de cáncer, realmente no funciona".
¿Estás de acuerdo?
Varios estudios han comparado las recomendaciones de Watson para el tratamiento del cáncer
en oncología con las de los oncólogos del hospital. Los porcentajes de concordancia indican con
qué frecuencia los consejos de Watson coincidían con los planes de tratamiento de los expertos.
La constatación de que Watson no pudo extraer de forma independiente las ideas de las últimas
noticias en la literatura médica fue solo el primer ataque. Los investigadores también
encontraron que no podía extraer información de los registros de salud electrónicos de los
pacientes como esperaban.
En el MD Anderson, los investigadores pusieron a Watson a trabajar en los registros de salud de
los pacientes con leucemia y rápidamente descubrieron qué tan difíciles eran los registros para
trabajar. Sí, Watson tenía habilidades fenomenales de PNL. Pero en estos registros, los datos
pueden faltar, escribirse de forma ambigua o fuera de orden cronológico. En un artículo de
2018 publicado en The Oncologist , el equipo informó que su Asesor Experto en Oncología de
Watson tuvo un éxito variable en la extracción de información de documentos de texto en
registros médicos. Tenía puntuaciones de precisión que oscilaban entre el 90 y el 96 por ciento
cuando se trataba de conceptos claros como el diagnóstico, pero solo entre el 63 y el 65 por
ciento de la información dependiente del tiempo, como los plazos de la terapia.
En un golpe final al sueño de un superdoctor de IA, los investigadores se dieron cuenta de que
Watson no puede comparar a un nuevo paciente con el universo de pacientes con cáncer que
han llegado antes para descubrir patrones ocultos. Tanto Sloan Kettering como el MD Anderson
esperaban que la IA imitara las habilidades de sus expertos oncólogos, que aprovechan la
experiencia de los pacientes, los tratamientos y los resultados cuando diseñan una estrategia
para un nuevo paciente. Una máquina que podría hacer el mismo tipo de análisis de población,
más rigurosamente y con miles de pacientes más, sería enormemente poderosa.
Pero los estándares actuales del sistema de atención médica no fomentan este aprendizaje del
mundo real. El Asesor Experto en Oncología del MD Anderson emitió solo recomendaciones
"basadas en evidencia" vinculadas a las pautas médicas oficiales y los resultados de los estudios
publicados en la literatura médica. Si un sistema de IA basara su consejo en los patrones que
descubrió en los registros médicos, por ejemplo, que cierto tipo de paciente se desempeña
mejor con cierto medicamento, sus recomendaciones no se considerarían basadas en la
6
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
evidencia, el estándar de oro en medicina. Sin los controles estrictos de un estudio científico, tal
hallazgo se consideraría solo correlación, no causalidad.
Kohn, anteriormente en IBM, y muchos otros piensan que los estándares de atención de la salud
deben cambiar para que la IA pueda realizar todo su potencial y transformar la medicina. "El
patrón oro no es realmente oro", dice Kohn. Los sistemas de inteligencia artificial podrían
considerar muchos más factores de los que se representarán en un ensayo clínico, y podrían
clasificar a los pacientes en muchas más categorías para brindar "atención verdaderamente
personalizada", dice Kohn. La infraestructura también debe cambiar: las instituciones de
atención médica deben acordar compartir sus datos de propiedad y controlados por la
privacidad para que los sistemas de AI puedan aprender de millones de pacientes seguidos
durante muchos años.
Según informes anecdóticos , IBM ha tenido problemas para encontrar compradores para su
producto oncológico Watson en los Estados Unidos. Algunos oncólogos dicen que confían en su
propio juicio y que no necesitan que Watson les diga qué hacer. Otros dicen que solo sugiere
tratamientos estándar de los que son conscientes. Pero Kris dice que algunos médicos lo
encuentran útil como una segunda opinión instantánea que pueden compartir con pacientes
nerviosos. "Tan imperfecto como es, y limitado como es, es muy útil", dice Kris. Los
representantes de ventas de IBM han tenido más suerte fuera de los Estados Unidos, con
hospitales en India, Corea del Sur, Tailandia y más allá de la adopción de la tecnología. Muchos
de estos hospitales utilizan con orgullo la marca IBM Watson en su comercialización, y les dicen
a los pacientes que recibirán atención para el cáncer impulsada por la IA.
En los últimos años, estos hospitales han comenzado a publicar estudios sobre sus experiencias
con Watson para Oncología. En la India, los médicos del
Manipal Comprehensive Cancer Center evaluaron a Watson en
638 casos de cáncer de mama y encontraron una tasa de
concordancia del 73 por ciento en las recomendaciones de
tratamiento; su puntaje fue reducido por el bajo rendimiento
en el cáncer de mama metastásico. A Watson le fue peor en el
Centro Médico Gil de la Universidad de Gachon, en Corea del
Sur, donde se encuentran las mejores recomendaciones para
656 pacientes con cáncer de colon igualaron a los de los
expertos solo el 49 por ciento del tiempo. Los médicos
informaron que a Watson le fue mal con los pacientes
mayores, no sugirió ciertos medicamentos estándar y tuvo un
error que hizo que recomendara la vigilancia en lugar del
Ilustración 1 Eddie Guy tratamiento agresivo para ciertos pacientes con cáncer
metastásico.
Estos estudios tenían como objetivo determinar si la tecnología de Watson for Oncology
funciona como se esperaba. Pero ningún estudio ha demostrado que beneficie a los
pacientes. Wachter de UCSF dice que ese es un problema creciente para la compañía: “¡IBM
sabía que la victoria en Jeopardy! y la asociación con Memorial Sloan Kettering los pondría en la
puerta. Pero debían mostrar, con bastante rapidez, un impacto en los resultados difíciles ".
Wachter dice que IBM debe convencer a los hospitales de que el sistema vale la inversión
financiera. "Es muy importante que salgan con éxito", dice. "Success es un artículo en el New
England Journal of Medicine que muestra que cuando usamos Watson, los pacientes se
desempeñaron mejor o ahorramos dinero". Wachter todavía está esperando a que aparezcan
esos artículos.
7
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
El Kris de Sloan Kettering no está desanimado; Él dice que la tecnología solo mejorará. "Como
herramienta, Watson tiene un potencial extraordinario", dice. “Espero que las personas que
tienen la capacidad intelectual y la potencia de la computadora se apeguen a ello. Es un largo
recorrido, pero vale la pena ".
De Watson Health están surgiendo algunas historias de éxito: en ciertas aplicaciones limitadas y
controladas, Watson parece estar agregando valor. Tomemos, por ejemplo, el producto Watson
for Genomics , que se desarrolló en colaboración con la Universidad de Carolina del Norte, la
Universidad de Yale y otras instituciones. La herramienta es utilizada por los laboratorios de
genética que generan informes para oncólogos practicantes: Watson toma el archivo que
enumera las mutaciones genéticas de un paciente, y en solo unos minutos puede generar un
informe que describa todos los medicamentos relevantes y los ensayos clínicos. "Permitimos
que los laboratorios se amplíen", dice Vanessa Michelini , una ingeniera distinguida de IBM que
dirigió el desarrollo y el lanzamiento 2016 del producto.
Watson tiene un tiempo relativamente fácil con la información genética, que se presenta en
archivos estructurados y no tiene ambigüedad, ya sea que haya una mutación o no. La
herramienta no emplea la PNL para extraer registros médicos, sino que la utiliza solo para buscar
libros de texto, artículos de revistas, aprobaciones de medicamentos y anuncios de ensayos
clínicos, donde busca declaraciones muy específicas.
Los socios de IBM en la Universidad de Carolina del Norte publicaron el primer artículo sobre la
efectividad de Watson para Genomics en 2017. Para el 32 por ciento de los pacientes con cáncer
inscritos en ese estudio, Watson detectó mutaciones potencialmente importantes que no
fueron identificadas por una revisión humana, lo que hizo que estos pacientes estuvieran bien.
candidatos para un nuevo fármaco o un ensayo clínico recién abierto. Pero hasta ahora no hay
indicios de que Watson for Genomics conduzca a mejores resultados.
El Departamento de Asuntos de Veteranos de los EE. UU. (VA) Utiliza los informes de Watson
para Genómica en más de 70 hospitales de todo el país, dice Michael Kelley , director del
programa nacional de oncología del VA. El VA primero probó el sistema contra el cáncer de
pulmón y ahora lo usa para todos los tumores sólidos. "Creo que mejora la atención al paciente",
dice Kelley. Cuando los oncólogos de VA deciden sobre un plan de tratamiento, "es una fuente
de información que pueden aportar a la discusión", dice. Pero Kelley dice que no piensa en
Watson como un doctor robot. "Tiendo a pensar en ello como un robot que es un bibliotecario
médico maestro".
La mayoría de los médicos probablemente estarían encantados de tener un bibliotecario de AI
a su entera disposición, y si eso es lo que IBM les había prometido originalmente, tal vez no
estén tan decepcionados hoy. La historia de Watson Health es una historia de advertencia de
arrogancia y exageración. A todos les gusta la ambición, a todos le gustan los disparos a la luna,
pero nadie quiere subirse a un cohete que no funciona.
8
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
9
POSGRADO
Sistemas de Información Mención Inteligencia de Negocios
Sistemas de Soporte a la Toma de Decisiones
10