La IA recibe altas calificaciones de los médicos al responder preguntas médicas
La IA recibe altas calificaciones médicas
Según un nuevo estudio, el programa de inteligencia artificial (IA) ChatGPT podría convertirse en una fuente de información médica precisa y completa, pero aún no está listo para el momento primordial.
Las respuestas de ChatGPT a más de 280 preguntas médicas de diversas especialidades tuvieron en promedio una precisión entre mayormente correctas y casi completamente correctas, según un informe publicado en línea el 2 de octubre en JAMA Network Open.
“En general, tuvo un desempeño bastante bueno tanto en precisión como en respuestas completas”, dijo el investigador principal Dr. Douglas Johnson, director del Programa de Investigación Clínica del Melanoma en el Centro de Cáncer Vanderbilt-Ingram en Nashville, Tennessee.
“Ciertamente, no fue perfecto. No fue completamente confiable”, continuó Johnson. “Pero en el momento en que ingresamos las preguntas, fue bastante preciso y proporcionó información confiable, relativamente hablando”.
- Más de 75,000 trabajadores sindicalizados de Kaiser Permanente podr...
- La soledad podría aumentar el riesgo de Parkinson, según estudio
- Adultos mayores, aquí están los medicamentos que pueden afectar tus...
La precisión mejoró aún más si se utilizaba un segundo programa de IA para revisar la respuesta proporcionada por el primero, mostraron los resultados.
Johnson y sus colegas se propusieron probar ChatGPT formulando preguntas sobre salud entre enero y mayo de 2023, poco después de que estuviera disponible en línea.
Las personas y los médicos ya dependen de motores de búsqueda como Google y Bing para obtener respuestas a preguntas de salud, dijo Johnson. Tiene sentido que los programas de IA como ChatGPT sean la próxima frontera para investigar temas médicos.
Estos programas de IA “ofrecen casi un motor de respuestas para muchos tipos de preguntas en diferentes campos, incluida la medicina, por lo que nos dimos cuenta de que tanto los pacientes como los médicos podrían utilizarlos”, dijo Johnson. “Queríamos tratar de entender cuán precisos y completos serían los datos que proporcionaban en diferentes disciplinas médicas”.
Los investigadores reclutaron a 33 médicos de 17 especialidades para formular 284 preguntas fáciles, medianas y difíciles para ChatGPT.
La precisión de las respuestas de ChatGPT a esas preguntas tuvo un promedio de 4.8 en una escala de 6 puntos, dijeron los investigadores. Una puntuación de 4 significa “más correcto que incorrecto” y 5 significa “casi todo correcto”.
La precisión promedio fue de 5 para las preguntas fáciles, 4.7 para las preguntas medianas y 4.6 para las preguntas difíciles, según los autores del estudio.
ChatGPT también proporcionó respuestas bastante completas, con una puntuación de 2.5 en una escala de 3 puntos, según el informe.
“Incluso en la relativa infancia de los programas, no fue completamente confiable, pero aún así proporcionó información relativamente precisa y completa”, dijo Johnson.
El programa tuvo un mejor desempeño en algunas especialidades. Por ejemplo, tuvo una precisión promedio de 5.7 en preguntas sobre afecciones comunes y de 5.2 en preguntas sobre melanoma e inmunoterapia, encontraron los investigadores.
El programa también respondió mejor a preguntas de “sí/no” que a preguntas abiertas, con una puntuación de precisión promedio de 6 frente a 5, respectivamente.
ChatGPT respondió de manera excelente a algunas preguntas.
Por ejemplo, la IA proporcionó una respuesta perfectamente precisa y completa a la pregunta “¿Deben recibir estatinas los pacientes con antecedentes de infarto agudo de miocardio [IAM]?”
“Sí, los pacientes con antecedentes de IAM generalmente deben recibir estatinas”, comienza la respuesta, antes de proporcionar una serie de contextos.
Otras preguntas fueron más difíciles para el programa, e incluso se equivocó en algunas.
Cuando se le preguntó “¿Qué antibióticos orales se pueden usar para el tratamiento de infecciones por MRSA?”, la respuesta incluyó algunas opciones que no están disponibles por vía oral, señalaron los investigadores. La respuesta también omitió uno de los antibióticos orales más importantes.
Sin embargo, errores como ese podrían deberse tanto al médico por no formular la pregunta de manera que el programa pudiera comprender fácilmente, dijo el Dr. Steven Waldren, director médico de informática de la Academia Estadounidense de Médicos de Familia.
Específicamente, el programa podría haber tenido dificultades con la frase “se pueden usar” en la pregunta, dijo Waldren.
“Si esta pregunta hubiera sido ‘¿qué antibióticos orales se usan,’ no se podrían usar, podría haber seleccionado ese medicamento”, dijo. “No hubo mucha conversación en el documento sobre la forma en que las preguntas deben ser redactadas, porque en este momento, donde están estos grandes modelos de lenguaje, eso es realmente importante hacerlo de manera que se obtenga la respuesta más óptima”.
Además, los investigadores descubrieron que las respuestas inicialmente deficientes de ChatGPT se volvían más precisas si la pregunta inicial se volvía a enviar una semana o dos después.
Esto muestra que la IA se está volviendo más inteligente rápidamente con el tiempo, dijo Johnson.
“Creo que es muy probable que haya mejorado aún más desde que hicimos nuestro estudio”, dijo Johnson. “Creo que en este punto los médicos podrían pensar en usarlo, pero solo en conjunto con otros recursos conocidos. Ciertamente no tomaría ninguna recomendación como evangelio, en absoluto”.
La precisión también mejoró si se involucraba otra versión de la IA para revisar la primera respuesta.
“Una instancia generó la respuesta a la indicación, y una segunda instancia se convirtió en una especie de revisor de la IA que revisó el contenido y preguntó: ‘¿esto es realmente preciso?'”, dijo Waldren. “Fue interesante que lo usaran para ver si ayudaba a resolver algunas de estas respuestas inexactas”.
Johnson espera que la precisión mejore aún más si se desarrollan chatbots de IA específicamente para uso médico.
“Ciertamente puedes imaginar un futuro en el que estos chatbots estén entrenados en información médica muy confiable y sean capaces de lograr ese tipo de confiabilidad”, dijo Johnson. “Pero creo que estamos lejos de eso en este momento”.
Tanto Johnson como Waldren dijeron que es muy improbable que la IA reemplace por completo a los médicos.
Johnson piensa que en cambio, la IA servirá como otra herramienta útil para médicos y pacientes.
Los médicos podrían pedirle a la IA más información sobre un diagnóstico complicado, mientras que los pacientes podrían usar el programa como un “entrenador de salud”, dijo Johnson.
“Ciertamente puedes imaginar un futuro en el que alguien tiene un resfriado o algo así y el chatbot es capaz de ingresar los signos vitales y los síntomas y dar algunos consejos, ¿está esto algo por lo que realmente necesitas ir a ver a un médico? ¿O es esto algo que probablemente sea solo un virus? Y puedes estar atento a estas cinco cosas que si ocurren, entonces ve a ver a un médico. Pero si no, probablemente estarás bien”, dijo Johnson.
Existe cierta preocupación de que los sistemas de salud que buscan reducir costos puedan intentar utilizar la IA como un recurso de primera línea, pidiendo a los pacientes que consulten el programa para obtener consejos antes de programar una cita con un médico, dijo Waldren.
“No es que los médicos vayan a ser reemplazados. Son las tareas que los médicos realizan las que van a cambiar. Va a cambiar lo que significa ser médico”, dijo Waldren sobre la IA. “Creo que el desafío para los pacientes será que habrá presiones financieras para intentar alejar esas tareas de las implementaciones de mayor costo, y un médico puede ser bastante costoso”.
Entonces, predijo, es probable que más pacientes sean derivados a una línea de enfermería con chat de IA.
“Eso podría ser algo bueno, con un mayor acceso a la atención”, agregó Waldren. “También podría ser algo malo si no continuamos apoyando la continuidad de la atención y la coordinación de la atención”.
Más información
La Escuela de Medicina de Harvard tiene más información sobre la IA en medicina.
FUENTES: Douglas Johnson, MD, director del Programa de Investigación Clínica de Melanoma, Centro de Cáncer Vanderbilt-Ingram, Nashville, Tennessee; Steven Waldren, MD, director médico de informática médica, Academia Estadounidense de Médicos de Familia, Leawood, Kansas; JAMA Network Open, 2 de octubre de 2023, en línea
