Secondo uno studio pubblicato sulla rivista JAMA Network Open, pazienti più soddisfatti delle risposte dell’intelligenza artificiale rispetto a quelle del medico
Secondo uno studio pubblicato sulla rivista JAMA Network Open, i pazienti sono stati costantemente più soddisfatti delle risposte generate dall’intelligenza artificiale alle loro richieste di consulenza nella cartella clinica elettronica rispetto a quelle del medico curante.
L’intelligenza artificiale generativa (IA) ha il potenziale per aiutare i medici a rispondere ai messaggi dei pazienti. Anche se le risposte generate dall’IA sono state considerate di qualità accettabile con rischi minimi di danno, le prospettive dei profani verso le risposte dell’IA sono state studiate raramente, nonostante la loro importanza.
I ricercatori hanno quindi valutato la soddisfazione dei profani riguardo alle risposte dell’IA ai pazienti rispetto a quelle dei medici, esaminando inoltre se la qualità delle risposte dell’IA determinata dal medico fosse concordante con la soddisfazione.
«Il motivo per cui questo confronto è importante è perché stavamo cercando di dimostrare se queste risposte generate dall’intelligenza artificiale fossero buone o abbastanza buone da essere utilizzate nella pratica clinica» ha spiegato l’autore senior Eleni Linos del Center for Digital Health, School of Medicine, Stanford University, California. «Queste tecnologie sono già incorporate nell’assistenza clinica e lo saranno sempre di più. È importante condurre studi scientifici rigorosi per cercare di comprendere sia l’accuratezza che l’efficacia di questi strumenti».
Confronto tra risposte dell’IA vs risposte del medico
Questo studio trasversaleha considerato 3.769.023 richieste di consulenza medica del paziente nelle cartelle cliniche elettroniche per esaminare un totale di 1.089 domande cliniche e 59 messaggi.
Sei medici autorizzati hanno valutato le risposte dell’IA e quelle fornite dai medici in base alla qualità delle informazioni e al livello di empatia dimostrato, utilizzando una scala Likert a 5 punti (dove un punteggio di 1 indica una valutazione peggiore e 5 la migliore). Per misurare la soddisfazione, 30 partecipanti al sondaggio hanno valutato le risposte dell’IA e dei medici. Tre soggetti hanno valutato in modo indipendente ogni risposta (dove un punteggio di 1 indica estrema insoddisfazione e 5 estrema soddisfazione).
Soddisfazione più elevata con le risposte generate dall’IA
L’analisi ha incluso un totale di 2.118 valutazioni per la qualità della risposta dell’AI e 408 valutazioni per la soddisfazione. Le stime di soddisfazione erano più elevate con le risposte dell’IA (3,96) rispetto alle risposte dei medici (3,05), sia complessivamente (P<0,001) che in base alla specialità.
La soddisfazione è risultata più elevata con le risposte alle domande di cardiologia generata dall’IA (4,09) mentre la qualità delle informazioni e l’empatia sono state ritenute più alte con le risposte alle domande di endocrinologia. Le risposte dei medici erano più brevi (254,37 caratteri totali in media) rispetto alle risposte dell’AI (1.470,77 caratteri totali in media).
La lunghezza della risposta dei medici, ma non quella della risposta dell’IA, era associata alla soddisfazione complessiva (β=0,23, P=0,002) e alle domande in ambito cardiovascolare (β=0,31, P=0,02).
Un punto di partenza per future valutazioni in altri contesti
«Quello che abbiamo scoperto è che i pazienti erano in realtà più soddisfatti delle risposte generate dall’IA rispetto a quelle dei veri medici. Questo ci ha sorpreso molto, dato che pensiamo sempre che il gold standard sia rappresentato da un medico che risponde personalmente a un messaggio» ha osservato Linos.
«In realtà molti di questi messaggi scritti da veri dottori sono brevi, non contengono molte informazioni perché, francamente, siamo tutti pressati dal tempo e, anche se vogliamo offrire la migliore assistenza ai nostri pazienti, spesso queste risposte generate dall’IA sono più dettagliate, sono ovviamente concepite per trasmettere empatia e sono più lunghe» ha aggiunto. «È stato davvero interessante vedere che i pazienti che hanno valutato e confrontato le risposte generate dall’IA con quelle dei veri medici hanno trovato più soddisfacenti le prime.
«Tra i limiti dello studio vi è il fatto che la soddisfazione è stata valutata dai partecipanti al sondaggio piuttosto che dai pazienti che hanno inviato le domande» hanno fatto presente gli autori. «Anche se la soddisfazione dei pazienti originali potrebbe differire da quella dei partecipanti al sondaggio, questo studio può fornire il modello molto vicino alle prospettive dei pazienti verso le risposte generate dall’IA».
Le direzioni future dello studio includono la valutazione della soddisfazione con le risposte dell’IA in altri contesti (come regioni e tipologie di centri medici), popolazioni di studio (come lingua e cultura) e con campioni più ampi in diverse specialità. «La nostra ricerca evidenzia l’importanza di incorporare i pazienti come stakeholder chiave nello sviluppo e nell’implementazione dell’IA nelle comunicazioni paziente-clinico per integrare in modo ottimale l’IA nella pratica clinica» hanno concluso.
Referenze
Kim J et al. Perspectives on Artificial Intelligence-Generated Responses to Patient Messages. JAMA Netw Open. 2024 Oct 1;7(10):e2438535.