AI a intrat într-o clinică oftalmologică. Testul a arătat limitele inteligenței artificiale în medicină
O clinică oftalmologică din China a fost concepută de la început pentru a folosi inteligența artificială în cât mai multe etape ale activității medicale, de la consultațiile inițiale până la monitorizarea pacienților și analiza scanărilor oculare. Experimentul arată însă că performanța unui sistem AI nu depinde doar de cât de bine poate identifica o boală, ci și de calitatea datelor, integrarea în fluxul medical și colaborarea cu medicii.
Clinica, denumită AI-TEC (AI-Agent Augmented Tsinghua Eye Clinic), a fost dezvoltată de cercetători conduși de o echipă de la Beijing Eye Research Institute (BERI), în China. Medicii au continuat să fie implicați în activitatea clinică, însă sistemul a fost conceput de la zero pentru a utiliza inteligența artificială, în loc să adauge instrumente AI peste un sistem medical deja existent. Rezultatele experimentului au fost publicate în Nature Medicine.
AI a avut probleme cu imaginile de calitate slabă
Una dintre primele constatări a fost că inteligența artificială a avut o rată relativ scăzută de succes în identificarea unor afecțiuni oculare, inclusiv glaucomul și degenerescența maculară legată de vârstă.
Performanța s-a modificat semnificativ după ce oftalmologii au furnizat sistemului 1.426 de imagini de scanare oculară de înaltă calitate, etichetate corect în funcție de afecțiunile identificate.
Aceste imagini au funcționat mai bine decât setul inițial de aproape 27.000 de imagini, care aveau o calitate mai slabă și erau etichetate mai puțin complet.
Cu datele actualizate, sistemul a obținut un scor AUROC de peste 0,93, o valoare care îl aduce aproximativ la nivelul altor sisteme avansate de analiză a scanărilor.
Rezultatul indică una dintre problemele esențiale ale utilizării AI în medicină: un volum mare de date nu este suficient dacă datele sunt de calitate slabă sau nu sunt etichetate corespunzător.
Utilizarea AI a scăzut, apoi a crescut
O altă problemă a apărut în momentul în care sistemul a fost folosit efectiv în clinică. La început, instrumentele AI au fost utilizate la un nivel ridicat, însă folosirea lor a scăzut ulterior. La cinci luni de la începerea experimentului, doar 41 dintre cele 1.113 examinări, adică 3,8%, au utilizat procesele AI-TEC disponibile în luna respectivă.
În luna următoare, procentul a crescut la 23%, respectiv 259 dintre cele 1.126 de examinări.
Creșterea a venit după ce cercetătorii au modificat sistemul pentru a-l face mai rapid și mai ușor de utilizat. Au redus numărul de clicuri și intervențiile manuale necesare din partea personalului.
Cercetătorii au concluzionat că integrarea AI în asistența medicală este, în primul rând, o problemă care implică întregul sistem medical.
„Eficacitatea sa nu a depins de performanța niciunui algoritm individual, ci a depins de calitatea datelor, interacțiunea fluxului de lucru, implicarea clinicienilor, guvernanța și monitorizarea adecvate și valoarea clinică măsurabilă”, au scris autorii.
Medicii trebuie să ofere feedback rapid
Experimentul a evidențiat și importanța feedbackului primit de la medici. Cercetătorii au constatat că acesta trebuie transmis rapid pentru ca sistemul să poată fi îmbunătățit. Feedbackul oferit după câteva săptămâni este mai puțin util pentru ajustarea rapidă a instrumentelor utilizate în clinică.
Autorii au identificat trei elemente esențiale pentru implementarea unui astfel de sistem: date de calitate, un flux de lucru optimizat și feedback rapid și constant din partea medicilor: „Subliniem necesitatea unei implicări și colaborări strânse la fața locului între medici și cercetătorii în domeniul inteligenței artificiale”.
O imagine analizată corect nu înseamnă automat o îngrijire mai bună
Una dintre limitele importante ale experimentului este diferența dintre modul în care AI și medicii privesc un caz.
Inteligența artificială poate fi concentrată în primul rând pe identificarea unui rezultat: dacă pacientul are sau nu o anumită boală oculară. Medicul pornește însă adesea de la simptome și de la contextul pacientului, de exemplu de la o problemă precum vederea încețoșată.
Prin urmare, performanța ridicată în analiza imaginilor nu înseamnă automat o îmbunătățire a îngrijirii medicale.
Cercetătorii consideră că viitoarele evaluări ale sistemelor de acest tip ar trebui să depășească scorurile obținute de algoritmi și să urmărească efectul asupra întregului proces medical și asupra rezultatelor pentru pacienți: „Succesul unui sistem de sănătate «nativ bazat pe inteligență artificială» ar trebui măsurat, în cele din urmă, prin transformarea fluxului de lucru clinic și prin îmbunătățirea rezultatelor în materie de sănătate prin intermediul inteligenței artificiale, mai degrabă decât prin atingerea unor performanțe de referință superioare”.
Experimentul arată astfel că introducerea AI într-o clinică nu înseamnă doar alegerea unui algoritm performant. Calitatea datelor, modul în care tehnologia se integrează în activitatea medicilor și capacitatea sistemului de a se adapta pe baza feedbackului sunt la fel de importante.
