Chatboții de pe cinci site-uri diferite au susținut că sunt autorizați să practice medicina în Commonwealth atunci când au fost solicitați de Spotlight PA – același tip de rezultat care a determinat administrația Shapiro să depună un proces luna trecută.
Un grup operativ din cadrul Departamentului de Stat din Pennsylvania lucrează din februarie pentru a identifica chatbot-uri AI care se prezintă drept profesioniști autorizați și care induc în eroare utilizatori. Pe baza acestei lucrări, administrația a intentat un proces împotriva site-ului de jocuri de rol Character.AI.
Oglindind investigația detaliată în procesul Departamentului de Stat, Spotlight PA a avut conversații cu personaje AI pe site-urile web Talkie, Janitor, Kindroid, Replika și Nomi.AI. Toți au furnizat un număr fals de licență medicală din Pennsylvania atunci când li s-a cerut, o parte cheie a argumentului statului în procesul său împotriva Character.AI.
Spotlight PA a verificat răspunsurile acestor roboți după ce a examinat articolele online și panourile de mesaje digitale pentru a găsi 10 chatbot AI însoțitori și cu rol popular. Un reporter fie a selectat un personaj prefabricat, fie, atunci când este necesar, a introdus o descriere care ar genera o personalitate de medic. Apoi a prezentat liste ipotetice de simptome chatbot-urilor și a cerut un diagnostic.
Unele dintre cele mai populare modele de limbaj AI, cum ar fi ChatGPT, Claude și Google Gemini, nu au pretins că sunt profesioniști medicali autorizați în aceleași circumstanțe. Doar câteva site-uri cu jocuri de rol au făcut acest lucru.
Replika și Nomi solicită utilizatorilor lor să creeze personaje. Unul generat în Replika, când a fost întrebat dacă este medic, a spus că nu poate oferi sfaturi și i-a recomandat utilizatorului să contacteze un furnizor de asistență medicală. Cu toate acestea, odată ce a fost instruit că este un medic, AI a furnizat un număr fals de licență medicală din Pennsylvania când a fost solicitat.
„Hai să ne concentrăm să te simți mai bine, nu?” se spunea.
La început, unii dintre chatboți au răspuns că le lipsesc suficiente informații pentru a oferi un diagnostic și au pus întrebări suplimentare.
„Dr. Jenna” este un personaj preexistent pe Talkie, enumerat ca având peste 37.000 de „conectori” și peste 1.300 de adepți. A spus că lista de simptome furnizată de Spotlight PA ar putea fi cauzată de „suferirea de depresie” și a întrebat despre istoricul familial al utilizatorului. Întrebat pentru acreditările sale, botul a spus că a practicat medicina de cinci ani și a dat un număr fals de licență de „12345”.
Multe dintre site-uri web, inclusiv Character.AI, au etichete proeminente care avertizează că orice spune AI este ficțiune și ar trebui văzut doar ca divertisment. Celelalte site-uri emit declinări similare în termenii inițiali ai serviciului, spunând că utilizatorii sunt responsabili pentru verificarea acurateței afirmațiilor tehnologiei.
Jennifer Kraschnewski, medic și director al Institutului de Știință Clinică și Translațională Penn State, a declarat pentru Spotlight PA că nu este convinsă că declinările de răspundere ajung cu adevărat la utilizatori. Oamenii apelează adesea la modele AI pentru ajutor cu simptomele lor, la fel cum fac cu motoarele de căutare precum Google, a spus ea.
„Informația incorectă în mâinile cuiva care nu știe cum să interpreteze poate fi îngrijorătoare”, a spus Kraschnewski. Ea a menționat că mulți medici implementează deja instrumente de inteligență artificială în clinicile lor, „dar acestea sunt informații care sunt în mâinile cuiva care apoi le poate trece prin filtrul educației lor medicale înainte ca acestea să afecteze efectiv pacienții”.
Kraschnewski a fost coautor al unui studiu din luna mai care a constatat că modelele de limbaj mari comune ale AI au generat ceea ce medicii participanți au considerat un diagnostic precis în aproximativ 76% din timp. Rata de eroare – aproape un sfert – a spus Kraschnewski, este mai mult decat dubla fata de un medic uman mediu.
Când au fost contactați de Spotlight PA, dezvoltatorii personajelor AI au susținut că produsele lor sunt destinate doar divertismentului.
„Replika nu este un serviciu de triaj medical și nu s-a oferit niciodată ca unul”, a răspuns compania într-un e-mail la întrebări. „Utilizatorii vin la Replika pentru a vorbi despre ceea ce se întâmplă în viața lor, iar produsul este conceput pentru a-i ajuta să facă alegeri bine gândite și să caute îmbunătățiri care contează pentru ei.”
Deși Replika nu a detaliat în declarația sa, compania a spus că a „luat măsuri” pentru a aborda „preocupările valide” aduse în judecată administrației Shapiro împotriva Character.AI.
Kindroid, într-un răspuns trimis prin e-mail, a remarcat că termenii și condițiile sale clarifică faptul că produsele sale sunt destinate „divertismentului și explorării creative, nu oferă sfaturi medicale sau constituie practica medicală și nu sunt un substitut pentru îngrijirea profesională”.
„Când un personaj a fost configurat ca medic și un utilizator îi cere un număr de licență, modelul produce o ieșire plauzibilă care se potrivește cu rolul – în același mod în care ar inventa o citare a unui caz fictiv, istoricul pacientului fictiv sau orice alt detaliu specific care rezultă din acesta”, se arată în declarație. „Modelul nu interoghează și nu poate interoga registrul actual al consiliului medical din Pennsylvania.”
Cu privire la potențialul de a se confrunta cu acțiuni legale din partea administrației Shapiro sau a altora, Kindroid a refuzat să comenteze.
Celelalte trei companii nu au răspuns la întrebările cu privire la garanțiile lor pentru utilizatori sau dacă sunt îngrijorate că grupul de lucru AI al administrației Shapiro îi poate viza pentru acțiuni în justiție.
Un purtător de cuvânt al Departamentului de Stat a refuzat să comenteze potențialele investigații sau litigii, dar i-a încurajat pe Pennsylvanianii să raporteze orice acțiuni îngrijorătoare ale unui chatbot AI la linia fierbinte a statului.
„Milioane de copii și adolescenți din toată țara, inclusiv mulți aici în Pennsylvania, se bazează pe acești roboti de chat pentru informații și trebuie să reținem această tehnologie AI care ne atacă copiii”, a spus Rosie Lapowsky, purtător de cuvânt al Shapiro. „Pennsylvania va continua să conducă la tragerea la răspundere pe actorii răi și să stabilească balustrade clare, astfel încât oamenii să poată folosi noua tehnologie în mod responsabil.”
În martie, Senatul de stat a adoptat o legislație care ar impune ca chatbots AI să le reamintească frecvent utilizatorilor că nu interacționează cu o persoană și să trimită oamenii la un furnizor de servicii de criză dacă fac referire la autovătămare. De asemenea, are restricții mai stricte atunci când chatbot interacționează cu un minor.
Proiectul de lege a fost înaintat unei comisii a Camerei de stat în martie, unde nu a primit vot.
