L’Intelligenza artificiale mette seriamente a rischio l’affidabilità delle ricerche basate su survey. Poiché l’AI è sempre più capace di simulare il comportamento umano alcuni studi indicano che una quota non trascurabile delle risposte ai sondaggi condotti online, variabile dal 4% al 90% in alcune popolazioni, può essere falsa o fraudolenta.
È quanto sostengono tre ricercatori dell’IMT School for Advanced Studies Lucca e dell’Università di Cambridge in un commento pubblicato sulla rivista Nature.
L’uso crescente di agenti di AI in grado di compilare questionari con poca o nessuna supervisione umana rappresenta infatti un cambiamento strutturale nel problema delle frodi nei sondaggi.
Soprattutto di quelli a tema politico, centrali nelle scienze sociali e nei processi democratici.
Dati potenzialmente contaminati dai sistemi automatici
“I problemi sono cambiati di scala”, scrivono gli autori, sottolineando come gli strumenti tradizionali per distinguere tra risposte umane e non umane non siano più efficaci.
Anche percentuali molto più basse di risposte falsate possono infatti avere effetti rilevanti. In presenza di effetti statistici piccoli, una contaminazione dei dati pari al 3%–7% può invalidare le conclusioni di una ricerca.
“Non possiamo più dire se chi risponde sia una persona o no, e il risultato è che tutti i dati sono potenzialmente contaminati”, spiega Folco Panizza, ricercatore dell’IMT School for Advanced Studies Lucca e tra gli autori del commento.
Piattaforme ampiamente utilizzate per la raccolta di dati, come Amazon Mechanical Turk, Prolific e Lucid, consentono da anni di ottenere rapidamente grandi quantità di risposte a basso costo, ma sono oggi particolarmente vulnerabili alla manipolazione da parte di sistemi automatici.
Modelli avanzati riescono a produrre risposte fluide, coerenti e contestualizzate
I tradizionali strumenti di controllo, come i CAPTCHA o le domande di attenzione inserite nei questionari, risultano sempre meno efficaci di fronte a modelli avanzati capaci di produrre risposte fluide, coerenti e contestualizzate, spesso migliori di quelle umane.
Gli autori propongono quindi un cambio di strategia su più livelli. Da un lato suggeriscono di analizzare i cosiddetti ‘paradata’, come la velocità di digitazione, l’uso del copia-incolla e altri pattern comportamentali, per individuare risposte statisticamente improbabili per un essere umano. Dall’altro indicano necessità di fare maggiore affidamento su panel di ricerca basati su campioni probabilistici o partecipanti con identità verificate.
…e continuano ad adattarsi ai tentativi di rilevazione
La proposta più radicale consiste però nel ribaltare la logica della rilevazione delle frodi, progettando test che sfruttino i limiti del ragionamento umano piuttosto che le debolezze dell’AI.
Ma nessuna soluzione singola sarà sufficiente, riferisce AGI, poiché i sistemi di AI continuano ad adattarsi ai tentativi di rilevazione.
Per proteggere la credibilità della ricerca nelle scienze sociali, ricercatori, piattaforme e finanziatori sono quindi chiamati a ripensare con urgenza gli standard di integrità dei dati, combinando campioni di maggiore qualità, strumenti di controllo più sofisticati e maggiore trasparenza.