Su Science viene presentata una proposta per migliorare l’efficienza della ricerca scientifica: una piattaforma su cui raccogliere le previsioni degli esperti sui possibili risultati di un esperimento, prima che abbiano avuto modo di conoscerli. Vediamo perché potrebbe essere utile
Non è una novità: scandali, riviste predatorie che spuntano come funghi, e una generale difficoltà nel riprodurre i risultati delle ricerche che provoca danni per miliardi di euro ogni anno, sono un problema che rischia di minare il rapporto di fiducia tra comunità scientifica e società. Ovviamente gli scienziati sono consapevoli del problema, e da tempo lavorano per trovare una soluzione. Una delle proposte più recenti arriva dalle pagine di Science: secondo l’economista di Berkeley Stefano Della Vigna, quel che serve è un database in cui raccogliere le previsioni di esperti e persone comuni sui risultati di un esperimento, prima ancora che questo venga eseguito. Una proposta che nasce nel campo dell’economia e delle scienze sociali, ma che secondo Della Vigna potrebbe portare importanti benefici in tutti gli ambiti della ricerca scientifica. Quali di preciso? Vediamo.
Migliorare le conoscenze scientifiche
Il primo campo in cui Della Vigna pensa che il suo database di previsioni scientifiche si rivelerebbe prezioso riguarda l’interpretazione dei risultati delle ricerche. Come scrive nell’articolo, firmato insieme ai colleghi David Pope e Eva Vivalt, ogni nuovo risultato scientifico nasce dalle opinioni esistenti sul tema all’interno della comunità scientifica. E molto spesso, la sua importanza viene valutata in base a quanto risulti sorprendente: una ricerca che stravolge quel che pensavamo di sapere tende naturalmente a sembrare più interessante. L’innovatività di un risultato è quindi importante, e gli scienziati la giudicano basandosi sulle conoscenze disponibili prima della sua pubblicazione. Il problema è che oggi questo viene fatto ex post, cioè dopo aver conosciuto i nuovi risultati. Esponendo al rischio di incorrere nel cosiddetto hindsight bias, qualcosa che potremmo tradurre come “bias del senno di poi”: la tendenza, comune un po’ a tutti, di considerare più prevedibile un qualcosa quando ormai è già accaduto. “Quando i risultati di uno studio sono noti l’hindsight bias rende difficile per i ricercatori rivelare quali fossero realmente le loro previsioni: è fin troppo comune sentirsi dire ‘lo sapevamo già!’ quando non è vero”, racconta a Wired Della Vigna. “È così che nasce la nostra proposta: quando si fa uno studio nuovo chiediamo agli esperti di fare le loro previsioni prima di sapere i risultati, così poi gli esiti degli esperimenti si possono confrontare le reali aspettative della comunità scientifica”.
Un altro aspetto da non sottovalutare riguarda il modo i nuovi risultati della ricerca contribuiscono a modificare l’opinione degli esperti. Diverse ricerche hanno dimostrato infatti che i risultati positivi e innovativi portano più velocemente ad un aggiornamento delle conoscenze rispetto a quelli negativi. In qualche modo, la mente umana fa resistenza quando deve cambiare in peggio le nostre aspettative. E anche in questo caso, raccogliere le previsioni degli esperti prima di svolgere una ricerca aiuterebbe quindi a garantire una valutazione più oggettiva dei risultati, e un più corretto aggiornamento del consenso scientifico.
Publication bias
La proposta di Della Vigna potrebbe risolvere anche un altro ordine di problemi: il cosiddetto publication bias, cioè la tendenza a pubblicare sulle riviste scientifiche solamente gli studi che danno risultati positivi. Ovviamente, anche i risultati negativi meritano attenzione e diffusione. Ma alla prova dei fatti farsi pubblicare una ricerca che dimostra che qualcosa non funziona è molto più difficile. E questo compromette l’attendibilità delle opinioni degli esperti, e spinge i ricercatori (sempre sotto pressione per la necessità di pubblicare il più possibile) ad errori, se non vere e proprio truffe.
Raccogliendo le previsioni degli esperti prima di compiere la ricerca, invece, un risultato risultato negativo, o nullo, che vada contro le opinioni più diffuse acquisisce più facilmente una sua rilevanza. “Spesso uno studio fatto con un grande campione può dare come risultato un preciso zero – per esempio, rivelare che una medicina non ha effetto su una malattia”, continua Della Vigna. “In molti casi, l’aspettativa ex ante era che lo studio avrebbe avuto un impatto significativo e largo. Eppure questi studi spesso non vengono pubblicati perché sono un risultato nullo. Se fissiamo le priors, invece, si può dire che i risultati confutano le aspettative, e lo studio quindi non è più un risultato nullo. Per questo pensiamo che possa ridurre il rischio di pubblicazione selettiva”.
Migliorare le previsioni
Il database di previsioni scientifiche proposto su Science avrebbe infine un ultimo, possibile, effetto benefico, e cioè quello di migliorare le stesse capacità predittive dei ricercatori. Con il tempo, i dati raccolti aiuterebbero infatti a comprendere meglio di chi fidarsi (sono gli esperti ad offrire le previsioni più accurate? I giovani ricercatori? La cosiddetta “saggezza della folla”?), quanto e come farlo. E questo migliorerebbe a sua volta anche il design delle ricerche. L’esempio che fanno Della Vigna e colleghi è il seguente: immaginate un team di ricercatori chiamato ad aiutare una città a reclutare un corpo di polizia più rappresentativo di tutte le componenti della società. I ricercatori hanno diversi ipotesi su come procedere, ma il campione disponibile per testarle impone di sceglierne solamente tre. Bene: oggi i ricercatori dovrebbero basarsi sull’istinto, ma se avessero a disposizione anni di previsioni su simili questioni potrebbero invece sottoporre il problema ai soggetti che si sono rivelati più accurati. Come si potrebbe procedere per realizzare tutto questo?
Della Vigna e colleghi hanno già realizzato una piattaforma dedicata proprio a questo, limitata per ora però alla raccolta di previsioni nel campo delle scienze sociali. Permette ai ricercatori interessati di diffondere tra gli utenti della piattaforma un questionario con cui valutare le loro previsioni sui risultati di un nuovo studio, e di ottenere le risposte una volta completati gli esperimenti. Per ora è ancora in una fase sperimentale, e rimangono diverse questioni aperte: chi fornisce le proprie previsioni, ad esempio, dovrebbe ricevere un compenso? Può essere utile offrire incentivi per chi fornisce previsioni accurate? Domande che troveranno risposta man mano che la piattaforma prenderà piede.
Potrebbe interessarti anche