Attenzione: il ricercatore afferma che molti studi scientifici sono sbagliati

Alcuni anni fa, due ricercatori hanno preso gli ingredienti più utilizzati di 50 in un libro di cucina e hanno studiato quanti fossero stati collegati a un rischio o beneficio di cancro, sulla base di una varietà di studi pubblicati su riviste scientifiche.

Il risultato? Quaranta su 50, tra sale, farina, prezzemolo e zucchero. "Tutto ciò che mangiamo è associato al cancro?" si sono chiesti i ricercatori in un articolo del 2013 basato sui loro risultati.

La loro indagine ha toccato un problema noto ma persistente nel mondo della ricerca: troppi studi hanno campioni abbastanza grandi da supportare conclusioni generalizzate.

Ma la pressione sui ricercatori, la concorrenza tra le riviste e l'insaziabile appetito dei media per nuovi studi che annunciano scoperte rivoluzionarie hanno fatto sì che tali articoli continuassero a essere pubblicati.

"La maggior parte degli articoli che vengono pubblicati, anche su riviste serie, sono piuttosto sciatti", ha detto John Ioannidis, professore di medicina alla Stanford University, specializzato nello studio di studi scientifici.

Questo nemico giurato della cattiva ricerca ha pubblicato un articolo ampiamente citato nel 2005 dal titolo: "Perché la maggior parte dei risultati delle ricerche pubblicate sono falsi".

Da allora, afferma, sono stati compiuti solo progressi limitati.

Alcune riviste ora insistono sul fatto che gli autori pre-registrino il loro protocollo di ricerca e forniscano i loro dati grezzi, il che rende più difficile per i ricercatori manipolare i risultati per raggiungere una certa conclusione. Consente inoltre ad altri di verificare o replicare i propri studi.

Perché quando gli studi vengono replicati, raramente ottengono gli stessi risultati. Solo un terzo degli studi 100 pubblicati in tre importanti riviste di psicologia potrebbe essere replicato con successo in un ampio test 2015.

La medicina, l'epidemiologia, la scienza della popolazione e gli studi nutrizionali non vanno meglio, ha detto Ioannidis, quando si tenta di replicarli.

"In tutta la scienza biomedica e oltre, gli scienziati non ricevono una formazione sufficiente sulle statistiche e sulla metodologia", ha detto Ioannidis.

Troppi studi si basano esclusivamente su pochi individui, rendendo difficile trarre conclusioni più ampie perché i campionamenti hanno così poche speranze di essere rappresentativi.

"La dieta è una delle aree più orribili dell'indagine biomedica", ha aggiunto il professor Ioannidis - e non solo a causa dei conflitti di interesse con varie industrie alimentari.

"Misurare la dieta è estremamente difficile", ha sottolineato. Come possiamo quantificare con precisione ciò che le persone mangiano?

In questo campo, i ricercatori spesso vanno alla ricerca selvaggia di correlazioni all'interno di enormi database, senza nemmeno ipotesi iniziali.

Anche quando la metodologia è buona, con il gold standard che è uno studio in cui i partecipanti sono scelti a caso, l'esecuzione può non essere all'altezza.

Un famoso studio 2013 sui benefici della dieta mediterranea contro le malattie cardiache ha dovuto essere ritirato a giugno dalla più prestigiosa rivista medica, il New England Journal of Medicine, perché non tutti i partecipanti sono stati reclutati a caso; i risultati sono stati rivisti al ribasso.

Quindi cosa dovremmo togliere dall'ondata di studi pubblicati ogni giorno?

Ioannidis raccomanda di porre le seguenti domande: è qualcosa che è stato visto solo una volta o in più studi? È uno studio piccolo o grande? È un esperimento randomizzato? Chi l'ha finanziato? I ricercatori sono trasparenti?

Queste precauzioni sono fondamentali in medicina, dove studi inadeguati hanno contribuito all'adozione di trattamenti nella migliore delle ipotesi inefficaci e nella peggiore dei casi dannosi.

Nel loro libro "Ending Medical Reversal", Vinayak Prasad e Adam Cifu offrono esempi terrificanti di pratiche adottate sulla base di studi che sono poi stati invalidati, come l'apertura di un'arteria cerebrale con stent per ridurre il rischio di un nuovo ictus.

Solo dopo anni 10 uno studio robusto e randomizzato ha dimostrato che la pratica ha effettivamente aumentato il rischio di ictus.

La soluzione sta nel inasprimento collettivo degli standard da parte di tutti gli attori del mondo della ricerca, non solo riviste ma anche università, agenzie di finanziamento pubbliche. Ma tutte queste istituzioni operano in ambienti competitivi.

Leggi la storia completa qui ...