”Crisi” di riproducibilità. Dark Age per la Scienza Biomedica?

Recentemente, sulla rinomata rivista scientifica NATURE si è tornati a discutere dello spinoso tema concernente l’attuale e diffusa difficoltà nel riprodurre i risultati ottenuti durante le procedure sperimentali eseguite all’interno della ricerca biomedica, un problema tale le cui implicazioni risultano talmente serie e di portata considerevole da creare negli ultimi anni un dibattito molto acceso all’interno della comunità scientifica, coinvolgendo inevitabilmente anche le più rilevanti e pertinenti istituzioni in fatto di ricerca e salute pubblica.

Il Dr Marcus Munafò, dell’MRC Integrative Epidemiology (Università di Bristol, UK), rappresentando le sue palesi perplessità sull’argomento, ha riferito a tal riguardo:

”Come scienziati, dovremmo essere attenti esaminatori di prove, in maniera obiettiva e disinteressata. La realtà è caotica

[…]

All’interno del crogiuolo competitivo della scienza moderna, cospirano vari incentivi perversi in modo tale da minare il metodo scientifico, portando ad una letteratura piena di risultati inaffidabili

[…]

L’entità del problema è palese: differenze metodologiche apparentemente banali (come il modo in cui le cellule vengono mescolate in coltura oppure il terreno su cui vengono coltivate) possono tradursi in un fallimento completo quando si tratta di replicare i risultati ottenuti. I modelli animali spesso prevedono in maniera scarsa i risultati rilevati negli esseri umani

[…]

Non si tratta solo di ricerca pubblicata non affidabile – potremmo anche perdere farmaci utili in quanto dati preclinici scarsi sono una guida inaffidabile per la decisione di procedere con gli studi umani (di sperimentazione, ndr)

Il termine ‘legge di Eroom’ (‘legge di Moore’ letta al contrario) è stato coniato per descrivere lo stato di peggioramento della scoperta farmacologica. Quanti fondi vengono sprecati?” [1]

Munafò riassume un pò tutte quelle preoccupazioni che sono state rappresentate dagli ”addetti ai lavori” su questo argomento particolarmente scottante: approcci metodologici che risultano difettosi (ovvero carenti) e non in linea con un auspicabile rigore scientifico, dubbia rilevanza per la specie umana degli attuali ”strumenti” di ricerca preclinica da cui si cerca di estrapolare quei dati fondamentali per progredire negli studi, ”incentivi perversi” che condizionano l’integrità della ricerca biomedica, potenziali farmaci utili non pervenuti per via delle predette lacune, ingenti risorse inevitabilmente sprecate.

 

10

 

Che cos’è la riproducibilità? Perchè è così importante?

La riproducibilità dei risultati ottenuti durante un determinato esperimento, ovvero la possibilità che un dato fenomeno possa essere riproposto e studiato in diversi laboratori, è una delle basi stesse del metodo scientifico [2-3-4-5-6-7]. Nel processo scientifico, per quanto interessanti e promettenti i risultati sembrino essere, in realtà non possono essere assunti come stabiliti, a meno che altri gruppi di ricerca non siano in grado di riprodurli. Senza riproducibilità, le scoperte scientifiche rimangono solo suggerimenti, non fatti, sempre considerando la possibilità di coincidenza o di errore. Karl Popper, filosofo ed epistemologo di origine austriaca naturalizzato britannico, noto per la proposta della falsificabilità come criterio di demarcazione tra scienza e non scienza, ebbe a dichiarare:

”singoli eventi non riproducibili non hanno alcuna importanza per la scienza” [6]

Infatti, viene generalmente accettato e riconosciuto che ”la scienza non è scienza se non è riproducibile” [8].

Secondo un sondaggio recentemente pubblicato su Nature, oltre il 70% di un campione di 1576 scienziati intervistati ha fallito nel riprodurre i risultati sperimentali prodotti da altri scienziati e più della metà del predetto campione di ricercatori ha fallito nel riprodurre gli stessi risultati dei propri esperimenti. Il 90% degli intervistati si è dichiarato concorde nel ritenere che vi sia una ”crisi di riproducibilità”, con il 52% che la considera ”significativa” [9-10].

 

(nell’immagine sotto, grafico che riporta alcuni dei dati indicati nel suddetto sondaggio pubblicato su Nature) [9]

 

4347

 

E’ stato calcolato che ogni anno la ricerca biomedica finanziata in tutto il mondo assorbe qualcosa come 240 miliardi di dollari di investimenti, non milioni… miliardi [11-12].

Ebbene, di questa colossale cifra, l’85% circa (ovvero poco più di 200 miliardi di dollari) verrebbe ”sprecata” o investita in maniera quanto meno ”inefficiente” [13-14-15-16].

Michael Bracken, Professore di Epidemiologia presso la prestigiosa Yale University School of Public Health (U.S.A.), ha dichiarato:

”Su 100 progetti di ricerca, solo metà di essi porta a risultati pubblicati. Di questi 50, metà hanno difetti significativi nel design, rendendo i loro risultati inattendibili. E di quei 25, la metà è inutile o ridondante per via di precedenti lavori. E così si arriva al 12,5%.” (ovvero all’87.5%, ndr) [15]

Il Prof. Bracken continua nella sua analisi riferendo che:

”Questo spreco è più di un semplice spreco di denaro e risorse. Esso può infatti riverberarsi negativamente sulla salute delle persone” , alludendo chiaramente a quei milioni di malati che, in tutto il mondo, attendono valide terapie non ancora pervenute per il trattamento della loro condizione patologica [15], perchè non va dimenticato che, del resto, l’obiettivo finale della ricerca biomedica è quello di capire le basi bio-molecolari e genetiche delle malattie umane al fine di sviluppare nuove e più efficaci modalità di diagnosi, prevenzione, od interventi terapeutici destinati al loro trattamento [17-18].

Alcuni ricercatori hanno stimato che oltre il 50% della ricerca preclinica non viene replicata, ponendo il costo annuale dell’irriproducibilità di risultati nei soli Stati Uniti d’America a circa 28 miliardi di dollari [19].

Kousta et al. hanno affermato:

”Non sorprende che la scoperta farmacologica sia rallentata ed i suoi costi siano aumentati, in quanto gli interventi preclinici nei modelli animali sono raramente ricapitolati negli studi clinici.” (su esseri umani, ndr) [14]

Come Munafò, anche Kousta et al. ricordano la scarsità di risultati utili tradotti dagli studi animali a quelli clinici su esseri umani.

Un eloquente esempio del perchè si debba guardare con una certa cautela ai dati rilevati su modelli animali negli esperimenti eseguiti in varie aree di studio quando questi devono poi essere tradotti negli esseri umani è ben rappresentato da quanto segue sotto.

Uno studio del 2008 effettuato nel laboratorio del Dr Nils Brose presso l’istituto Max Planck for Experimental Medicine, in Germania, aveva suggerito che i topi privati del gene NLGN4 mostravano un certo numero di deficit sociali simil-autismo [20]. Il team di laboratorio pubblicò successivamente risultati simili rilevati sui topi in un paper pubblicato nel 2012 [21].

Ma nello stesso anno, due gruppi indipendenti riferirono che lo stesso ceppo di topi, allevati e forniti dal laboratorio di Brose, non aveva mostrato alcun deficit sociale, come invece osservato in precedenza [22].

 

4345

 

Come si è visto, quanto appurato nei laboratori di Brose e colleghi sembra la regola più che l’eccezione.

Due grandi aziende farmaceutiche, l’Amgen e la Bayer HealthCare, hanno fatto presente che, essenzialmente, non erano in grado di riprodurre i risultati principali di molti dei loro studi [23].

Evidenti sono sembrati lo sconforto e la frustrazione degli scienziati dell’Amgen quando hanno ammesso che:

”Cinquantatré pubblicazioni sono state prese in considerazione dagli ‘studi di riferimento’ (più importanti, ndr) […] i risultati scientifici sono stati confermati in soli 6 casi (11%). Pur conoscendo i limiti della ricerca preclinica, questo è stato un risultato decisamente scioccante.”  [24]

Sempre su Nature è stato dichiarato in riferimento a questa avvilente situazione:

”In anni recenti è divenuto chiaro che la scienza biomedica è afflitta da risultati che non si riesce a riprodurre. Non ogni articolo di ricerca ha bisogno di essere rilevante in termini medici ma come minimo dovrebbero essere tutti riproducibili. La riproducibilità separa la scienza da un mero aneddoto.” [25]

Citando quanto sopra riferito, il Prof. Marco Mamone Capria (Matematico ed Epistemologo presso l’Università degli Studi di Perugia) ha affermato:

”Molto spesso nemmeno questa condizione minima è soddisfatta (cioè la riproducibilità dei risultati, ndr) […] Penso che sia una riflessione importante per coloro che credono, o almeno dicono, che chi contesta la ragionevolezza degli investimenti nella ricerca sedicente medica effettuata su animali si stia preoccupando solo della sorte degli animali coinvolti.” [26]

Alcuni hanno dichiarato che tale mancanza di riproducibilità di risultati sia molte volte ”prevenibile”, in quanto attribuibile a ”bias”, carenze metodologiche con cui vengono condotti gli studi preclinici, etc. [27-28-29-30-31].

E’ certamente plausibile ritenere che migliorando il rigore scientifico/metodologico nella ricerca biomedica dovrebbe in una qualche misura aumentare il volume di risultati utili tradotti negli studi su esseri umani.

Tuttavia, altri hanno fatto notare che, al di là di considerazioni attinenti prettamente l’approccio metodologico etc., i risultati utili tradotti dagli studi animali a quelli umani resteranno nel tempo comunque marginali [12-30-32-33-34-35-36], cioè limitati, per via delle ”insuperabili barriere tra specie” a livello anatomico, metabolico etc. etc. [32-35-36].

Indicativo lo studio condotto da Crabbe et al. (1999) nel tentativo appunto di migliorare la riproducibilità di risultati ottenuti. Pur ottimizzando gli sforzi ed eliminando tutte le potenziali ”variabili” capaci di confondere i dati, i ricercatori dovettero constatare che ”vi erano sistematiche differenze” nei risultati rilevati nei vari laboratori in cui vennero eseguiti i test sui ceppi di topo utilizzati [37].

Questo, in ultima istanza, dovrebbe suggerire che la ricerca condotta su specie animali in cui sono ravvisabili significative e fondamentali differenze dagli esseri umani potrebbe essere in ogni caso più fuorviante che di aiuto per questi ultimi [32-33-35].

Alfredo Lio (socio volontario O.S.A.), per l’associazione medico-scientifica O.S.A. (Oltre la Sperimentazione Animale)

11 maggio 2017

Bibliografia:

[1] Munafò, M. Metascience: Reproducibility blues. Nature. 2017 Mar 29;543(7647):619-620. doi: 10.1038/543619a.

[2] Atmanspacher, H. et al. Relevance relations for the concept of reproducibility. J R Soc Interface. 2014 May 6; 11(94): 20131030. doi:  10.1098/rsif.2013.1030.

[3] Piccolo, S, R. & Frampton, M, B. Tools and techniques for computational reproducibility. Gigascience. 2016 Jul 11;5(1):30. doi: 10.1186/s13742-016-0135-4.

[4] Aleksic, J. et al. An Open Science Peer Review Oath. Version 2. F1000Res. 2014; 3: 271. Published online 2015 Jan 9. doi:  10.12688/f1000research.5686.2.

[5] Pulverer, B. Reproducibility blues. EMBO J. 2015 Nov 12;34(22):2721-4. doi: 10.15252/embj.201570090. Epub 2015 Nov 4.

[6] Casadevall, A. & Fang, F, C. Reproducible science. Infect Immun. 2010 Dec;78(12):4972-5. doi: 10.1128/IAI.00908-10. Epub 2010 Sep 27.

[7] Munafò, M, R. et al. A manifesto for reproducible science. Nature Human Behaviour 1, Article number: 0021 (2017). doi:10.1038/s41562-016-0021.

[8] Roth, K, A. & Cox, A, E. Science isn’t science if it isn’t reproducible. Am J Pathol. 2015 Jan;185(1):2-3. doi: 10.1016/j.ajpath.2014.11.001.

[9] Baker, M. 1,500 scientists lift the lid on reproducibility. Nature. 2016 May 26;533(7604):452-4. doi: 10.1038/533452a.

[10] de Weerd-Wilson, D. & Gunn, W. How Elsevier is breaking down barriers to reproducibility. Elsevier, Jan 31, 2017. Disponibile a questo indirizzo: https://www.elsevier.com/connect/how-elsevier-is-breaking-down-barriers-to-reproducibility

[11] Chalmers, I. et al. How to increase value and reduce waste when research priorities are set. Lancet. 2014 Jan 11;383(9912):156-65. doi: 10.1016/S0140-6736(13)62229-1. Epub 2014 Jan 8.

[12] Bustin, S, A. The reproducibility of biomedical research: Sleepers awake! Biomol Detect Quantif. 2015 Jan 21;2:35-42. eCollection 2014.

[13] Chalmers, I. & Glasziou, P. Avoidable waste in the production and reporting of research evidence. Lancet. 2009 Jul 4;374(9683):86-9. doi: 10.1016/S0140-6736(09)60329-9. Epub 2009 Jun 12.

[14] Kousta, S. et al. Meta-Research: Broadening the Scope of PLOS Biology. PLoS Biol. 2016 Jan; 14(1): e1002334. Published online 2016 Jan 4. doi:  10.1371/journal.pbio.1002334.

[15] Bock, E. Much Biomedical Research is Wasted, Argues Bracken. NIH Record, Vol. LXVIII, No. 14, July 1, 2016. Disponibile a questo indirizzo: https://nihrecord.nih.gov/newsletters/2016/07_01_2016/story3.htm

[16] Pain, E. Taking the ‘Waste’ Out of Biomedical Research. Science, Feb. 3, 2014.

[17] Benam, K, H. et al. Engineered in vitro disease models. Annu Rev Pathol. 2015;10:195-262. doi: 10.1146/annurev-pathol-012414-040418.

[18] Mullane, K. et al. Translational paradigms in pharmacology and drug discovery. Biochem Pharmacol. 2014 Jan 1;87(1):189-210. doi: 10.1016/j.bcp.2013.10.019. Epub 2013 Oct 30.

[19] Freedman, L, P. et al. The Economics of Reproducibility in Preclinical Research. PLoS Biol. 2015 Jun; 13(6): e1002165. Published online 2015 Jun 9. doi:  10.1371/journal.pbio.1002165.

[20] Jamain, S. et al. Reduced social interaction and ultrasonic communication in a mouse model of monogenic heritable autism. Proc Natl Acad Sci U S A. 2008 Feb 5;105(5):1710-5. doi: 10.1073/pnas.0711555105.

[21] El-Kordi, A. et al. Development of an autism severity score for mice using Nlgn4 null mutants as a construct-valid model of heritable monogenic autism. Behav Brain Res. 2013 Aug 15;251:41-9. doi: 10.1016/j.bbr.2012.11.016.

[22] Ey, E. et al. Absence of deficits in social behaviors and ultrasonic vocalizations in later generations of mice lacking neuroligin4. Genes Brain Behav. 2012 Sep 18. doi: 10.1111/j.1601-183X.2012.00849.x

[23] Hartung, T. Food for Thought Look Back in Anger – What Clinical Studies Tell Us About Preclinical Work.

[24] Begley, C, G. & Ellis, L, M. Drug development: Raise standards for preclinical cancer research. Nature. 2012 Mar 28;483(7391):531-3. doi: 10.1038/483531a.

[25] Russel, J, F. If a job is worth doing, it is worth doing twice. Nature. 2013 Apr 4;496(7443):7. doi: 10.1038/496007a.

[26] Eduati, L. Intervista all’epistemologo Marco Mamone Capria. “La vivisezione oltre che dannosa è inutile”. Huffingtonpost.it, 27/04/2013.

[27] Collins, F, S. & Tabak, L, A. Policy: NIH plans to enhance reproducibility. Nature. 2014 Jan 30;505(7485):612-3.

[28] Green, S, B. Can animal data translate to innovations necessary for a new era of patient-centred and individualised healthcare? Bias in preclinical animal research. BMC Med Ethics. 2015 Jul 28;16:53. doi: 10.1186/s12910-015-0043-7.

[29] Reichlin, T, S. et al. The Researchers’ View of Scientific Rigor—Survey on the Conduct and Reporting of In Vivo Research. PLoS One. 2016 Dec 2;11(12):e0165999. doi: 10.1371/journal.pone.0165999. eCollection 2016.

[30] Pound, P. & Bracken, M. Is animal research sufficiently evidence based to be a cornerstone of biomedical research? BMJ. 2014 May 30;348:g3387. doi: 10.1136/bmj.g3387.

[31] Flier, J, S. Irreproducibility of published bioscience research: Diagnosis, pathogenesis and therapy. Mol Metab. 2016 Nov 21;6(1):2-9. doi: 10.1016/j.molmet.2016.11.006. eCollection 2017.

[32] Akhtar, A. The flaws and human harms of animal experimentation. Camb Q Healthc Ethics. 2015 Oct;24(4):407-19. doi: 10.1017/S0963180115000079.

[33] Hartung, T. Opinion versus evidence for the need to move away from animal testing. ALTEX. 2017;34(2):193-200. doi: 10.14573/altex.1703291.

[34] Leist, M. & Hatung, T. Inflammatory findings on species extrapolations: humans are definitely no 70-kg mice. Arch Toxicol. 2013 Apr;87(4):563-7. doi: 10.1007/s00204-013-1038-0. Epub 2013 Mar 19.

[35] Langley, G. Response to “Comment on ‘Lessons from Toxicology: Developing a 21st-Century Paradigm for Medical Research'”. Environ Health Perspect. 2016 May 1;124(5):A85. doi: 10.1289/ehp.1611305.

[36] Langley, G, R. Considering a New Paradigm for Alzheimer’s Disease Research. Drug Discov Today. 2014 Aug;19(8):1114-24. doi: 10.1016/j.drudis.2014.03.013. Epub 2014 Mar 21.

[37] Crabbe, J, C. et al. Genetics of mouse behavior: Interactions with laboratory environment. Science. 1999 Jun 4;284(5420):1670-2.

Annunci

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione /  Modifica )

Google photo

Stai commentando usando il tuo account Google. Chiudi sessione /  Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione /  Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione /  Modifica )

Connessione a %s...