Οι έρευνες για την αξιοπιστία των κλινικών μελετών έχουν δείξει ότι, σε ορισμένους τομείς της ιατρικής, τουλάχιστον το ένα τέταρτο των κλινικών δοκιμών μπορεί να είναι προβληματικές ή ακόμη και εξ ολοκλήρου κατασκευασμένες, προειδοποιούν ορισμένοι ερευνητές και γιατροί ζητώντας πιο αυστηρό έλεγχο.
Σύμφωνα με το σχετικό δημοσίευμα του Nature, τον Οκτώβριο του 2020, ο John Carlisle αναισθησιολόγος στο Εθνικό Σύστημα Υγείας της Αγγλίας (NHS) ανέφερε μια εκπληκτική εκτίμηση. Διάσημος για την ικανότητά του να εντοπίζει αμφιλεγόμενα στοιχεία σε κλινικές δοκιμές και συντάκτης στο περιοδικό Anesthesia, το 2017 αποφάσισε να ψάξει όλα τα χειρόγραφα που χειρίστηκε και τα οποία ανέφεραν μια τυχαιοποιημένη ελεγχόμενη δοκιμή (RCT) – το χρυσό πρότυπο της ιατρικής έρευνας. Για τρία χρόνια, εξέτασε περισσότερες από 500 μελέτες. Σε περισσότερες από 150 δοκιμές, ο Carlisle είχε πρόσβαση σε ανώνυμα δεδομένα συμμετεχόντων (IPD). Μελετώντας τα, έκρινε ότι το 44% αυτών των δοκιμών περιείχαν τουλάχιστον μερικά ελαττωματικά δεδομένα: για παράδειγμα, στατιστικά στοιχεία που ήταν απίθανα, λανθασμένους υπολογισμούς ή διπλούς αριθμούς. Και το 26% των εγγράφων είχε προβλήματα που ήταν τόσο διαδεδομένα που ήταν αδύνατο να εμπιστευτεί κανείς τα αποτελέσματα μιας μελέτης — όπως έκρινε- είτε επειδή οι συγγραφείς δεν ήταν αρκετά ικανοί, είτε επειδή είχαν παραποιήσει τα δεδομένα. Ο Carlisle ονόμασε αυτές τις δοκιμές «ζόμπι» επειδή έμοιαζαν με πραγματική έρευνα, αλλά στην πραγματικότητα ήταν κούφια κοχύλια, που μεταμφιέζονταν ως αξιόπιστες πληροφορίες. Ακόμη και αυτός εξεπλάγη από την επικράτηση τους.
«Περίμενα ίσως ένα στα δέκα», λέει. Ωστόσο, όταν ο Carlisle δεν μπορούσε να έχει πρόσβαση στα ανεπεξέργαστα δεδομένα μιας κλινικής δοκιμής, μπορούσε να μελετήσει μόνο τις συγκεντρωτικές πληροφορίες στους συνοπτικούς πίνακες. Μόλις το 1% αυτών των περιπτώσεων ήταν « ζόμπι» και το 2% είχε ελαττωματικά δεδομένα, έκρινε. Αυτό το εύρημα τον ανησύχησε επίσης: Σήμαινε ότι, χωρίς πρόσβαση στα ανώνυμα δεδομένα των συμμετεχόντων – που συνήθως δεν ζητούν οι συντάκτες των περιοδικών και δεν βλέπουν οι κριτικοί – ακόμη και ένας έμπειρος τεχνικός δεν θα μπορούσε να εντοπίσει κρυμμένα λάθη. «Νομίζω ότι τα ιατρικά περιοδικά πρέπει να θεωρούν ότι όλες οι υποβληθείσες εργασίες είναι δυνητικά ελαττωματικές και οι συντάκτες θα πρέπει να εξετάζουν τα δεδομένα μεμονωμένων ασθενών πριν δημοσιεύσουν τυχαιοποιημένες ελεγχόμενες δοκιμές», έγραψε ο Carlisle στην έκθεσή του. Ο Carlisle απέρριψε κάθε δοκιμή ζόμπι, αλλά μέχρι τώρα, σχεδόν τρία χρόνια αργότερα, οι περισσότερες έχουν δημοσιευτεί σε άλλα περιοδικά – μερικές φορές με διαφορετικά δεδομένα από αυτά που υποβλήθηκαν στο χειρόγραφο που είχε δει. Τα ευρήματα του Carlisle στην αναισθησιολογία επεκτείνονται και σε άλλους τομείς της ιατρικής έρευνας.
Για χρόνια, αρκετοί επιστήμονες, γιατροί και ερευνητές δεδομένων υποστηρίζουν ότι οι ψεύτικες ή αναξιόπιστες δοκιμές είναι τρομακτικά διαδεδομένες. Έχουν ερευνήσει τυχαιοποιημένες ελεγχόμενες δοκιμές σε διάφορους ιατρικούς τομείς, όπως η υγεία των γυναικών, η έρευνα για τον πόνο, η αναισθησιολογία, η υγεία των οστών και η COVID-19, και έχουν βρει δεκάδες ή εκατοντάδες δοκιμές με φαινομενικά αδύνατα στατιστικά δεδομένα. Μερικοί, με βάση τις προσωπικές τους εμπειρίες, ισχυρίζονται ότι το να θεωρούμε ότι το ένα τέταρτο των δοκιμών είναι αναξιόπιστες μπορεί να είναι υποεκτιμημένο.