søndag den 18. marts 2018

Det videnskabelige kastesystem og hærgende kundskabstrolde forhindrer opgør mod falsk videnskab





Fiktion sniger sig ind på sandheden ved at genfortælle den på 6 forskellige måder for til sidst at slippe den fri’ (John Gardner)

Jeg er lige kommet hjem fra Uganda, hvor vi afholdt 3 forsknings konferencer – men ikke konferencer som vi kender dem. Sammen med Gulu Universitet i det tidligere krigsramte nordlige Uganda har vi prøvet at genopbygge forskningskapacitet på universitetet. Forskningen skulle hjælpe med at løse befolkningens problemer, så processen startede med en række møder i landsbyerne og med lokale ledere. Da forskningen var færdig skulle resultaterne præsenteres for politikere, landsbybeboere, myndigheder og de lokale chefer. Aldrig har jeg set så nervøse og spændte unge forskere: deres kandidat, master eller PhD forsvar var vand ved siden af denne her eksamen. I salen sad 300 spørgelystne politiske ledere, politifolk, præster, patienter, unge, ældre og skolelærere. Alt blev vendt og de tilstedeværende ledere blev med det samme konfronteret med hvad de ville gøre med resultaterne, der viste at børnene ikke kom i skole, at ældre var underernærede og at krigens traumer stadig fyldte meget med bl.a. høje selvmordsrater.
Som en kommentar til at der skulle være en reproduktionskrise i sundhedsforskning skriver Dekan på Aarhus Universitets sundhedsvidenskabelige fakultet Lars Bo Nielsen, i et indlæg i Altinget.dk, at vi ikke må blive bange for at lave fejl. Forskere har en pligt til at publicere deres fund, også selv om der er risiko for forkerte konklusioner, mener dekanen. Det er svært at være uenig med mormors æblekage, men spørgsmålet er vel hvad der menes med fejl. Nogle fejl kommer fordi shit happens, andre fejl opstår fordi præmisserne for studiet var forkerte og andre fejl igen kommer fordi vi er sløsede.  Men der er andre langt alvorligere fejl vi laver igen og igen fordi vi er blinde høns præget af angst for rutinebrug og nye lyde. Fejl vi laver igen og igen, fordi vi konstant tvinger hinanden til at arbejde i forældede mindsets – mindsets der præger forskningstemaer og fondsopslag, Mindsets der påtvinger unge forskere kun at danse de tilladte dansetrin – ikke de vilde moderne danse. Som iværksætteren Vinod Khosla (Sun microsystems) tørt konstaterer: Many times experts fail because they're experts in the past version of the world. Det er menneskeligt at fejle, men at blive ved med at lave de samme fejl…..det er kognitivt selvmord. Bekymringen for videnskabernes manglende evne til at reproducere deres egne fakta har nu nået et omfang, hvor den er blevet et regulært troværdighedsproblem. Men hvad er videnskabernes reaktion? Vi begynder at forfine lidt på hesteskoen opfundet for 500 år siden. En nylig konference om reproduktionskrisen, afholdt af det amerikanske videnskabernes selskab, handlede stort set om bedre metoder til at udregne en pålidelig p-værdi, mere præcise konfidensintervaller og metoder til randomisering af confoundere…..Reproducérbarhed som videnskabeligt kriterium blev defineret af Philosophical Transactions of the Royal Society 1665 og vi roder stadig med at få hesteskoen til at passe i 2018.
Vi har som videnskabeligt funderede altid måttet slås med politikere, der ignorerer fakta og griner af vore argumenter, selvom det er med fatale konsekvenser. Nu skal vi så også slås med at meningsdannere framer forskere som ligegyldige personer, der leverer ubetydelige partsindlæg, som den angrebslystne provo-filosof Rune Toftegaard Selsing f.eks. udtrykker det i Jyllands-Posten: ”Universitetets ansatte bliver mere og mere specialerede i deres små nicher og er snarere teknokrater end intellektuelle. Det gør dem uinteressante i den offentlige debat”. I USA er holdningen til akademikere skredet endnu mere, hvor veritable troldehære succesfuldt har kunnet angribe, og lamme, universitetsforskere gennem cybermobning, stalking og falske nyheder, der drager deres faglige dømmekraft, forskning og person i tvivl overfor studerende, dekaner og offentligheden. Vi skal også kæmpe mod super fodbold heltes livsfarlige bøger om diæter og skuespilleres bizarre råd om vagina-æg til at styrke generel feminin balance. Vi angribes på vores faglige DNA fra flere flanker, men vi tør ikke forsvare os – vi gemmer os, håber vel stormen løjer af og at sandheden, ved en eller anden meget magisk og uvidenskabelig kraft, vil vinde over politikere, medier og de bloggere der hver dag vinder nyt terræn.   Men hvad er egentlig forskningsverdenens egen andel i at viden i tiltagende omfang miskrediteres og opfattes som social-politiske partsindlæg der hører hjemme i Ekstra-Bladets ”Nationen” debatforum? Vi skændes jo selv, konstant, om hvad der er fakta….vi kalder det bare evidens. Og nogen, de ældre, har tilmed opfundet et forskningsmæssigt kaste system for evidensniveauer: lavest rangerende er ekspertens personlige mening, næstlaveste niveau er case studier/narrativer, anekdoter og forskningsrapporter, så kommer de uregerlige case-kontrol studier og observationelle tværsnitsstudier, dernæst kohorte studier, så kommer randomiserede kontrollerede klinisk studier (RCT), der toppes af systematiske litteratur reviews og metaanalyser og Guden over dem alle på toppen: den kliniske evidens baserede guidelines. Og vé den der by-passer kommandovejen til Guderne: case studier må ikke selv tale til RCT og er udelukket for adgang til guideline himlen. Tilfældige observationer er bandlyste i dette hierarki – hvis ikke lige som morsomme små anekdoter om en patients besynderlige symptommanifestation.
Den første systematiske fejl vi laver er stædigt at holde fast i at kliniske guidelines faktisk ér Guder, når al evidens (!?) viser at evidens enten ikke indarbejdes i guidelines eller også anvendes guidelines slet ikke (eller kun udvalgte dele af dem) i praksis. Vi tilbeder en Gud som vi faktisk slet ikke tror på – vi er serielt utro mod vores egen videnskabelige overbevisning, for vi kan, som mennesker, faktisk bedst lide de gode historier, helst vore egne, og vi stoler mest på vores egen erfaring og dømmekraft i relation til den enkelte patient.
En veritabel bibelsk syndflod af videnskabelige artikler de seneste årtier har ikke, modsat ideen, ført til hurtige spredning af nye ideer, men til cirkulær bekræftelse af de eksisterende videnskabelige holdninger og meninger – forskningens kanon er blevet cementeret og eviggjort, som en hellig ukrænkelig litteratur kanon. Men ingen kanon holder evigt. Selv Pippi Langstrømpe, som vi alle troede var en udødelig litteraturfigur, blev hevet ned af skolebibliotekernes hylder i Midvesten i USA og i Sverige måtte flere af historierne omskrives fordi de var gået hen og blevet anstødelige. Det gamle testamente var for voldeligt, så der skulle et mere fredeligt til og det er kun et marginalt udvalg af Grimms eventyr, der er tilladte for børn.
Man kan i dag skrive en populær og hyppigt citeret, men 100% meningsløs artikel, ved en statistisk fordeling og sammensætning af ord/endelser fra følgende liste krydret med spekulationer og selv-citeringer:
Disruption
Udækket behov
Infections punkt
Patient centreret
Big data
Prædiktiv analyse
Digital…noget
Gennembrud
-omics
Interoperationalitet
integreret
Validering
Immun-personaliseret
Bærbar
Mikrobiom
Mobil
Præcision
Virkeligheds evidens
Multifaktoriel
Translationel
Tværsektoriel
Transformativ
mhealth
Forkant
Strukturel
Evolution
Revolution
Ehealth
Genteknologi
Teknologi
Robusthed
Co-creation
Storytelling
Omnichannel
Dynamisk
Virtuel
Cyber
Apps


Den enorme vægt, der i uddannelsen af læger og i videnskabelige artikler, bliver lagt på at teste nullhypotesers signifikans niveau, kan vildlede forskere til, uanset problem eller datatype, at reducere data til binære variable og fortolke beviser dichotomt snarere end som kontinuerte data. Data er kun data, hvis de kommer fra et spørgeskema (uden at nogen undrer sig over hvor spørgsmålene kommer fra). Derfor kan forskere enten se bort fra bevis, der undlader at opnå statistisk signifikans eller undervurdere resultatet i forhold til beviser, der opnår statistisk signifikans. Som et vigtigt kuriosum, så er forskere bedre til at bedømme evidens på baggrund af den korrekte forståelse (dvs ikke-dikotom, men kontinuert) af data sammensætning, hvis forskeren direkte kan se en personlig konsekvens af forskningresultatet!).

Fact checkere har vist sig sværere at snyde på nettet med falsk videnskab end PhD studerende. Måske skal PhD studerende disruptes med lidt lateral tænkning: læse mindre, men lære mere? Og det er op ad bakke – allerede i 1977 viste man at reviewere på videnskabelige artikler er mest negative overfor studier, der viser noget andet end forventet.  Vi er som forskere eksperter i fortiden, men amatører i nutiden, så vi fastholder hinanden i fortidens cementerede kanon.  Yngre forskere rapporterer f.eks. om udbredt brug af falske medforskere, pseudo-vejledere og påtvungne referencer i forskningsansøgninger. Og når de er færdige med deres forskning presses de forskningsledere til at booste og sælge resultater, der ikke altid holder vand: 37 % af videnskabelige ”breaking news” holder ikke viste en undersøgelse fra Mayo Clinic.  Og offentligheden får, igen, det indtryk af forskere kan påvise hvad som helst, så hvem skal man snart stole på (se f.eks. Is everything we eat associated with cancer?).
Der mangler selvreflektion i forskningsverdenen når 96% af biomedicinske artikler viser statistisk signifikante resultater. Der er kun 2 forklaringer: 1) enten er vi virkelig virkelig dygtige alle sammen til at finde en passende p-værdi til selv de mest elendige studier eller også er det et resultat af 2) karrierepres og selektiv publikationspolitik, der resulterer i et hav af ligegyldige forskningsresultater. Faktisk er antallet af artikler, der har en signifikant p-værdi, 4-doblet siden 1990!   – til gengæld er antallet af artikler, der beskriver sikkerhedsintervaller, nævner sample size beregninger og eller bygger på non-parametriske tests faldet tilsvarende siden 1990. Forskerne er ganske simpelt blevet pottetrænet til en binær forståelse af patienter og sygdomme selvom vi hver dag i klinikken må erkende at patienter og sygdomme lever i meget lidt binære multifaktorielle psykosociale sammenhænge. Heller ikke i lærebøgerne på universiteterne har vi reflekteret tilstrækkeligt over skjult bias: mandlige forskere er 5 gange så hyppigt repræsenteret i study guides i forhold til hvad det burde være hvis man ser på antal, produktion og kvalitet.
”En løgn kan fare halvdelen af kloden rundt mens sandheden stadig kæmper med at få sine sko på” påstod Mark Twain og fik ret i en ny undersøgelse af spredningen af forkerte og rigtige nyheder på sociale medier offentliggjort i Science. Forkerte nyheder spredes 10-100 gange hurtige end rigtige nyheder. Som den norske historiker og tidligere forsker, nu forskningsformidler skrev i en blog, så skal de ansatte i det hun kalder kundskabsbanken tage sig alvorligt sammen, hvis de vil vinde over de alternative facts.  I forskernes småborgerlige angst for det ukendte og usikre klamrer vi os til dikotomier, de stressende små p-værdier og data som Gud.
Kundskabsbanken har officielt kun én valuta på hylden: den simple sandhed og dens tilhørende sandsynlighed. De alternative plusvarianter af sandheden er for svære for forskerne at formidle med sikker hånd i medierne, så dem gemmer vi dybt nede i bankboksen. Det giver kundskabstroldene på nettet en kæmpe hjemmebanefordel, for de ved godt, og kan bedre leve med-, at sandheden er en social konstruktion. Sandheden kan være kompleks for en forsker, men den består stadig af simple sandheder der er stablet oven på hinanden. Dén sandhed er det kun forskerne der kan levere. De ansatte i kundskabsbanken skal op af kælderen, ud i medierne, tale dansk & tage de tæsk, der kommer når man skal formidle og popularisere forskning - ellers vinder kundskabstroldene, med medierne som engagerede vandbærere.
3 læger, der optræder i et TV program på DR1, hvor de skal dyste mod 3 internet Google nørder om at finde den rigtige patientdiagnose, får tæsk for at miskreditere lægefaget – i øvrigt af en lægekollega, der egentlig ikke har set programmet. Den slags kollega-bashing er et udtryk for en videnskabelig arrogance, der har rødder i det videnskabelige kastesystems kanon. De 3 læger kan selvfølgelig opfattes som selfie linselus mere end læger, men det ændrer ikke på at giver seerne en indsigt i ellers skjulte beslutningsprocesser: hvordan læger systematisk indsamler og bearbejder viden, der sammen med evidens og fakta, fører til sandsynlige diagnoser – og alternative diagnoser. Vi har som vidensarbejdere, læger og forskere en pligt til at reflektere over vores egen virkelighed og vores eget bidrag til at styrke troldehæren af fakenews formidlere – også selvom sandheden kommer i 6 varianter som man så det med de nye amerikanske guidelines for hypertensionsbehandling. Data er ikke kun sandhed og sandheden er ikke altid så smuk, men dét er til gengæld hungeren efter sandheden. Hvis vi som læger og forskere synes vi kan bidrage til sandheden, så må ud og slås for den dér hvor den defineres: i offentligheden og med åben pande uden fortidens kanoniserede vraggods – om det så er dikotomisering af virkeligheden eller religion. For som Neil deGrasse Tyson siger: “Evidence collected over many years, obtained from many locations, indicates that the power of Prayer is insufficient to stop bullets from killing school children”.
Der er nok hverken forskere eller politikere, der tør stille op til en seance som den i det Nordlige Uganda, men det gjorde de unge modige lægeforskere fordi de ville gøre en forskel for deres region. Hvis vi vil genoplive forskningens troværdighed og skabe en ramme for dialog mellem forskere, politikere og befolkningen om evidens, fakta og de mange sandheder så er modellen fra Uganda den eneste vej – lad være med at være så bange for dialogen – vær bange for den troldehær der er ved at forvanske hele ideen om at der findes viden der er til alles bedste.

Referencer
1. Steven Shapin and Simon Schaffer (1985). Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life (Princeton Univ Press, Princeton) http://www.fes-sociologia.com/files/res/18/13.pdf

Ingen kommentarer:

Send en kommentar