Evidens i global sundhed (4): en global epidemi

Fakta er blevet hver mands eje og er ikke længere forbeholdt de få. Fakta er det drivmiddel, vi bruger når vi skal sælge alt fra parfume til politik, fra sæbe til sundhed. Men der er tiltagende bekymring blandt dem der producerer fakta og dem der kontrollerer fakta, for fakta forekommer oftere og oftere i en discount kvalitet, som ikke ser ud til at bekymre den almindelige fakta forbruger. Er der en epidemi af faktuelle løgne og er vi blevet immune overfor den? At der i nogle globale sammenhænge har været tale om epidemier af bevidst falske ”fakta” er der dokumentation for f.eks. i Iraq: the war card og de fleste større TV medier har løbende opgørelser med fakta check af informationer i de offentlige medier, som f.eks. Truth-o-meter, der den 23. august kunne komme med følgende opgørelse af 143 gennem-checkede ”fakta”, der var blevet præsenteret for offentligheden:

Resultat af fakta check	Antal (%)
Sande udsagn: Overvejende sande udsagn: Halve sandheder: Overvejende usande udsagn: Usande udsagn: Decideret falsk udsagn:	20 (13.98%) 32 (22.38%) 31 (21.68%) 32 (22.38%) 23 (16.08%) 5 (3.5%)
TOTAL:	143 (100%)

Kilde: Politifact august 2013

Der er stadig ikke nogen der har turdet starte en fakta checker på sundhedsområdet eller indenfor lægevidenskab, men at dømme efter hvor mange falske fakta, der er i omløb, indenfor stort set alle andre fagområder, så kunne det måske være sundhedsfremmende at gøre det.

Ifølge Nature’s editor Henry Gee (læs: The Accidental Species: Misunderstandings of Human Evolution), så fanges (Læge-) videnskab oftere i faktuelt baghold i en kløft og må skyde sig fri end Billy The Kid, foretager flere hasarderede U-vendinger end en gennemsnitsregering og får generelt altid fat i de forkerte svar. Det er, siger han, bare business as usual: alle videnskabelige resultater er provisoriske og kan ikke være andet. Konrad Lorenz , Nobelprismodtager, østrigsk filosof og psykolog, sagde om fakta i videnskab: ”Sandheden i videnskab kan defineres som den arbejdshypotese, der er bedst egnet til at åbne vejen til den næste sandhed”. I morgen kommer der en anden forsker med nye metoder, nye teorier og mere nuancerede måder at se gamle problemer på, og som konkluderer at det vi troede var fakta nu er forsimplet, tilhugget eller ligefrem skrupforkert viden.

Problemet for den almindelige fakta forbruger er, at forskere bilder os ind, at videnskab er en ensrettet gade med en fremadskridende proces hvor fakta hobes op og en tiltagende klarhed breder sig mens uvidenheden langsomt forsvinder som morgenduggen. I realiteten, siger Henry Gee, så sker der det stik modsatte: jo mere vi finder ud af, jo mere tydelig bliver vores uvidenhed og jo mere vækkes en grundlæggende angst i os. Aldrig i menneskehedens historie har så mange vidst så lidt om så meget, siger han, og det i en tid hvor fakta er noget man slår hinanden med. Løsningen er ikke flere dobbelt blinde randomiserede trials eller Cochrane reviews, men derimod en erkendelse af at der er meget vi ikke ved vi ikke ved og at enhver teori er til diskussion, også dem vi, eller nogle af os, tror klippefast på.

Videnskabelige undersøgelser ender ikke med hellig gral af fakta, men derimod en noget mere (politisk) uhåndterlig størrelse: et estimat af en sandsynlighed. Vi kan ikke med videnskaben svarer ”ja” eller ”nej”, men derimod sige hvad chancen er for at det vi har fundet er et ”decideret falsk fund”. Det betyder jo ikke at vi har fundet det rigtige svar. Videnskab kan rådgive om hvad der er muligt og om det er sandsynligt, men fortolkningen af muligheden og sandsynligheden er fuldstændig op til den der læser og bruger den videnskabelige viden: journalisten, politikeren, pensionisten eller skoleeleven. Medier og politikere vil have ”ja” eller ”nej” videnskab og når de nu ikke kan få det, så vælger de selv at tolke videnskab i sort/hvidt lys.

Forventningen om at videnskabsfolk skal komme med definitive sandheder stammer måske fra efterkrigstidens mange definitive og ”guddommelige” samtidige mirakler: penicillin, radaren, plastik, jetmotoren, teflon, vacciner, transistorer og DNA strukturen. De knækkede de store gåder og atomets hemmeligheder. De var dem, der var de rigtige raketvidenskabsfolk, heksekunstnere og guddommelige og de blev aldrig udfordret eller draget i tvivl. Vi blev forført af dem! Ikke længe efter så vi bagsiden af videnskaben, da dens røgslør havde lagt sig: forurening, miljøgifte, fødselsskader, global opvarmning og antibiotika resistens. Måske var videnskabsfolk ikke så guddommelige som vi troede – det var ikke alle deres ideer der var lige gennemtænkte og entydige. Det blev klart at videnskabsfolk slet ikke er enige om kvaliteten af videnskaben og slet ikke om anvendelsen af dem eller om de grundlæggende teorier nu var så entydige. Og hvis de ikke kan blive enige med sig selv, hvorfor skulle almindelige fakta forbrugere så tillægge dem troværdighed?

Og nu hvor videnskabsfolk er blevet frataget deres eneret på fakta, så er vejen åben for enhver fakta freak, der har sin egen fortolkning. Bare fordi videnskabsfolk ikke var ærlige nok til at sige at videnskab ikke handler om sandheden, men om tvivl og teorier, om argumenter og debatter og om fejlslagne forsøg. Der udkommer aldrig en DVD med fraklip eller kommenterede bag scenen optagelser af uenigheder, usikkerheder og krig mellem forskergrupper. Der mangler nogle videnskabelige journalister, der formår at gå i kødet på forskerne på samme måde som politiske journalister går i kødet på politikere – en Hard talk gennemprygling for åben skærm. Men det kommer nok ikke til at ske – i hvert fald ikke så længe forskere får lov til at bevare en aura af guddommelig autoritet på fakta området. For en forsker er der ikke tale om kritik, når deres fund bliver draget i tvivl – nej, så er der tale om blasfemi. Videnskab er en religion, der ikke kan gøres til genstand for debat. Og så længe lægevidenskaben er bannerfører for faktuel urørlighed, lige så længe kan politikere og journalister med sindsro opfinde deres egne fakta. Og befolkningen er også ramt af epidemien: vi er kommet til at elske halve og kvarte sandheder, mere end hele sandheden. 

Evidens i global sundhed (3): sæt evidensen på stand-by

Evidens i global sundhed (3): sæt evidensen på stand-by

Forskere får ofte at vide af politikere, at hvis de ønsker at diskutere politik – så bliv politiker. Så forståelsen af den proces, hvor noget evidens anvendes i beslutningsprocessen, mens anden evidens ikke gør, kan måske hjælpe os med at kommunikere med beslutningstagerne. Som forskere må vi nok indse, at politikerne aldrig vil komme og møde os på forskningens præmisser. Hvis vi ønsker at møde dem og interagere med dem vil det være på deres præmisser på i deres banehalvdel og på deres sprog. Det kan ikke nytte, at vi er tøsefornærmede over at politikere ikke forstår, at der er et højt evidens niveau for at et forbud mod motorcykelkørsel fredag til mandag vil øge middellevetiden. På den anden side bør vi heller ikke lade politikerne bestemme alle præmisserne for samtalen.

Desværre er det, hvad vi gør nu: Når globale politikere og Gates Foundation siger poliovaccine – så vi siger også poliovaccine. Når politikere siger brugerbetaling – så vi siger brugerbetaling , og når de siger mere evidens, siger vi mere evidens. Hvordan kan det være at sundhedsproblemer som diarré, prostata kræft og trafikulykker ikke har X-faktor og sundhedstiltag som håndvask og styrthjelm er kedelige og ”lav politiske”, mens HIV og poliovaccine få al den globale ”stor politiske” opmærksomhed?

Som forskere er vi blevet en minoritet i diskussioner om sundhed og sygdom. Sommetider vil beslutningstagere bare ikke have vores forskning : vore resultater er ikke entydige, de støjer, de er svære at håndtere politisk og de er pakket ind i et af antagelser og forholdsregler, som trætter politikerne. Og selv politikerne er gået hen og blevet en minoritet i forhold til de globale beslutninger om sundhed: de ikke-statslige aktører som Bill og Melinda Gates og Verdensbanken har overtaget scenen og sætter nu dagsordenen for hvad politikerne skal beslutte. Den der har grisen har prisen. Det ved forskerne, og nu også politikerne.

Vi glippede den perfekte mulighed for at producere den slags evidens, verden skriger på, ved ikke at bede om en systematisk dataindsamling til overvågning af alle de stærkt politisk styrede, indgreb der kom i forbindelse med Millenium Development Goals (MDG). Børnedødeligheden er faldet drastisk siden millenniumudviklingsmålene blev lanceret. Børnedødeligheden falder nu selv i lande, som vi havde givet op overfor, men fordi vi ikke havde gennemslagskraft og sov i timen, er vi, forskere, ude af stand til at forklare hvorfor dødeligheden falder. Politikerne, beslutningstagerne og donorerne er bedøvende ligeglade med årsagerne, så længe der bare er lande der bevæger sig mod målene. Vi glemte at gøre vores forsknings hjemme arbejde. Vi glemte at overvåge hvad der foregik, fordi vi var for langt væk fra beslutningsprocessen og da vi endelig kom tættere på var festen var forbi og 2015 står for døren. Det er os forskere der skal komme med svaret på hvad der skete, det er nemlig forskning. Det kan vi bare ikke, fordi vi ikke sad med ved bordet hvor beslutningerne om prioriteringer blev taget i år 2000.

Global sundhed er dybest set en retrospektiv kunstart og kan sjældent producere realtime data. Malaria forekomsten er faldet drastisk i tropiske lande og nu står alle, fra WHO til The Gates Foundation og medicinalindustrien, i kø for at tage æren. Fordi forskerne glemte at være forskere, har vi nu overladt evidens kamppladsen til de aktører der har behov for at fortælle succes historier om deres egen indsats. Det er ikke evidens de leverer, men de gentager deres historier så mange gange og med så stor gennemslags kraft at de får det til at se ud som, og lugte som-, evidens. Men nogle undersøgelser har vist, at faldet i malaria forekomst og dødelighed i høj grad kunne forklares af den hurtige og massive urbanisering der er sket de sidste 15-20 år, sjovt nok samtidig med investeringerne i MDG. Måske har vi skabt et globalt sundhedsproblem af ukontrolleret urbanisering, mens vi samtidig, helt u-planlagt, er sluppet af malaria. Vi vil aldrig være i stand til at fortælle sandheden, eller lære af den. I stedet har vi givet beslutningstagere lov til fri leg på evidens legepladsen.

Forskere skal stoppe med at hyle over ikke at blive hørt og i stedet opføre sig som voksne forskere: gå tilbage til jeres laboratorier, stop hvad I plejer at gøre i 6 måneder, og vær i stedet ægte videnskabsfolk: analysér de forløb, der førte til at Jeres viden blev brugt og tænk over hvilke store spørgsmål, der stadig er ubesvarede indenfor jeres felt. Ligesom Tanzania erklærede en 6 måneders pause fra udenlandske hjælpeorganisationers missioner, burde forskere erklære en 6 måneders pause i produktionen af tidskrævende rutine evidens og i stedet engagere sig i et konstruktivt samarbejde på tværs af forsker- og faggrupper. Vi burde diskutere, hvorfor det tog 10 år at overtale WHO at vedtage imprægnerede myggenet, hvorfor håndvask er stadig så kedeligt og hvorfor vandpumper er sværere at vedligeholde end en bil på Mars. Nogle sundhedsmæssige problemer, og et par sundhedsmæssige interventioner, har en meget høj politisk X -factor, men de fleste kommer aldrig forbi første audition, og dør som anonyme døgnfluer.

Som Atul Gawande, et folkesundheds forsker bemærker i New Yorker Annals of Medicine i artiklen Slow ideas fra 2013: "Vi jagter gnidningsfri og teknologiske løsninger. Men mennesker, der taler med mennesker, er stadig den måde normer og standarder forandres på". Det er, hvad global sundhed handler om: mennesker løser problemer – ikke evidens. Som Einstein måtte konstatere: man kan ikke løse et problem med det samme tankesæt, der skabte problemet.

Evidens i global sundhed (1) Evidens løser ikke problemer – det gør mennesker

Evidens er blot et redskab til at overbevise andre mennesker, om at du som forsker, har ret . Det har intet at gøre med innovation, originalitet eller videnskabelige milepæle. Et nyt computersoftware er for øjeblikket ved at blive udviklet , og som kan producere Cochrane reviews automatisk – så meget for evidens: det er kun en måde at organisere og præsentere resultater på. Softwaren kan gøre det på under 10 sekunder, mens det tager en forskergruppe 1,5 år at lave et review.

Det er et grundlæggende problem at vi ikke har gjort os klart at der er to lag i forskning: et beskidt uforudsigeligt lag hvor ideerne kommer fra og så et pænt og ordentligt evidens lag der forsøger at skille skidt fra snot i de mange ideer der kommer fra det beskidte lag. Mange vil slet ikke kendes ved det beskidte lag, især ikke forskningsfonde og videnskabelige tidsskriftredaktører. Men det er en stor fejl og medfører ofte at de store kvantespring i erkendelse der ryster og flytter vore grundlæggende hypoteser forsinkes, eller aldrig får gennemslagskraft. Problemet er, at den forskning vi hylder og finansierer i praksis ikke bringer os ret meget videre. Den måde evidens produceres på i dag kan en robot gøre både bedre, mere sikkert og hurtigere : det handler om rutiner, stramme metoder, Randomiserede Kontrollerede Trials (RCT)  og om retningslinjer for god klinisk praksis (GCP ) . Vi har glemt, at den reelle forskning, den der leverer brændstof til evidens motor, skabes uden for laboratoriet , langt væk fra stram forskningsmetodologi, RCT, GCP etc. . Forskning, der skaber nye veje, nye hypoteser og nye modsætninger er uforudsigelig og  u-planlagt. Den opstår når vi snubler over ”forkerte” resultater, uventede observationer, når vi observerer mærkelige mønstre, og når stiller de rigtige spørgsmål: når nu mit resultat er mærkeligt hvad betyder det så for min teori? Så måske skulle vi aktivt beskytte og nære de forskningsmiljøer, der producerer de resultater, som evidens forskningen lever af. Uden nysgerrighed ikke grundlag for evidens.

Et andet grundlæggende problem i diskussionen af evidens er, at der er en grundlæggende misforståelse af, hvad der skaber god videnskab, og hvordan det bliver til evidens. Et hyppigt gengivet citat, af uvis oprindelse, er: "Anekdoter i flertal er ikke evidens", men i virkeligheden, viser det sig, at det oprindelige citat faktisk var det stik modsatte: "Anekdote i flertal er fakta". Enhver videnskabelig opdagelse starter med en anekdote og så endnu en anekdote, og pludselig aner en forsker et mærkeligt mønster mens han diskuterer anekdoterne på en café med den ven, der pudsigt nok kommer i tanke om en tredje anekdote. Og så har forskeren ideen til sit forskningsspørgsmål. Desværre er det ikke en del af forskningsprocessen der tiltrækker Nobelpriser eller grundforskningsmidler. At det også handler om personlighed og stædighed vidner f.eks. historien om DNA strukturen om: Den første der opdagede DNA dobbelt helix strukturen fik aldrig æren for det fordi han var en isoleret og lidt usympatisk type, der nødigt  delte sin viden med andre og som havde svært ved den megen modstand. Dem der fik æren senere var sympatiske og inkluderende og lidt stædige trods modstand i starten. GCP og RCT studier synes at være at vinde finansieringen slaget over anekdoter. Vi tillader videnskabelige tidsskrifter og finansieringsorganer til at vælge, hvad forskning er, og hvad det ikke er: hvis du finder noget, du ikke har planlagt, er det ikke er forskning. Jamen hvorfor så lave forskning hvis det kun handler om at vise det vi i forvejen ved? Hvis du finder noget , der mangler en biologisk forklaring, er det ikke forskning. Jamen, hvad nu hvis den biologi vi kender er mangelfuld…..eller helt forkert på nogle punkter. Er det så et legitimt argument at et fund ikke er biologisk plausibelt? Er det ikke en destruktiv videnskabelig holdning at insistere på at det trods alt stadig begrænsede, indblik vi har i biologien udgør det plausible og alle fund der modsiger eller ryster ved det er utroværdige? Hvem er det egentlig man gør en tjeneste ved at fastholde at der er en absolut sandhed om biologien og at nye fund kun kan vurderes på denne skala? Tænk, hvis man, på et konservativt biologisk grundlag, afviser forskning, der f.eks. viser tegn på et hidtil ukendt immunologisk system, der måske kunne danne basis for nye måder at styrke immunsystemet eller som an forklare og behandle de sygdomme der formentlig har en inflammatorisk årsag eller komponent (senest nævnt i forbindelse med f.eks. Alzheimers sygdom).  Forskere har en tendens til at tænke deres job er afsluttet, når de har offentliggjort deres evidens i et papir. Evidens er den letteste del af forskning - sælge dine evidens er dit rigtige opgave - forskerne nødt til at indse det.

Forskere producerer for meget medievenlig rutine evidens og for lidt uventet viden. I et systematisk review med titlen " Er alt forbundet med kræft ? ", har man set på alle undersøgelser vedrørende fødevareingrediensers association med kræftrisiko. Reviewet kunne konstatere, at over 75 % af ingredienserne havde været relateret til enten øget eller nedsat risiko for kræft. Størstedelen af undersøgelserne var faktisk metodologisk svage og ufyldestgørende og dermed ubrugelige. Vi har trængt os selv op i krog med stadig mere snæversynede forskningsspørgsmål og man kan spørge sig selv om forskere ikke er i et ekkorum hvor vi gentager hinandens mantraer og laver den forsknings vi kan få finansieret i stedet for at stille de nødvendige forsknings.

En af de ting, vi har lært om de globale epidemier i de seneste tre årtier, er, at det er helt afgørende at man kender sin epidemi – det betyder: hvilke kræfter, styrer epidemien?  Det lærte vi på den hårde måde gennem HIV, fugleinfluenza og SARS. Vi stå nu i øjeblikket over for en helt ny og mærkelig epidemi – en epidemi af fravær - nemlig fraværet af stærk ny viden og evidens fra den offentlige debat og især fra politiske beslutninger.

Evidens i global sundhed (2): Den tredje kultur

Et af de mest brændende spørgsmål i global sundhed er, hvordan vi får overbevist politikere om at videnskab er et godt grundlag for holdbare beslutninger om sundhed.

Hvilke faktorer der er vigtige for at fremskynde denne proces er beskrevet i en ny artikel af Dubois og kolleger (When is evidence sufficient for decision making?), som blev offentliggjort tidligere i år, hvor de gennemgår flere cases. Formålet var at identificere hvornår evidens er tilstrækkeligt til at beslutningstagere tør bruge det og de prøver at opstille en ramme for forståelsen af det, ofte meget forskellige, tempo ny viden bliver til en konkret politisk beslutning.

Forfatterne fandt fem afgørende faktorer: 1 ) ikke-forskeres opfattelse af det videnskabelige grundlags gyldighed , pålidelighed og hvor ”modent” det  fremtræder, 2) formidling af videnskaben, 3 ) økonomiske drivkræfter , 4) patienters og lægers evne til at anvende publicerede videnskabelige resultater til specifikke kliniske behov, og 5) inkorporering i praksis retningslinjer . Desværre blev denne forskning baseret på temmelig lige fremme biomedicinske interventioner som statiner, knoglemarvs behandling af bryst kræft og hjerte-stents, der trods alt repræsenterer færre potentielle moralske, religiøse eller sarte politiske undertoner (som f.eks. prævention, hiv behandling eller DDT bekæmpelse af malariamyg). Problemet i global sundhed er, at det er meningen det skal handle om globale løsninger, men mange interventioner på globalt plan bremses, eller forhindres, ofte af landespecifikke og regionale beslutninger, der følger meget forskellige-, usynlige- og uforudsigelige stier. For at forstå, hvordan vi kan sikre at flere politiske beslutninger baseres på viden, skal vi fokusere en del af forskningen netop på de mangeartede globale politiske og sociale faktorer, der bremser beslutninger baseret på aktuel viden.

Selvom verden kræver evidens, så er det i virkeligheden ofte kravet om evidens, der stopper innovation og forsinker indførelsen af ​​nye teorier. Evidens kan nok hjælpe os med at forstå fortiden, men kommer i vejen når vi gerne vil forsøge nye sundhedsinterventioner, eller teste det vi allerede, måske ved fejl, har indført som rutinebehandling. At vi forstår vigtig evidens betyder ikke automatisk, at vi ved, hvordan man løser vigtige sundhedsproblemer. Evidens er lige som round-up i haven: det virker kun 3-4 uger, så kommer den beskidte virkelighed tilbage og kræver ny forskning. Selvom der er 117 randomiserede dobbeltblinde studier med klare resultater, betyder det ikke, at beslutningstagerne er enige, at de forstår betydningen eller at de er motiverede til at bære evidensen ind i det rum, hvor politikere beslutter sig for eller imod et nyt sundhedstiltag. Videnskab er en ting, evidens er noget helt andet, og beslutningstagerne hører til et tredje miljø med en fremmed tankegang. Beslutningstagere er ikke særligt ambitiøse eller godt informeret. Politikere gør, hvad de er bedst til: De kan lide idéer, der er nemme at forstå og sælge til i offentligheden, og de ​​kan lide idéer, der kan placere dem og definere dem tydeligt i det politiske miljø. De tager gerne bekvemme småbidder fra forskningen uden hensyn til forbehold og præmisser for resultaterne. Hvis man vil dét til livs kan et kort videnskabeligt forsknings resumé placeret i de rette hænder i det rette forum, på det rigtige tidspunkt få langt mere effektiv gennemslagskraft end en artikel i Nature.

Vi har brug for forskere, der begynder at opføre sig som forskere ved at analysere deres egen gennemslagskraft i forhold til beslutningstagere, lidt bedre. Vi, forskerne, sidder fast i et videnskabeligt ekko kammer, hvor forskerne let kan blive enige om, at der foreligger den nødvendige videnskabelige dokumentation, og vi er enige om, at vi føler os lammede og ignorerede af beslutningstagerne. Men i virkeligheden er vi ikke så enige om hvad der er evidens for og vi selv er uenige om forudsætninger, ja nogle gange endda uenige om de grundlæggende teorier: "Det er ikke forskning ", " Det er ikke er biologisk plausibelt ", " Det var ikke en planlagt undersøgelse " er hyppige kommentarer fra reviewere på videnskabelige tidskrifter og forskningsfonde. Der er ingen ankeinstans for disse afgørelser, som, hvis man skal være lidt fræk, selv savner ethvert evidens grundlag. Vi er nødt til at tage det fulde ansvar for vores evidens - det betyder enighed om teori, resultater, fortolkninger og det betyder at bringe evidensen, og manglen på samme, ind i de rum, hvor beslutningerne træffes – også i forskningsfonde og på videnskabelige tidsskrifter.

I 1996 offentliggjorde John Brockman sin bog The Third Culture, et begreb, der beskriver det manglende led mellem naturvidenskab og humaniora. Brockman genoplivede i virkeligheden et begreb, som C.P. Snow beskrev det allerede i 1959 (C. P. Snow, The Two Cultures and the Scientific Revolution (Cambridge Univ. Press, New York, 1959). Den tredje kultur er dannet omkring den gruppe af forskere, der også er forfattere og formidlere, som kan tale til alle, og dermed omsætte viden til ord og argumenter. Den tredje kultur henvender sig til et bredere publikum. Forskere nødt til at tilegne sig den tredje kultur, hvis vi vil tages alvorligt i den offentlige debat. Traditionelt har der været en slags kamp mellem naturvidenskab og humaniora. Af uransagelige årsager er de gensidigt udelukkende argumenter. Når vi vælger den ene side, ofrer vi automatisk den anden. Der er også tale om visse stereotyper, hvor naturvidenskabelige forskere er ude af stand til at tale på et sprog for almindelige mennesker (undertiden bliver de kaldt asociale og tilhørende en helt anden verden), mens humanister skriver bøger, romaner, til den normale verden, historier, der typisk er skrevet for at hele verden skal forstå dem. Kort sagt, er den generelle stereotype, at en naturvidenskabsmand kun kan kommunikere med succes med andre forskere, mens en humanist har alle i den "normale" verden som mål for sin pen. Lægevidenskabelige forskere burde også have hele verden som mål, ellers kan vi lige så godt gå hjem og grave et hul i haven, tage en stol, og sætte os og kigge ned i hullet før vi fylder det op igen. 

Global health: One size doesn't fit all

Evidence based decisions in global health

Inspiring and informing policy and practice on global health issues to enhance evidence-based decision making

7th European Conference on Tropical Medicine and International Health, Copenhagen 10.-12. September 2013.

Morten Sodemann

Evidence doesn’t solve problems – people do.

Evidence is just a tool to convince other people that you are right and has nothing to do with innovation, originality or giant scientific steps. A new computer software is currently being developed that can produce Cochrane reviews automatically – there is evidence for you!

The problem is that the way evidence is produced today any robot can do it: its all about routines methodologies, RCTs and guidelines for good clinical practice (GCP). We have forgotten that the real research, the food for the evidence engine, is created outside the lab, far away from GCP. Research is about stumbling over interesting  un-expected observations, we observe strange patterns, we get the wrong result but ask the right question: why do I get the wrong result. So maybe we should actively protect and nourish the curiosity driven research environment that feeds the evidence environment. Without curiosity no basis for evidence.

One basic problem in the discussion of evidence is that there is a basic misconception of what creates good science and how this becomes evidence. A frequently cited quote of uncertain origin says: “The plural of anecdote is not evidence”, but in fact it turns out that who ever said it first actually said the complete opposite: “The plural of anecdote is fact”. Every scientific discovery starts with an anecdote and another anecdote and a researcher suddenly seeing a strange pattern while discussing the anecdotes in a coffee shop with the friend that just told the third anecdote. Unfortunately GCP and RCT studies seem to be winning the funding battle over the anecdotes. We allow scientific journals and funding agencies to choose what research is and what is not: if you find something you didn’t plan it is not research. If you find something that lacks a biological explanation it is not research.

Researchers tend to think their job is finished when they have published their evidence in a paper. Evidence is the easiest part of research – selling your evidence is your real task - researchers have to realize that.

It is a problem that we produce too much media friendly routine evidence and too little unexpected evidence. In a systematic review asking “Is everything associated with cancer?”,  looking at all studies relating food ingredients to cancer risk it was found that over 75 % of ingredients had been related to either increased or decreased risk of cancer. The majority of the studies were in fact weak and inconclusive and therefore useless. We have cornered ourselves with increasingly narrow minded and echo like research questions with taking the time to realize that we are extremely bad at communicating and selling evidence to the public.

Key influencers are considered in a recent paper by Dubois and colleagues published this year in a paper where they study when evidence is sufficient for decision-making and come up with a framework for understanding the pace of evidence adoption.

Five factors stood out: 1) validity, reliability, and maturity of the science available before widespread adoption; 2) communication of the science; 3) economic drivers; 4) patients’ and physicians’ ability to apply published scientific findings to their specific clinical needs; and 5) incorporation into practice guidelines. Now, unfortunately, this research was based on fairly straight forward biomedical interventions like statins and cardiac stents that do not represent potential moral, religious or delicate political undertones. The problem in global health is that it is meant to be global and that many interventions at the global level face country specific and regional barriers that follow invisible and unpredictable paths. To understand how we can enhance evidence based decision making, we need a research field that focuses on these invisible global counter productive factors that slow down the pace of evidence adoption.

Though the world demands evidence, in fact it is often evidence itself that stops innovation and slows the adoption of new theories. Evidence can help us understand the past but gets in our way when we are trying new things. Just because we understand important evidence doesn’t mean we know how to solve important problems. Just because there are 117 clear RCT results it doesn’t mean that decision makers agree, understand or are motivated to carry the evidence into the room where decision makers do their decision making. Science is one thing, evidence another, but decision makers belong to a different environment with an unfamiliar mindset. Decision makers are not particularly ambitious or well informed. Politicians do what they are best at: They like ideas that are easy to understand and sell to the public and they like ideas that can position them and define them distinctly in the political environment. A short scientific executive research brief in the right hands, in the right room, at the right time can far more impact than a paper in Nature.

A comment in a US newspaper titled “Fact is dead” started a global series of newspaper articles and blogs on the way our precious and only asset: research results, had disappeared completely from the face of the earth. Everybody seems to have the right to their own data and their own explanations.  The media, the web, research spin and a failure of the entire research community to realize that we have been shunted out of the decision circles has created this situation. There is no need for evidence any more – we have enough evidence already, seems to be the political opinion - and with modern communication technology decision makers can combine existing evidence and present it as well tailored new evidence that supports their political arguments. Fifty per cent of media spin can be traced back to the abstract of the scientific paper, so scientist have been very instrumental in creating a media environment where facts are in effect dead.

We need researchers that start behaving like scientists by analyzing their situation in relation to decision makers a little better. We, the scientists, are stuck in a scientific echo chamber where we all agree that evidence is available and we agree that we feel paralyzed and ignored by decision makers. But in fact we don’t really agree to all evidence and we even disagree on the presumptions, sometimes  even the basic theories: “that is not research”, “that is not biologically plausible”, “that was not a planned study”, are frequent comments from reviewers of research. We need to take full responsibility of our evidence – this means agreeing on theory, results, interpretations and it means bringing the evidence into the rooms where decisions are made.

Researchers are often told by politicians: If you want to discuss politics – become a politician. So, understanding the process by which some evidence is used in decision making while other evidence is not, could help us in communicating with decision makers. As researchers, we will have to realize that politicians will never come and meet us in the research department. If we want to meet them and interact with them it will be on their terms in their playfield and in their language.

One of the things we have learnt about global epidemics over the past three decades is that it is absolutely crucial to know your epidemic – what are the forces that fuel the epidemic. We learned that the hard way through HIV, bird flu and SARS. We are currently facing a new strange epidemic of absence – namely absence of evidence from public discussion and especially from political decisions.

When politicians say polio – we say polio. When politicians say user fees – we say user fees, and when they say more evidence we say more evidence. How come diarrhea, traffic accidents  and handwashing are boring and low politics while HIV and polio vaccine get all the attention?

As scientists, we have become a minority in public health discussions and decisions. Sometimes decision makers just don’t want our research: it is noisy, uncontrolled and have a lot of assumptions and precautions built into the evidence. And even politicians have become a minority in terms of global health decisions: the non-governmental players like Bill and Melinda Gates and The World bank have taken over that scene.

We missed a perfect opportunity to produce the kind of evidence the world is screaming for by not asking for a data collection system to monitor interventions and effects. Child mortality has fallen drastically since the MDGs were launched, now even in countries that we had given up on, but we forgot to do our research home work: We forgot to monitor was was going on because we were too far away from the decision making and when we finally got closer the party was over.

Likewise global health is basically retrospective and rarely real time. Malaria prevalence has fallen dramatically in tropical countries and everybody, from WHO to The Gates Foundation and the drug industry, is queuing up to take the credit. But some studies have indicated that it could be explained entirely by the massive urbanization that has happened over the past 15 years. Maybe we have created a global health problem by uncontrolled urbanization while we UNPLANNED at the same time got rid of malaria. We will never be able to tell the truth, or learn from it, because scientist never anticipate or want unexpected observations.

In 1996, John Brockman published his book The Third Culture, a term describing the missing link between science and humanities. The third culture is formed around the group of scientists who are also writers and communicators that can talk to everybody and thereby transform knowledge into words and arguments satisfying to a broader audience. Researchers need to adopt some of this third culture if we want to be taken seriously. Traditionally there has been a sort of struggle between science and the humanities. For some reason we are opposed and mutually exclusive arguments, that when we choose one side, the other automatically sacrifices. And there are certain stereotypes, while scientists are, according to the stereotype, unable to speak in a language for ordinary people (sometimes calling them unsociable), humanists write books, novels, to the normal world, stories typically made for the world to understand them. In short, the general stereotype is that a scientist can only communicate successfully with other scientists, while the humanist has everyone in the "normal" range of his pen.

In my view researchers should stop weeping and behave like adult scientist: go back to your labs, stop whatever you are doing there for 6 months  and be scientific about it: analyze successful use of evidence within your research field in decision making. Like Tanzania declared a 6 months break from Foreign aid missions we shall declare a 6 months break in producing time consuming routine evidence and instead engage ourselves in constructive collaborative research seminars where we discuss why it took 10 years to persuade WHO to adopt impregnated bed nets, why hand washing is still so boring and why water pumps are more difficult to maintain than a car on Mars. Some health problems and a few health interventions have a very high political X-factor, but most never make it beyond round one.

I suggest we start behaving like scientists: we should analyze successes and failures in selling our evidence to decision makers. Is it the evidence or the wrapping that is our problem?

We should start communicating like the third culture and learn the language and dynamics of politics through a scientific process:

What were the determinants, the risk factors and confounders for convincing a politician?

Where and by whom are decisions made?

Some innovations spread fast, almost too fast. But how do we speed up the ones that don’t spread so fast.

As Atul Gawande, a public-health researcher, observes in the New Yorker Annals of Medicine earlier this year  "We are chasing frictionless, technological solutions. But people talking to people is still the way that norms and standards change."

That is what global health is about: evidence doesn’t solve problems – people do.