interviu cu dr.
Johannes C. Vester (Germania)
– Cât de
important este să stăpâneşti statistica, atunci când practici medicina?
– Cred că foarte important este să ai o
minimă înţelegere a lucrurilor care se întâmplă „în spatele cortinei“… Nu
trebuie să foloseşti matematica, algebra. Trebuie doar să ştii despre ce este
vorba. Dacă stai să te gândeşti, aproape toate tratamentele acceptate de
autorităţile de reglementare se bazează pe studii clinice de un fel sau altul. Şi
pe rezultatele produse de statisticieni. E important deci să ştii ce fac aceştia.
Dar contează şi în cazul în care studiezi literatura de specialitate şi vrei să
iei o decizie: ce articole sunt valoroase, de un nivel înalt, cu rezultate
incontestabile, şi unde trebuie să fii prevăzător, unde informaţiile nu sunt
suficiente sau ceva din interpretarea finală nu este tocmai corect. Te ajută
deci să abordezi responsabil medicina, pentru propriii pacienţi, dacă stăpâneşti
măcar noţiunile de bază asupra modului în care sunt prelucrate rezultatele.
– Atunci
când citeşti un articol dintr-o revistă ştiinţifică, găseşti tot felul de
cifre… Cum ar trebui un medic practician să discearnă valorile corecte de cele
greşite, făcând totodată abstracţie de „zgomotul“ cifrelor lipsite de semnificaţii?
– Recomandarea mea este testul statistic
propriu-zis. Orice tip de prelucrare statistică ar fi, vom considera că
valorile p sunt produse de maşini. Nu
trebuie să intrăm în acest domeniu, rezervat specialiştilor. Mai degrabă
trebuie să înţelegi valorile, rezultatele acelor maşini, ce înseamnă valoarea p, ce este semnificativ statistic, dacă
lipseşte semnificaţia – înseamnă că nu există vreun efect sau ar putea să fie
vreunul? Nu este foarte complicat şi deja te transformi într-un cititor avansat
doar printr-o înţelegere a funcţiilor statistice de bază… Apoi, trebuie să vezi
dacă ţi se oferă informaţia necesară, care nu are voie să lipsească dintr-o
lucrare bine scrisă.
– Vorbind
despre valoarea p, punctul de referinţă,
în mod normal 5%, ce se întâmplă atunci când sunt implicaţi parametri multipli?
– Dacă vrei să produci rezultate semnificative
statistic în absenţa unui tratament eficace, nu este aşa greu. Pur şi simplu,
efectuezi o mulţime de teste statistice şi apoi, prin hazard, vei obţine şi
rezultate semnificative statistic. Ce ne spune valoarea p este probabilitatea de producere a unui eveniment. Cu cât îţi încerci
norocul mai mult, efectuând un număr tot mai mare de teste statistice, cu atât
mai probabil este că vei obţine acel eveniment rar, produs de hazard. Dar
semnificaţia statistică observată astfel nu are nicio valoare, tocmai pentru că
ai efectuat atâtea teste. În prezent, recomandarea importantă este să ai o
protecţie pentru întreg studiul, la nivelul celor cinci procente, ceea ce înseamnă
că, deşi rezultatul tot mai poate fi produs prin hazard, este controlat, adică
poţi face un singur test statistic pentru întreg studiul. Dacă efectuezi mai
multe teste, atunci ai nevoie de protecţie suplimentară. Dacă hazardul
intervine de mai multe ori, trebuie ajustat nivelul de semnificaţie statistică:
cu cinci teste, lucrezi cu p de 1%.
Asta înseamnă că, deşi norocul intervine în cinci variabile, întregul studiu
este protejat la nivelul de 5%. E un lucru care trebuie reţinut: protecţia
trebuie să se facă pe întreg studiul şi nu doar pe un singur test.
– Bine,
dar ce-i de făcut dacă un articol conţine doar rezultatele „bune“?
– E
o mare problemă şi o sursă de eroare… Dacă eşti o companie farmaceutică şi
dispui de mulţi bani, atunci faci 50 de studii mici. Chiar dacă medicamentul tău
nu e decât un placebo, lipsit de orice efect, prin hazard doar şi vei obţine de
la unul la şase-şapte studii, din cele 50, cu semnificaţie statistică. Le
publici pe cele şase şi nu sufli o vorbă despre celelalte 44. Aceasta este
eroarea de publicare (publication bias).
– Şi apoi, altcineva face o metaanaliză a
celor şase studii…
–
Da, dacă din cele şase rezultate pozitive faci o metaanaliză, rezultatul este
unul fals… Este de salutat faptul că autorităţile europene de reglementare au făcut
obligatorie anunţarea oricărui studiu efectuat. Să poată şti, astfel: da, bine,
ai anunţat şase studii cu rezultate pozitive, dar unde sunt celelalte 44? Dacă
unii sponsori, unele companii farmaceutice încearcă să ascundă o parte din
studii şi autorităţile de reglementare reuşesc cumva să le găsească, atunci e de
rău şi sponsorul poate avea mari probleme. Sunt cazuri în care un angajat al
unei companii farmaceutice este concediat şi se răzbună făcând publică existenţa
unui studiu ratat… E foarte important, deci, să ştii câte studii au fost
efectuate şi câte din acestea sunt semnificative statistic. Abia apoi poţi
controla acest tip de eroare.
– Ne
puteţi da câteva exemple de erori care pot afecta rezultatele studiilor
clinice?
– Există un tip de eroare, când lucrarea
publicată vorbeşte de rezultate pozitive, şi un alt tip, atunci când se vorbeşte
despre absenţa efectului cercetat. Ambele pot fi influenţate. În cazul
rezultatelor pozitive, de exemplu, se poate vorbi despre o anumită scală de
evaluare a evoluţiei pacienţilor, conform căreia rezultatul a fost pozitiv, dar
se omite faptul că s-au utilizat 32 de asemenea scale de evaluare, publicându-se
doar trei, cele cu rezultate pozitive… Într-o lucrare bună, este foarte
important să precizezi care a fost, la începutul cercetării, scala primară
stabilită pentru evaluare. Dar sunt foarte multe lucrări în care nu se menţionează
dacă evaluările publicate au fost sau nu obţinute prin algoritmi predefiniţi ca
scale primare. Nu ştii dacă au avut 30 sau 40 de asemenea instrumente de
evaluare şi au ales doar ceea ce îi avantaja. Atunci vorbim de un tip de eroare
şi rezultatul publicat nu este unul valid.
– Ce
rol joacă norocul, întâmplarea în obţinerea unui rezultat, în cercetare?
– În orice studiu avem de-a face cu întâmplarea.
De ce? Pentru că nu putem conduce o cercetare asupra a zece milioane de pacienţi
cu o anumită patologie, ci dispunem doar de un eşantion randomizat. E ca la
alegeri: dacă întrebi cinci oameni cum au votat, e prea puţin probabil că vei
putea prezice rezultatul alegerilor. Se începe, de obicei, cu 1.000 de oameni şi
cei care fac astfel de sondaje sunt buni statisticieni şi ştiu câţi oameni
trebuie să întrebe. În cercetarea clinică, dacă ai un eşantion mic, întâmplarea
joacă un rol major. Poate că nu ajungi să vezi decât rezultate norocoase… Întâmplarea
e ca vântul: te îndepărtează de adevăr. Şi efectul real pe care îl urmăreşti nu
mai poate fi observat. Trebuie să reducem posibilitatea unor rezultate întâmplătoare
prin dimensionarea adecvată a eşantionului, dar şi prin controlul factorilor
perturbatori, adică a „zgomotului“. Astfel de factori ar fi insuficienta
instruire a persoanelor implicate în studiu asupra instrumentelor de evaluare a
rezultatelor, interpretarea diferită a rezultatelor de la un centru la altul,
adică introducerea de variaţii în rezultate. Cu cât intervin mai multe variaţii,
cu atât întâmplarea domină rezultatele.
– Nu
este, cumva, o problemă, că toată lumea urmăreşte cifrele publicate? Există
opinii care susţin că statisticile nu au întotdeauna dreptate şi, în plus, că
ele nu sunt adecvate pentru o abordare holistică…
– Cu
siguranţă că statisticile nu au întotdeauna dreptate, nici nu poate fi altfel,
deoarece noi luăm deciziile. Adică obţinem o anumită valoare p şi dacă ea este sub 0,05, decidem că
ipoteza nulă nu este adevărată sau că rezultatul este semnificativ statistic. Şi
acesta este un factor de eroare – poate fi doar un rezultat norocos şi nimic
mai mult. Orice statistician, în întreaga sa carieră, face numeroase greşeli
deoarece noi nu cunoaştem niciodată adevărul. Niciun statistician nu poate să ştie
care-i adevărul. Lucrăm cu hazardul şi trebuie să luăm decizii. Ceea ce fac
statisticienii foarte bine este clarificarea ratei de eroare, dimensionarea
acesteia, fie că vorbim de rezultate fals pozitive sau de subestimarea
efectelor reale. Putem controla erorile, dar nu le putem evita.
– Ce se poate face într-un domeniu în care
este improbabil să dispui de un grup de pacienţi omogen suficient de mare? Un
exemplu în acest sens ar fi traumatismele cranio-cerebrale, patologie în care e
practic imposibil să ai un grup omogen de pacienţi, spre deosebire de, să
zicem, hipertensiunea arterială…
– Există o posibilitate de a controla această
heterogenitate, prin gruparea pacienţilor după severitatea traumatismului la
internare. Scorul Glasgow nu este adecvat acestui scop, deoarece, deşi e
utilizat de toată lumea, există variaţii mari în felul în care este aplicat. În
traumatismele cranio-cerebrale, putem utiliza scorul de risc prognostic (baseline prognostic risk score – BPRS),
validat deja. BPRS include evaluarea motorie, imagistica, prezenţa hemoragiei
subarahnoidiene, hipotoniei, hipoxiei – toate sunt parte a unei formule
complexe, cu valoare prognostică foarte bună. Chiar şi aşa, hetereogenitatea se
păstrează, astfel că împărţim eşantionul în, să zicem, opt grupe. Şi apoi
comparăm tratamentul cercetat între grupuri de pacienţi cu BPRS similar, ca şi
cum am face opt studii diferite. Abia apoi prelucrăm rezultatele într-un fel de
metaanaliză. Astfel, comparăm doar cazurile ce pot fi comparate.
– Dar nu sunt prea mici aceste subgrupuri de
pacienţi?
– Aşa
este, dar putem divide lotul în opt grupuri de aceeaşi mărime, stabilind
limitele între două grupuri în funcţie de numărul pacienţilor. Andrew Mass a
introdus această metodă, prin studiul său din 2006, cu dexanabinol. El a împărţit
lotul cercetat în trei subgrupuri.
– Ce sfat i-aţi da unui medic tânăr care
doreşte să efectueze o cercetare clinică? Cum ar trebui să gândească studiul?
– Să
aibă o idee clară asupra metodei de evaluare a rezultatelor clinice. Apoi, un
calcul al mărimii eşantionului necesar pentru studiu. Mulţi cercetători află
astfel că ar avea nevoie de 400 de pacienţi, pentru a avea o bună şansă de a
detecta diferenţe semnificative statistic, or, unii vor să iniţieze studiul cu
doar 30 de pacienţi… Le putem spune din start că probabilitatea de a detecta
orice fel de rezultat cu semnificaţie statistică este de sub 10%. Deci nicio şansă!
Aceste studii mici nu servesc altui scop decât aceluia de a-ţi face o idee
despre ce înseamnă un studiu clinic. Pentru sponsori, pentru companiile
farmaceutice, este de preferat să nu faci un studiu sau să aştepţi până când
dispui de un design rezonabil. Dacă nu ai nicio şansă, atunci ştii din start că
rezultatul va fi fără semnificaţie statistică. Imprecizia ar fi atât de mare, încât
am avea intervale de încredere uriaşe, valoarea p va fi mult peste 0,05. Ce rost are să faci un astfel de studiu?!
Nu-ţi aduce nicio informaţie! Intervalul de încredere îţi spune, în cazul unui
astfel de trial clinic, că poate exista inferioritate, egalitate ori
superioritate. Deci studiul nu ne va spune decât că orice e posibil… Asta ştiam
deja şi am fi vrut ca după studiu să ştim ceva mai mult. De pildă, să indice un
efect pozitiv – chiar dacă nu poate distinge între un efect marginal şi unul
relevant, dar măcar efectul să existe. Or, dacă răspunsul nu face asemenea
distincţii, atunci rămânem în acelaşi stadiu în care eram înainte de cercetarea
respectivă.
– Atunci, poate că nu ar trebui să existe
trialuri clinice mici…
– Pot însă să existe efecte atât de
importante încât să fie vizibile într-un studiu de dimensiuni reduse. De
exemplu, descoperirea penicilinei: efectul a fost uimitor şi nu a fost nevoie
decât de câţiva pacienţi pentru a-l demonstra. Atunci când vii cu un nou
tratament – fie el medicamentos, chirurgical sau de altă natură –, poţi încerca
un studiu mic. Dacă ai noroc, poţi obţine rezultate. Apoi, poţi conduce un
studiu-pilot – care să verifice principial conceptul, să-ţi permită să-ţi faci
o idee. Mai poţi face o procedură în două etape: când nu ştii cu certitudine
dacă tratamentul este sau nu eficient, dar nu vrei să te avânţi într-un studiu
de proporţii, începi cu un grup mai restrâns. Dacă observi efecte importante,
este suficient şi te poţi opri. Dacă nu observi niciun efect, iarăşi te poţi
opri, pentru că nu are sens să extinzi studiul. Dar dacă eşti undeva la mijloc şi
nu poţi nici să confirmi, nici să infirmi eficacitatea tratamentului, atunci poţi
include un număr mai mare de pacienţi. Şi această situaţie se aplică în cazul
traumatismelor cranio-cerebrale, unde nu are rost să incluzi mii de pacienţi
dacă nu ai idee asupra rezultatului. În prima etapă, cercetezi dacă există
vreun rezultat la, să zicem, două-trei sute de pacienţi şi apoi treci la etapa
următoare. Acest design de studiu este numit „futility design“, pentru că îţi oferă şansa de a te opri din timp,
dacă nu se conturează niciun rezultat. Deci trialurile mici, gândite ca etape
ale unei cercetări mai ample, au rostul lor, pentru că nu se ajunge la risipă
de resurse, în absenţa efectului scontat.
– Multe
studii conduse de companiile farmaceutice, deşi eşuează în privinţa
obiectivului principal cercetat, comunică unele date pozitive, prin izolarea
unor subgrupe de pacienţi cu anumiţi parametri, deşi acestea nu au făcut
obiectul cercetării… Putem avea încredere în rezultatele respective?
– Din moment ce nu sunt rezultatele
principale, ele joacă doar un rol explorator. Când vorbim de criterii secundare
şi de subgrupuri, pentru care se calculează valoarea p, trebuie să ţinem cont că avem de-a face, repetat, cu întâmplarea.
Deci chiar vei găsi semnificaţii statistice, trebuie doar să ai suficient de
multe subgrupuri… Femei/bărbaţi; tineri/vârstnici ş.a.m.d. Cu siguranţă vei găsi
ceva, pentru că aceasta este definiţia semnificaţiei: chiar dacă nu există
niciun efect, din întâmplare vei înregistra diferenţe – uneori atât de mari încât
sunt numite „semnificative“. Trebuie să fim foarte atenţi cu interpretarea lor.
Ce vreau să spun este că dacă găseşti ceva, la un criteriu secundar sau într-un
subgrup, asta nu face altceva decât să genereze o ipoteză. Poate dacă vei gândiurmătorul studiu să includă doar
populaţia respectivă sau poate dacă ai cercetat în altă parte, în privinţa
criteriului primar, atunci criteriul secundar poate deveni principal în
viitorul studiu efectuat. Dar datele de care vorbeaţi nu sunt niciodată o probă
a efectului cercetat, sunt lipsite de semnificaţie statistică şi ajută doar la
generarea de noi ipoteze, care – evident – nu pot fi confirmate prin acelaşi
studiu. Această parte a cercetării este pur exploratorie şi ne poate da informaţii
şi idei valoroase în privinţa cercetărilor viitoare.
– Dar
nu ar trebui ca rezultatele să fie luate de bune pentru practica clinică.
Companiile prezintă articole, valori p…
– Chiar şi rezultatele principale,
semnificative statistic, nu ar trebui luate ca garantate, deoarece putem întotdeauna
să obţinem un rezultat din pură întâmplare. Asta-i viaţa de statistician!
Statisticile greşesc. Astfel că la fiecare 20 de studii unul poate fi o capcană,
care să ne dea rezultate semnificative fără ca efectul să existe.
– Cineva
s-ar putea întreba: bine, dar dacă statistica greşeşte, de ce să o mai
folosim?!
– Pentru că trebuie să luăm decizii. Nu ştim
niciodată adevărul, nu suntem Dumnezeu. Nu putem progresa decât luând decizii.
Altfel, nu am avea cercetare ştiinţifică, ne-am trata pacienţii ca acum 200 de
ani. Trebuie deci să luăm în calcul posibile erori. În mod normal, un singur
studiu clinic nu poate fi de ajuns pentru a obţine aprobarea din partea autorităţilor
de reglementare, care vor vrea să vadă rezultatele confirmate printr-un alt
studiu. Suntem mai protejaţi printr-o asemenea abordare, dar chiar şi aşa nu sunt
excluse total posibilele erori. La scara întregii umanităţi, progresele înregistrate
prin rezultatele pozitive ale studiilor clinice sunt cu mult mai importante decât
eventualele erori. Cercetarea progresează, dar trebuie să ştim că pot apărea
greşeli. O metodă chirurgicală de valoare îi ajută pe cei mai mulţi pacienţi,
dar doi pacienţi, să zicem, mor din cauza unei erori a chirurgului. E o situaţie
similară. Omul e supus greşelii şi nimic nu e garantat. Dar rezultatele primare
sunt suficient de bine controlate, în privinţa erorilor, încât le putem utiliza
şi putem lua decizii pe baza lor.
– Referindu-ne
acum la medicii tineri care vor să efectueze o cercetare clinică, în ce fel se
procedează în Germania, atunci când aveţi datele colectate? Desigur, un
practician nu are cunoştinţele necesare prelucrării statistice a datelor…
– În Germania, există aşa-numite „centre
coordonatoare“, pentru biometrie, dar şi institute de statistică, unde tinerii
clinicieni se pot adresa. Cel mai bun lucru este să meargă acolo înainte de a
face studiul, nu direct cu rezultatele, pentru a evita diverse greşeli, şi să
discute planul de cercetare. Dacă acesta este unul bun, atunci specialiştii în
statistică îi vor ajuta cu designul cercetării, dar şi cu evaluarea datelor.
– Clinicienii
trebuie să plătească pentru aceste servicii? Cum funcţionează această
colaborare?
– Nu, dar trebuie să identifice specialiştii
care îi pot ajuta. Aceştia nu trebuie plătiţi, deoarece sunt angajaţii
universităţilor sau ai guvernului, oficial implicaţi în cercetare. Este în fişa
postului lor. Fiecare universitate are departamente specializate în biomedicină,
biometrie şi biostatistică, finanţate de guvern. Desigur, e puţin probabil să
fie de acord să se implice în orice proiect, în vreun studiu mai ciudat, vor
spune: „timpul meu este limitat!“. Dar dacă le ceri ajutorul, ai nevoie de
sfatul lor, te vor ajuta cu designul studiului şi, apoi, cu analiza datelor.
Desigur, dacă este vorba de o cercetare iniţiată de un investigator, finanţarea
se poate face prin sponsori.
– Deci implicarea unui biostatistician în
designul cercetării este o precondiţie pentru a desfăşura un studiu potenţial
de succes?
–
Da. Şi acesta are nevoie de toate datele furnizate de clinician, el nu dispune
decât de instrumentele necesare pentru a răspunde la întrebări. Clinicianul
este cel care pune întrebările, are idei, vrea să ajute pacientul.
Statisticienii sunt cei care îl ajută, îl ghidează.
– Dacă vine cineva la dv. şi vă cere ajutorul,
îl descurajaţi dacă ideea lui ia în calcul un lot prea mic de pacienţi?
– Nu
îl descurajez, dar îi arăt ce se întâmplă în spatele uşilor închise. Şi îi
spun: cu designul propus, şansele de a obţine rezultate semnificative, în cazul
în care tratamentul este cu adevărat eficient, ar fi, să zicem, sub 10%.
Trebuie să-i spun adevărul. El poate decide, apoi, să realizeze studiul. Este
alegerea lui, dar ştie la ce să se aştepte. Într-o asemenea situaţie, în condiţii
normale, nu mă aştept ca rezultatul să aibă semnificaţie statistică.
– Ca medic, cât de mult contează dacă stăpâneşti
biostatistica?
–
Referitor la calcularea valorilor p,
la determinarea valorilor statistice propriu-zise, aş spune că nu e prea
important. Dar e important să ai o imagine de interior, să ştii care sunt
capcanele, să ai o înţelegere elementară. Nu trebuie să stăpâneşti domeniul, ci
să-l înţelegi. Ce este valoarea p, ce
este un interval de încredere, ce înseamnă semnificaţie statistică, ce ne spune
un rezultat semnificativ statistic, ce ne spune un rezultat nesemnificativ, ce
reprezintă relevanţa clinică etc. Sunt câteva noţiuni importante ce trebuie înţelese.
Nu învăţate, înţelese.
– V-am întrebat, în ideea că există diverse
cercetări clinice, care înregistrează diferenţe foarte mici, dar la calcularea
riscului relativ acestea apar ca fiind foarte mari… Ce e de făcut în asemenea
situaţii?
– În
evaluarea diverselor variabile, există mai multe ordine de mărime a efectelor înregistrate:
riscul, riscul relativ, reducerea riscului ş.a.m.d. Toate îţi dau numere
complet diferite şi, dacă nu ştii să le interpretezi, eşti pierdut… Pentru
aceleaşi rezultate ale unui studiu, îţi pot spune că diferenţa dintre două
grupe este de 4%. Sau 47%. Sau 1,5%… Acelaşi studiu, aceleaşi rezultate, dar
folosind diferite ordine de mărime a efectelor. Un exemplu simplu: ai o rată a
deceselor de 4% şi o reduci la 2%. Poţi spune că diferenţa procentuală este de
2%. Dar poţi spune şi că reducerea riscului este de 50%. Referindu-ne la
supravieţuire, aceasta creşte de la 96 la 98%, cu două procente şi tot aşa… Obţii
cifre diferite, în funcţie de ceea ce analizezi… Este o adevărată capcană.
Utilizarea diferitelor ordine de mărime este un nonsens. Poţi prezenta nişte
cifre mari, impresionante, în spatele cărora să nu se ascundă nimic. Dacă vrei
să treci cu vederea efectele adverse, alegi acele valori care par mici. Dacă vorbim de efectele
terapeutice, atunci preferi cifrele care parmari.
– Deci orice rezultat publicat trebuie
interpretat cu atenţie…
– Cu siguranţă!