Expert consultant în biometrie şi statistică, dl dr. Johannes C. Vester a  contribuit la planificarea şi prelucrarea datelor din peste 150 de studii clinice randomizate, în întreaga lume. Despre capcanele statisticii medicale, despre cum trebuie interpretate şi cum pot fi răstălmăcite rezultatele publicate, dar şi despre modul în care clinicianul poate discerne informaţia reală de „zgomot“, aflăm din interviul realizat de dl dr. Aurel F. Marin, cu sprijinul Societăţii pentru Studiul Neuroprotecţiei şi Neuroplasticităţii.

 "> Statistici... pline de semnificaţii - Viața Medicală
Interviuri

Statistici... pline de semnificaţii

de Dr. Aurel F. MARIN - nov. 10 2011
Statistici... pline de semnificaţii

Expert consultant în biometrie şi statistică, dl dr. Johannes C. Vester a  contribuit la planificarea şi prelucrarea datelor din peste 150 de studii clinice randomizate, în întreaga lume. Despre capcanele statisticii medicale, despre cum trebuie interpretate şi cum pot fi răstălmăcite rezultatele publicate, dar şi despre modul în care clinicianul poate discerne informaţia reală de „zgomot“, aflăm din interviul realizat de dl dr. Aurel F. Marin, cu sprijinul Societăţii pentru Studiul Neuroprotecţiei şi Neuroplasticităţii.

 

interviu cu dr. Johannes C. Vester (Germania)

    – Cât de important este să stăpâneşti statistica, atunci când practici medicina?
   – Cred că foarte important este să ai o minimă înţelegere a lucrurilor care se întâmplă „în spatele cortinei“… Nu trebuie să foloseşti matematica, algebra. Trebuie doar să ştii despre ce este vorba. Dacă stai să te gândeşti, aproape toate tratamentele acceptate de autorităţile de reglementare se bazează pe studii clinice de un fel sau altul. Şi pe rezultatele produse de statisticieni. E important deci să ştii ce fac aceştia. Dar contează şi în cazul în care studiezi literatura de specialitate şi vrei să iei o decizie: ce articole sunt valoroase, de un nivel înalt, cu rezultate incontestabile, şi unde trebuie să fii prevăzător, unde informaţiile nu sunt suficiente sau ceva din interpretarea finală nu este tocmai corect. Te ajută deci să abordezi responsabil medicina, pentru propriii pacienţi, dacă stăpâneşti măcar noţiunile de bază asupra modului în care sunt prelucrate rezultatele.
   Atunci când citeşti un articol dintr-o revistă ştiinţifică, găseşti tot felul de cifre… Cum ar trebui un medic practician să discearnă valorile corecte de cele greşite, făcând totodată abstracţie de „zgomotul“ cifrelor lipsite de semnificaţii?
   – Recomandarea mea este testul statistic propriu-zis. Orice tip de prelucrare statistică ar fi, vom considera că valorile p sunt produse de maşini. Nu trebuie să intrăm în acest domeniu, rezervat specialiştilor. Mai degrabă trebuie să înţelegi valorile, rezultatele acelor maşini, ce înseamnă valoarea p, ce este semnificativ statistic, dacă lipseşte semnificaţia – înseamnă că nu există vreun efect sau ar putea să fie vreunul? Nu este foarte complicat şi deja te transformi într-un cititor avansat doar printr-o înţelegere a funcţiilor statistice de bază… Apoi, trebuie să vezi dacă ţi se oferă informaţia necesară, care nu are voie să lipsească dintr-o lucrare bine scrisă.
   Vorbind despre valoarea p, punctul de referinţă, în mod normal 5%, ce se întâmplă atunci când sunt implicaţi parametri multipli?
   – Dacă vrei să produci rezultate semnificative statistic în absenţa unui tratament eficace, nu este aşa greu. Pur şi simplu, efectuezi o mulţime de teste statistice şi apoi, prin hazard, vei obţine şi rezultate semnificative statistic. Ce ne spune valoarea p este probabilitatea de producere a unui eveniment. Cu cât îţi încerci norocul mai mult, efectuând un număr tot mai mare de teste statistice, cu atât mai probabil este că vei obţine acel eveniment rar, produs de hazard. Dar semnificaţia statistică observată astfel nu are nicio valoare, tocmai pentru că ai efectuat atâtea teste. În prezent, recomandarea importantă este să ai o protecţie pentru întreg studiul, la nivelul celor cinci procente, ceea ce înseamnă că, deşi rezultatul tot mai poate fi produs prin hazard, este controlat, adică poţi face un singur test statistic pentru întreg studiul. Dacă efectuezi mai multe teste, atunci ai nevoie de protecţie suplimentară. Dacă hazardul intervine de mai multe ori, trebuie ajustat nivelul de semnificaţie statistică: cu cinci teste, lucrezi cu p de 1%. Asta înseamnă că, deşi norocul intervine în cinci variabile, întregul studiu este protejat la nivelul de 5%. E un lucru care trebuie reţinut: protecţia trebuie să se facă pe întreg studiul şi nu doar pe un singur test.
   Bine, dar ce-i de făcut dacă un articol conţine doar rezultatele „bune“?
   – E o mare problemă şi o sursă de eroare… Dacă eşti o companie farmaceutică şi dispui de mulţi bani, atunci faci 50 de studii mici. Chiar dacă medicamentul tău nu e decât un placebo, lipsit de orice efect, prin hazard doar şi vei obţine de la unul la şase-şapte studii, din cele 50, cu semnificaţie statistică. Le publici pe cele şase şi nu sufli o vorbă despre celelalte 44. Aceasta este eroarea de publicare (publication bias).
   Şi apoi, altcineva face o metaanaliză a celor şase studii…
  – Da, dacă din cele şase rezultate pozitive faci o metaanaliză, rezultatul este unul fals… Este de salutat faptul că autorităţile europene de reglementare au făcut obligatorie anunţarea oricărui studiu efectuat. Să poată şti, astfel: da, bine, ai anunţat şase studii cu rezultate pozitive, dar unde sunt celelalte 44? Dacă unii sponsori, unele companii farmaceutice încearcă să ascundă o parte din studii şi autorităţile de reglementare reuşesc cumva să le găsească, atunci e de rău şi sponsorul poate avea mari probleme. Sunt cazuri în care un angajat al unei companii farmaceutice este concediat şi se răzbună făcând publică existenţa unui studiu ratat… E foarte important, deci, să ştii câte studii au fost efectuate şi câte din acestea sunt semnificative statistic. Abia apoi poţi controla acest tip de eroare.
   Ne puteţi da câteva exemple de erori care pot afecta rezultatele studiilor clinice?
   – Există un tip de eroare, când lucrarea publicată vorbeşte de rezultate pozitive, şi un alt tip, atunci când se vorbeşte despre absenţa efectului cercetat. Ambele pot fi influenţate. În cazul rezultatelor pozitive, de exemplu, se poate vorbi despre o anumită scală de evaluare a evoluţiei pacienţilor, conform căreia rezultatul a fost pozitiv, dar se omite faptul că s-au utilizat 32 de asemenea scale de evaluare, publicându-se doar trei, cele cu rezultate pozitive… Într-o lucrare bună, este foarte important să precizezi care a fost, la începutul cercetării, scala primară stabilită pentru evaluare. Dar sunt foarte multe lucrări în care nu se menţionează dacă evaluările publicate au fost sau nu obţinute prin algoritmi predefiniţi ca scale primare. Nu ştii dacă au avut 30 sau 40 de asemenea instrumente de evaluare şi au ales doar ceea ce îi avantaja. Atunci vorbim de un tip de eroare şi rezultatul publicat nu este unul valid.
   Ce rol joacă norocul, întâmplarea în obţinerea unui rezultat, în cercetare?
   – În orice studiu avem de-a face cu întâmplarea. De ce? Pentru că nu putem conduce o cercetare asupra a zece milioane de pacienţi cu o anumită patologie, ci dispunem doar de un eşantion randomizat. E ca la alegeri: dacă întrebi cinci oameni cum au votat, e prea puţin probabil că vei putea prezice rezultatul alegerilor. Se începe, de obicei, cu 1.000 de oameni şi cei care fac astfel de sondaje sunt buni statisticieni şi ştiu câţi oameni trebuie să întrebe. În cercetarea clinică, dacă ai un eşantion mic, întâmplarea joacă un rol major. Poate că nu ajungi să vezi decât rezultate norocoase… Întâmplarea e ca vântul: te îndepărtează de adevăr. Şi efectul real pe care îl urmăreşti nu mai poate fi observat. Trebuie să reducem posibilitatea unor rezultate întâmplătoare prin dimensionarea adecvată a eşantionului, dar şi prin controlul factorilor perturbatori, adică a „zgomotului“. Astfel de factori ar fi insuficienta instruire a persoanelor implicate în studiu asupra instrumentelor de evaluare a rezultatelor, interpretarea diferită a rezultatelor de la un centru la altul, adică introducerea de variaţii în rezultate. Cu cât intervin mai multe variaţii, cu atât întâmplarea domină rezultatele.
   Nu este, cumva, o problemă, că toată lumea urmăreşte cifrele publicate? Există opinii care susţin că statisticile nu au întotdeauna dreptate şi, în plus, că ele nu sunt adecvate pentru o abordare holistică…
   – Cu siguranţă că statisticile nu au întotdeauna dreptate, nici nu poate fi altfel, deoarece noi luăm deciziile. Adică obţinem o anumită valoare p şi dacă ea este sub 0,05, decidem că ipoteza nulă nu este adevărată sau că rezultatul este semnificativ statistic. Şi acesta este un factor de eroare – poate fi doar un rezultat norocos şi nimic mai mult. Orice statistician, în întreaga sa carieră, face numeroase greşeli deoarece noi nu cunoaştem niciodată adevărul. Niciun statistician nu poate să ştie care-i adevărul. Lucrăm cu hazardul şi trebuie să luăm decizii. Ceea ce fac statisticienii foarte bine este clarificarea ratei de eroare, dimensionarea acesteia, fie că vorbim de rezultate fals pozitive sau de subestimarea efectelor reale. Putem controla erorile, dar nu le putem evita.
   Ce se poate face într-un domeniu în care este improbabil să dispui de un grup de pacienţi omogen suficient de mare? Un exemplu în acest sens ar fi traumatismele cranio-cerebrale, patologie în care e practic imposibil să ai un grup omogen de pacienţi, spre deosebire de, să zicem, hipertensiunea arterială…
   – Există o posibilitate de a controla această heterogenitate, prin gruparea pacienţilor după severitatea traumatismului la internare. Scorul Glasgow nu este adecvat acestui scop, deoarece, deşi e utilizat de toată lumea, există variaţii mari în felul în care este aplicat. În traumatismele cranio-cerebrale, putem utiliza scorul de risc prognostic (baseline prognostic risk score – BPRS), validat deja. BPRS include evaluarea motorie, imagistica, prezenţa hemoragiei subarahnoidiene, hipotoniei, hipoxiei – toate sunt parte a unei formule complexe, cu valoare prognostică foarte bună. Chiar şi aşa, hetereogenitatea se păstrează, astfel că împărţim eşantionul în, să zicem, opt grupe. Şi apoi comparăm tratamentul cercetat între grupuri de pacienţi cu BPRS similar, ca şi cum am face opt studii diferite. Abia apoi prelucrăm rezultatele într-un fel de metaanaliză. Astfel, comparăm doar cazurile ce pot fi comparate.
   – Dar nu sunt prea mici aceste subgrupuri de pacienţi?
   – Aşa este, dar putem divide lotul în opt grupuri de aceeaşi mărime, stabilind limitele între două grupuri în funcţie de numărul pacienţilor. Andrew Mass a introdus această metodă, prin studiul său din 2006, cu dexanabinol. El a împărţit lotul cercetat în trei subgrupuri.
   – Ce sfat i-aţi da unui medic tânăr care doreşte să efectueze o cercetare clinică? Cum ar trebui să gândească studiul?
   – Să aibă o idee clară asupra metodei de evaluare a rezultatelor clinice. Apoi, un calcul al mărimii eşantionului necesar pentru studiu. Mulţi cercetători află astfel că ar avea nevoie de 400 de pacienţi, pentru a avea o bună şansă de a detecta diferenţe semnificative statistic, or, unii vor să iniţieze studiul cu doar 30 de pacienţi… Le putem spune din start că probabilitatea de a detecta orice fel de rezultat cu semnificaţie statistică este de sub 10%. Deci nicio şansă! Aceste studii mici nu servesc altui scop decât aceluia de a-ţi face o idee despre ce înseamnă un studiu clinic. Pentru sponsori, pentru companiile farmaceutice, este de preferat să nu faci un studiu sau să aştepţi până când dispui de un design rezonabil. Dacă nu ai nicio şansă, atunci ştii din start că rezultatul va fi fără semnificaţie statistică. Imprecizia ar fi atât de mare, încât am avea intervale de încredere uriaşe, valoarea p va fi mult peste 0,05. Ce rost are să faci un astfel de studiu?! Nu-ţi aduce nicio informaţie! Intervalul de încredere îţi spune, în cazul unui astfel de trial clinic, că poate exista inferioritate, egalitate ori superioritate. Deci studiul nu ne va spune decât că orice e posibil… Asta ştiam deja şi am fi vrut ca după studiu să ştim ceva mai mult. De pildă, să indice un efect pozitiv – chiar dacă nu poate distinge între un efect marginal şi unul relevant, dar măcar efectul să existe. Or, dacă răspunsul nu face asemenea distincţii, atunci rămânem în acelaşi stadiu în care eram înainte de cercetarea respectivă.
   Atunci, poate că nu ar trebui să existe trialuri clinice mici…
   – Pot însă să existe efecte atât de importante încât să fie vizibile într-un studiu de dimensiuni reduse. De exemplu, descoperirea penicilinei: efectul a fost uimitor şi nu a fost nevoie decât de câţiva pacienţi pentru a-l demonstra. Atunci când vii cu un nou tratament – fie el medicamentos, chirurgical sau de altă natură –, poţi încerca un studiu mic. Dacă ai noroc, poţi obţine rezultate. Apoi, poţi conduce un studiu-pilot – care să verifice principial conceptul, să-ţi permită să-ţi faci o idee. Mai poţi face o procedură în două etape: când nu ştii cu certitudine dacă tratamentul este sau nu eficient, dar nu vrei să te avânţi într-un studiu de proporţii, începi cu un grup mai restrâns. Dacă observi efecte importante, este suficient şi te poţi opri. Dacă nu observi niciun efect, iarăşi te poţi opri, pentru că nu are sens să extinzi studiul. Dar dacă eşti undeva la mijloc şi nu poţi nici să confirmi, nici să infirmi eficacitatea tratamentului, atunci poţi include un număr mai mare de pacienţi. Şi această situaţie se aplică în cazul traumatismelor cranio-cerebrale, unde nu are rost să incluzi mii de pacienţi dacă nu ai idee asupra rezultatului. În prima etapă, cercetezi dacă există vreun rezultat la, să zicem, două-trei sute de pacienţi şi apoi treci la etapa următoare. Acest design de studiu este numit „futility design“, pentru că îţi oferă şansa de a te opri din timp, dacă nu se conturează niciun rezultat. Deci trialurile mici, gândite ca etape ale unei cercetări mai ample, au rostul lor, pentru că nu se ajunge la risipă de resurse, în absenţa efectului scontat.
   Multe studii conduse de companiile farmaceutice, deşi eşuează în privinţa obiectivului principal cercetat, comunică unele date pozitive, prin izolarea unor subgrupe de pacienţi cu anumiţi parametri, deşi acestea nu au făcut obiectul cercetării… Putem avea încredere în rezultatele respective?
   – Din moment ce nu sunt rezultatele principale, ele joacă doar un rol explorator. Când vorbim de criterii secundare şi de subgrupuri, pentru care se calculează valoarea p, trebuie să ţinem cont că avem de-a face, repetat, cu întâmplarea. Deci chiar vei găsi semnificaţii statistice, trebuie doar să ai suficient de multe subgrupuri… Femei/bărbaţi; tineri/vârstnici ş.a.m.d. Cu siguranţă vei găsi ceva, pentru că aceasta este definiţia semnificaţiei: chiar dacă nu există niciun efect, din întâmplare vei înregistra diferenţe – uneori atât de mari încât sunt numite „semnificative“. Trebuie să fim foarte atenţi cu interpretarea lor. Ce vreau să spun este că dacă găseşti ceva, la un criteriu secundar sau într-un subgrup, asta nu face altceva decât să genereze o ipoteză. Poate dacă vei gândiurmătorul studiu să includă doar populaţia respectivă sau poate dacă ai cercetat în altă parte, în privinţa criteriului primar, atunci criteriul secundar poate deveni principal în viitorul studiu efectuat. Dar datele de care vorbeaţi nu sunt niciodată o probă a efectului cercetat, sunt lipsite de semnificaţie statistică şi ajută doar la generarea de noi ipoteze, care – evident – nu pot fi confirmate prin acelaşi studiu. Această parte a cercetării este pur exploratorie şi ne poate da informaţii şi idei valoroase în privinţa cercetărilor viitoare.
   Dar nu ar trebui ca rezultatele să fie luate de bune pentru practica clinică. Companiile prezintă articole, valori p
   – Chiar şi rezultatele principale, semnificative statistic, nu ar trebui luate ca garantate, deoarece putem întotdeauna să obţinem un rezultat din pură întâmplare. Asta-i viaţa de statistician! Statisticile greşesc. Astfel că la fiecare 20 de studii unul poate fi o capcană, care să ne dea rezultate semnificative fără ca efectul să existe.
   Cineva s-ar putea întreba: bine, dar dacă statistica greşeşte, de ce să o mai folosim?!
   – Pentru că trebuie să luăm decizii. Nu ştim niciodată adevărul, nu suntem Dumnezeu. Nu putem progresa decât luând decizii. Altfel, nu am avea cercetare ştiinţifică, ne-am trata pacienţii ca acum 200 de ani. Trebuie deci să luăm în calcul posibile erori. În mod normal, un singur studiu clinic nu poate fi de ajuns pentru a obţine aprobarea din partea autorităţilor de reglementare, care vor vrea să vadă rezultatele confirmate printr-un alt studiu. Suntem mai protejaţi printr-o asemenea abordare, dar chiar şi aşa nu sunt excluse total posibilele erori. La scara întregii umanităţi, progresele înregistrate prin rezultatele pozitive ale studiilor clinice sunt cu mult mai importante decât eventualele erori. Cercetarea progresează, dar trebuie să ştim că pot apărea greşeli. O metodă chirurgicală de valoare îi ajută pe cei mai mulţi pacienţi, dar doi pacienţi, să zicem, mor din cauza unei erori a chirurgului. E o situaţie similară. Omul e supus greşelii şi nimic nu e garantat. Dar rezultatele primare sunt suficient de bine controlate, în privinţa erorilor, încât le putem utiliza şi putem lua decizii pe baza lor.
   Referindu-ne acum la medicii tineri care vor să efectueze o cercetare clinică, în ce fel se procedează în Germania, atunci când aveţi datele colectate? Desigur, un practician nu are cunoştinţele necesare prelucrării statistice a datelor…
   – În Germania, există aşa-numite „centre coordonatoare“, pentru biometrie, dar şi institute de statistică, unde tinerii clinicieni se pot adresa. Cel mai bun lucru este să meargă acolo înainte de a face studiul, nu direct cu rezultatele, pentru a evita diverse greşeli, şi să discute planul de cercetare. Dacă acesta este unul bun, atunci specialiştii în statistică îi vor ajuta cu designul cercetării, dar şi cu evaluarea datelor.
   Clinicienii trebuie să plătească pentru aceste servicii? Cum funcţionează această colaborare?
   – Nu, dar trebuie să identifice specialiştii care îi pot ajuta. Aceştia nu trebuie plătiţi, deoarece sunt angajaţii universităţilor sau ai guvernului, oficial implicaţi în cercetare. Este în fişa postului lor. Fiecare universitate are departamente specializate în biomedicină, biometrie şi biostatistică, finanţate de guvern. Desigur, e puţin probabil să fie de acord să se implice în orice proiect, în vreun studiu mai ciudat, vor spune: „timpul meu este limitat!“. Dar dacă le ceri ajutorul, ai nevoie de sfatul lor, te vor ajuta cu designul studiului şi, apoi, cu analiza datelor. Desigur, dacă este vorba de o cercetare iniţiată de un investigator, finanţarea se poate face prin sponsori.
   – Deci implicarea unui biostatistician în designul cercetării este o precondiţie pentru a desfăşura un studiu potenţial de succes?
   – Da. Şi acesta are nevoie de toate datele furnizate de clinician, el nu dispune decât de instrumentele necesare pentru a răspunde la întrebări. Clinicianul este cel care pune întrebările, are idei, vrea să ajute pacientul. Statisticienii sunt cei care îl ajută, îl ghidează.
   Dacă vine cineva la dv. şi vă cere ajutorul, îl descurajaţi dacă ideea lui ia în calcul un lot prea mic de pacienţi?
   – Nu îl descurajez, dar îi arăt ce se întâmplă în spatele uşilor închise. Şi îi spun: cu designul propus, şansele de a obţine rezultate semnificative, în cazul în care tratamentul este cu adevărat eficient, ar fi, să zicem, sub 10%. Trebuie să-i spun adevărul. El poate decide, apoi, să realizeze studiul. Este alegerea lui, dar ştie la ce să se aştepte. Într-o asemenea situaţie, în condiţii normale, nu mă aştept ca rezultatul să aibă semnificaţie statistică.
   Ca medic, cât de mult contează dacă stăpâneşti biostatistica?
   – Referitor la calcularea valorilor p, la determinarea valorilor statistice propriu-zise, aş spune că nu e prea important. Dar e important să ai o imagine de interior, să ştii care sunt capcanele, să ai o înţelegere elementară. Nu trebuie să stăpâneşti domeniul, ci să-l înţelegi. Ce este valoarea p, ce este un interval de încredere, ce înseamnă semnificaţie statistică, ce ne spune un rezultat semnificativ statistic, ce ne spune un rezultat nesemnificativ, ce reprezintă relevanţa clinică etc. Sunt câteva noţiuni importante ce trebuie înţelese. Nu învăţate, înţelese.
   V-am întrebat, în ideea că există diverse cercetări clinice, care înregistrează diferenţe foarte mici, dar la calcularea riscului relativ acestea apar ca fiind foarte mari… Ce e de făcut în asemenea situaţii?
   – În evaluarea diverselor variabile, există mai multe ordine de mărime a efectelor înregistrate: riscul, riscul relativ, reducerea riscului ş.a.m.d. Toate îţi dau numere complet diferite şi, dacă nu ştii să le interpretezi, eşti pierdut… Pentru aceleaşi rezultate ale unui studiu, îţi pot spune că diferenţa dintre două grupe este de 4%. Sau 47%. Sau 1,5%… Acelaşi studiu, aceleaşi rezultate, dar folosind diferite ordine de mărime a efectelor. Un exemplu simplu: ai o rată a deceselor de 4% şi o reduci la 2%. Poţi spune că diferenţa procentuală este de 2%. Dar poţi spune şi că reducerea riscului este de 50%. Referindu-ne la supravieţuire, aceasta creşte de la 96 la 98%, cu două procente şi tot aşa… Obţii cifre diferite, în funcţie de ceea ce analizezi… Este o adevărată capcană. Utilizarea diferitelor ordine de mărime este un nonsens. Poţi prezenta nişte cifre mari, impresionante, în spatele cărora să nu se ascundă nimic. Dacă vrei să treci cu vederea efectele adverse, alegi acele valori care par mici. Dacă vorbim de efectele terapeutice, atunci preferi cifrele care parmari.
   Deci orice rezultat publicat trebuie interpretat cu atenţie…
   – Cu siguranţă!

Abonează-te la Viața Medicală!

Dacă vrei să fii la curent cu tot ce se întâmplă în lumea medicală, abonează-te la „Viața Medicală”, publicația profesională, socială și culturală a profesioniștilor în Sănătate din România!

  • Tipărit + digital – 249 de lei
  • Digital – 169 lei

Titularii abonamentelor pe 12 luni sunt creditați astfel de:

  • Colegiul Medicilor Stomatologi din România – 5 ore de EMC
  • Colegiul Farmaciștilor din România – 10 ore de EFC
  • OBBCSSR – 7 ore de formare profesională continuă
  • OAMGMAMR – 5 ore de EMC

Află mai multe informații despre oferta de abonare.

Cookie-urile ne ajută să vă îmbunătățim experiența pe site-ul nostru. Prin continuarea navigării pe site-ul www.viata-medicala.ro, veți accepta implicit folosirea de cookie-uri pe parcursul vizitei dumneavoastră.

Da, sunt de acord Aflați mai multe