Concordanță intra- și interevială
Concordanță intra- și inter-rater
Adalberto Campo-Arias1 Edwin Herazo2
1 doctor de psihiatru. MSc (C). Grupul de cercetare al comportamentului uman, Institutul de Cercetare pentru Comportament uman. Bogotá, Columbia.
2 doctor de psihiatru. Grupul de cercetare al comportamentului uman, Institutul de Cercetare a Comportamentului Uman, Bogotá, Columbia.
Harta Adalberto Campo-Arias Grup de cercetare Institutul de Comportament Umancalle Comportament Institutul 58 Nr. 5-24, Biroul 202 Bogotá, Columbia Camparias @ ComportadoHumano .org
CENINAT PENTRU EVALUARE: 28 ianuarie 2010 Acceptat spre publicare: 27 aprilie 2010
Rezumat
Introducere: În studiile de concordanță psihiatrică, intra și interevială sunt importante pentru măsurarea fiabilității sau reproductibilității evaluărilor (interviuri sau scale hetero-noduri). Obiectiv: Prezentarea unor principii privind procesul de validare a interviurilor de diagnosticare sau a scalelor hetero-nișate și a managementului și a înțelegerii celor mai utile teste statistice în aceste scopuri. Metodă: Revizuirea literaturii. Rezultate: Concordanța este înțeleasă ca gradul de acord sau dezacord între evaluările făcute la același subiect succesiv de o evaluare sau între doi sau mai mulți intervievatori. Acest proces este de validare a instrumentelor, fie pentru a identifica posibilele cazuri sau pentru a confirma prezența unei tulburări mintale. În Concordanța de Interevaluare, doi sau mai mulți psihiatri efectuează un interviu independent și aproape simultan unei persoane și, prin urmare, se poate estima gradul de acord, convergență sau concordanță (sau altfel) între evaluări și diagnosticarea ulterioară. Concordanță intracomuză este gradul de acord în diagnosticul care are același evaluator în timp. Testul Kappa de Cohen este utilizat pentru a estima concordanța și sunt, în general, valori așteptate mai mari de 0,50; Dar este necesar să se cunoască prevalența așteptată a tulburării mintale, numărul de evaluatori sau evaluări și numărul de posibile categorii sau categorii de diagnosticare.
Cuvinte cheie: psihometrie, scale, reproductibilitate rezultate, studii de validare, revizuire.
INTRODUCERE
Introducere: studiile de concordanță intra- și inter-rater sunt importante pentru a măsura fiabilitatea sau reproducerea evaluărilor (interviuri sau scale aplicate de un rater) în psihiatrie. Obiectiv: Prezentarea unor principii de întârziere a procesului de validare a interviurilor de diagnosticare sau a scalelor aplicate de un rating și întârzierea manipulării și înțelegerii unor teste statistice mai utiale. Metodă: Revizuirea literaturii. Rezultate: Concordanța este înțeleasă ca gradul de acord sau dezacord între evaluările făcute la aceleași succesiv de către un evaluator sau între doi sau mai mulți intervievatori. Acest proces face parte din validarea instrumentelor, fiabilitatea scării, pentru a identifica posibilele cazuri sau pentru a confirma prezența tulburării mentale. Concordanța intererater se referă la cazul în care doi sau mai mulți psihiatri fac un interviu independent și aproape simultan persoanei; Acest lucru poate contribui la estimarea gradului de acord, converganism sau concordanță (și de dezacord, divergență sau discordanță) între evaluări și diagnosticarea ulterioară. Concordanța intra-rater este gradul de acord asupra diagnosticului realizat de același rater în momente diferite. Cohen’s Kappa este folosit pentru a estima concordanța, iar valorile mai mari de 0,50 sunt așteptate în general. Pentru a estima în mod real, KAPPA-ul lui Cohen este necesar să se cunoască anterior prevalența așteptată a tulburării mentale, numărul de evaluări sau evaluări și numărul de categorii posibile de diagnosticare.
Cuvinte cheie: psihometrie, cântare, reproductibilitate a rezultatelor, Studii de validare, revizuire.
Introducere
Dezvoltarea psihiatriei în ultimele decenii economisește o relație strânsă cu implementarea sistematică a criteriilor de diagnosticare pentru utilizarea furnizorilor de servicii medicale mentale, în ciuda limitărilor din aceste criterii (1,2).
Standardizarea criteriilor de diagnosticare a fost completată de proiectarea și validarea interviurilor de diagnosticare, cu scopul de a standardiza cea mai mare parte a procesului de evaluare a persoanelor în practica clinică și Cercetare epidemiologică (3). Interviurile structurate sau semi-structurate au fost concepute pentru aplicarea de către oameni fără formare tehnică sau profesională în domeniul sănătății mintale sau al persoanelor cu formare și experiență clinică formală (4).
Cu toate acestea, discuțiile academice inițiale cu privire la posibila impact negativ al acestei abordări a simptomelor persoanelor care se consultă de tulburări mintale (1), o revizuire atentă a manifestărilor clinice și prezentarea unui diagnostic, provizoriu sau al încă o dată Reviewed, Cererea de profesioniști în domeniul sănătății mintale și cercetători bine instruiți și, în special, psihiatrii, care în cele din urmă sunt profesioniștii chemați să soluționeze controversele de diagnosticare în domeniul sănătății mintale. Diagnosticul în aproape toate contextele medicinei și, în special din psihiatrie, necesită o judecată clinică atentă pentru a oferi simptome o conotație non-adaptivă sau disfuncțională, care este, importanța sau relevanța clinică (5).
Concordanța este înțeles ca grad de acord sau dezacord, între evaluările pe care o persoană o desfășoară succesiv unei alte persoane sau între doi sau mai mulți intervievatori care fac o evaluare la același subiect (6,7). Acest proces face parte din validarea instrumentelor, pentru a verifica fiabilitatea, fie pentru a identifica posibilele cazuri sau pentru a confirma prezența unei tulburări mintale (6).
Obiectivul acestei revizuiri este de a prezenta anumite principii prin examinare În procesul de validare a interviurilor de diagnosticare sau a scalelor hetero-nișate și manipularea și înțelegerea celor mai utile teste statistice în aceste scopuri.
Principii
Obiectivul central al unui interviu de diagnosticare Este de a defini ce persoană adună criterii pentru o tulburare mentală și care este tulburarea mentală specifică, indiferent de cine efectuează interviul (8). Determinarea concordanței în cazul scalelor auto-heterocilate, care de obicei oferă scoruri, se realizează prin procedură ca fiind derulare de testare (retest de testare, engleză) (9). Acest proces este valabil din teste statistice, cum ar fi corelația lui Pearson (10,11), coeficientul de corelație intraclass (12), coeficientul de concordanță al Linului (13) sau coeficientul de concordanță al Altman și Bland (14).
atât în validarea scalelor, cât și în validarea interviurilor, a doua evaluare se efectuează cu o perioadă definită, în funcție de tulburarea evaluată. Se presupune că în timpul acestor simptome rămân stabile, cu puține sau mici variații și că condițiile de măsurare sau interviu sunt similare (15).
Este important să rețineți că în psihiatrie schimbarea diagnosticului Odată cu trecerea timpului este un fenomen frecvent. Acest fapt de diagnostic nestructurat sau standardizat, modificări ale criteriilor de diagnosticare sau aceeași antecedente naturale a tulburărilor mintale care sunt evaluate; adică instabilitatea sau modificările care prezintă setul de simptome în timp (15,16).
Un alt punct care trebuie păstrat este că, dacă doi sau mai mulți profesioniști efectuează un interviu cu aceeași persoană independent sau Același evaluator face două sau mai multe interviuri într-o perioadă, una dintre evaluatori sau una dintre evaluări ar trebui luată ca criterii de referință (standard de aur) (17). Criteriile de referință perfecte sunt excepționale în medicină, chiar mai mult în psihiatrie (18). Cu toate acestea, aceasta face parte din presupunerea că acest criteriu considerat un punct de comparație face o clasificare perfectă a diagnosticelor, fără erori; Aceasta este, cu o sensibilitate 100% și o specificitate de 100% (17-20). Această comparație cu un criteriu de referință este, de asemenea, parte a validării criteriului (concurente) a oricărei scale sau instrumente (21,22).
Concordanță intra- și interevaluare sau observatori
dacă două sau mai mulți psihiatrii efectuează un interviu independent și aproape simultan o persoană poate estima gradul de acord, convergență sau concordanță (și dezacordul, divergența sau discordia) între evaluări și diagnostice consecutive, dacă cineva ia unul dintre evaluatori ca un criteriu de referință. Face parte din faptul că ambii profesioniști au aceeași formare; Această estimare se numește Concordanță de Interevaluare sau Interobserver (6,23,24).
Pe de altă parte, dacă un psihiatru efectuează două sau mai multe evaluări la aceeași persoană în scopul cunoașterii sau confirmării unui diagnostic cu Utilizarea unei tehnici identice, conformă poate fi stabilită în diagnosticarea care are același evaluator în timp. Acest calcul este cunoscut sub numele de Concordanță intra-evaluare sau intraobserver (7,25). Fără îndoială, concordanța intra-evaluă are părtinirea care induce memoria evaluatorului care își poate aminti detaliile evaluării precedente pe care el însuși a efectuat-o (26).
Teste statistice pentru concurența inter-evaluare cu rezultate calitative
Diagnosticul în psihiatrie este, în general, calitativ sau categoric, adică se concluzionează că persoana adună criterii sau nu pentru o tulburare mentală la momentul evaluării sau la un moment dat în viață (5). Numărul de posibile categorii de diagnosticare este K și numărul de evaluatori este M. Dacă evaluarea unui evaluator este comparată cu cel al unui alt evaluator care este luat ca un criteriu de referință și numai două diagnostice sunt posibile, adică K = 2 și M = 2, o masă de urgență 2×2 poate fi construită, cu un minim de patru cutii (tetracorice), pentru a observa concordanța dintre evaluatori (24,27-29).
sub un exemplu de studiu al unui exemplu de studiu a investigat Concordanța de Interevaluare. Într-o anchetă care a avut loc în Navarra, Spania, Landa și colaboratorii cuantificați concordanța în identificarea unei tulburări mintale între pediatri și profesioniști din domeniul sănătății mintale. În anchetă, au fost incluse 207 de copii sau adolescenți, sub 16 ani; Ei au descoperit o concordanță observată (PO) pentru prezența unei tulburări mintale de 64,3% și o valoare Kappa Cohen Kappa de 0,58, cu un interval de încredere de 95% între 0,51 și 0,66 (30).
Puține studii sunt efectuate pentru a explora concordanța intraeva-luxoasă. De exemplu, Conradsson și colaboratorii au evaluat în 45 de seniori din Umeea, Suedia, scorurile pe care același evaluator le-a dat la o scară pentru a cuantifica echilibrul, de la o dată la trei zile de la prima aplicație. Acest instrument constă din 14 întrebări, cu un model de răspuns politic (Likert), cu cinci opțiuni care sunt calificate de la zero la patru. Au raportat concordanța intraevalua-dora pentru fiecare întrebare prin coeficientul K ponderat și intervalul de încredere de 95%. Valorile KAPPA) ponderate au fost găsite între 0,55 și 0,83 (31).
În același mod, este posibil să se proiecteze o masă de urgență mai complexă, în care este comparată, de exemplu , concordanță în diagnosticul specific între un grup de pacienți care îndeplinește criterii pentru mai multe categorii posibile (k > 2), de exemplu, o tulburare depresivă (tulburare depresivă majoră, district tulburare, depresiv Tulburare datorită stării medicale, tulburării depresive datorată utilizării substanței sau a medicamentelor sau tulburării depresive nespecificate). Și, în același timp, doi evaluatori participă sau se efectuează evaluări separate (m = 2). Pentru această situație, tabelul de contingență KXM va fi de 5 * 2 (25).
Ca un exemplu de studiu de concordanță a mai mult de două categorii de diagnosticare, Lin și colaboratorii au observat concordanța în 579 de adulți, după ce a răspuns o scară disponibilă pe Internet pentru a identifica tulburările depresive (tulburări depresive majore, tulburări depresive inferioare, simptome depresive subindromice și absența tulburării depresive), printre aplicațiile care au fost făcute la fiecare două săptămâni (două, patru sau mai multe săptămâni) și au raportat ponderii K Valori: 0,80, 0,42 și 0,51, până în a doua săptămână, în a patra săptămână și, respectiv, (32).
Concordanța dintre doi evaluatori sau între două sau mai multe observații ale aceluiași evaluator poate fi reală sau rezultatul produsului sau aleator. Prin urmare, în plus, a concordanței observate, este necesar să se estimeze în ce măsură, aleatoria sau probabilitatea medie (33,34). Testul statistic utilizat în acest scop este testul lui Cohen K (35). Când se calculează din două categorii posibile și numai două evaluatori, K = 2 și M = 2, dintr-o contingență Tabelul 2 * 2, se numește Cohen Media sau, pur și simplu, K. cu toate acestea, în cazul celor care sunt calculați k > 2 (sau cu un rezultat ordinal) sau m > 2 este estimată o valoare K ponderată (24, 27,36) ( vezi Tabelul 1).
Cohen Kid K poate fi calculat cu Formula 1. Cu toate acestea, cele mai utilizate programe statistice În lume, cum ar fi Epiinfo (37), PASW (anterior, SPSS) (38), SAS (39) sau STATA (40), estimează mai repede și raportează intervalul de încredere de 95%, ca măsură de precizie de estimare (41-43). Valorile lui K pot fi între zero și una, la o mai mare apropiere cu cel mai mare acord din măsurătorile făcute de aceiași evaluatori sau de evaluatori diferiți. Modul în care este interpretat într-un mod rațional, acest coeficient este prezentat în Tabelul 2 (44,45). Interpretarea testului statistic trebuie să ia în considerare utilitatea clinică a măsurătorilor studiate (46).
div id = ”
iveală importantă
Ca și sensibilitatea, specificitatea și valorile predictive care sunt calculate cu datele unui tabel de urgență de 2 * 2, testul K este direct proporțional cu frecvența sau prevalența tulburării mentale studiate (47 , 48). În consecință, K poate fi scăzută, oricât de mare valoare pentru concordanță observată (49). K este, de obicei, mai robust atunci când prevalența tulburării care este investigată este ridicată și slăbită când prevalența este scăzută (50,51).
Dimensiunea eșantionului
Dimensiunea eșantionului este adesea ignorate în studiile de validare sau observarea performanței psihometrice a instrumentelor de sănătate (18). Calculul eșantionului pentru un studiu de concordanță și calculul unei valori K trebuie să ia în considerare mai multe puncte: numărul de evaluatori sau evaluări (52) și numărul posibilelor categorii de diagnosticare (53). În același mod, prevalența așteptată sau estimată a tulburării mentale trebuie să fie analizată, ca și cum ar fi estimat sensibilitatea sau specificitatea și face parte dintr-o tabel de contingență 2 * 2 (54). Având în vedere acest punct, acest punct permite un număr suficient de participanți în fiecare cutie din tabelul pentru clădire (48.50-52.55). Acest lucru realizează un grad mai bun de precizie, cu un interval de încredere mai restrâns (42-44,56).
Concluzii
Studiile de concordanță inter-evaluare sunt importante pentru măsurarea fiabilității sau reproductibilității evaluărilor (interviuri sau scale) în psihiatrie. Pentru evaluările cu rezultate categorice (calitative), acordul dincolo de întâmplare este estimat cu coeficientul lui K de Cohen (media sau ponderat). Coeficientul de k poate fi găsit între zero și unul și de obicei se așteaptă între 0,41 și 0,60 sau mai mult. Prevalența tulburărilor sau tulburărilor care sunt investigate poate afecta estimarea coeficientului. Un eșantion rezonabil Seabel este necesar pentru prânz o valoare suficientă suficient de precisă.
Referințe
2. Rogler LH. Efectuarea schimbărilor istorice în manualul de diagnosticare și statistic al tulburărilor mintale: cinci prevederi. J Health Soc Comportament. 1997; 38 (1): 9-20.
3. Páez F, Nicolini H. Interviurile pentru diagnosticul clinic în psihiatrie. Sănătate mentală. 1996; 19 (supl 2): 19-25.
4. Calinou I, McClellan J. Interviuri de diagnosticare. Psihiatria Cur 2004; 6 (2): 88-95.
5. Eaton WW, Hall Al, MacDonald R, McKibben J. Cazul de identificare în epidemiologia psihiatrică: o revizuire. INTV Psychiatrie. 2007; 19 (5): 497-507.
7. ALARCÓN AM, Muñoz S. Măsurarea sănătății: unele considerații metodologice. Rev Med Chile. 2008; 136 (1): 125-30.
8. Othmer E, Othmer SC. DSM-IV-TR. Interviul clinic. Fundamente Tomo I. Madrid: Masson; 2001.
9. Sánchez R, EcoHeverry J. Validarea scalelor de măsurare în sănătate. Rev. Sănătate publică. 2004; 6 (3): 302-18.
10. Pearson K. Determinarea coeficientului de corelare. Ştiinţă 1909; 30 (757): 23-5.
11. Spearman C. Corelația calculată din datele defectuoase. Br j psihol. 1910; 3: 271-95.
12. PETHOUT PE, Fleiss JL. Corelațiile intraclass: utilizări în evaluarea fiabilității raterului. Psihol Bull. 1979; 86 (2): 420-8.
13. Lin L. o concordanță corelati pe coeffficient pentru a evalua reproductibilitatea. Biometries. 1989; 45 (1): 255-68.
14. Bland Jm, Altman DG. Metode statistice de evaluare a acordului între două metode de măsurare clinică. Lancet. 1986; 1 (8476): 307-10.
15. Lecrubier și rafinament de diagnosticare și clasificare a bolii în psihiatrie. EUR Psihiatrie Clink Neurosci. 2008; 258 furnizor 1: 6-11.
16. Vecinii HW, Trieweiler SJ, Ford BC, Muroff Jr. Diferențele rasiale în diagnosticul DSM utilizând un instrument semi-structurat: importanța judecății clinice în diagnosticarea americanilor africani. J Health Soc Comportament. 2003; 44 (3): 237-56.
17. Rielgelman RK, Hirsch RP Definirea bolii: Test de Aur. Bol de Sanit Panam. 1991; 111 (6): 534-38.
18. Knottnerus Ha, Van Weel C, Muris JWM. Evaluarea procedurilor de diagnosticare. BMJ. 2002; 324 (7335): 477-80.
19. López-Jiménez f, Rohde Lef, Luna-Jiménez ma. Probleme și soluții în interpretarea testelor de diagnosticare. Rev Invest Clin. 1998; 50 (1): 65-72.
20. Castro-Jiménez Ma, Cabrera-Rodríguez D, Castro-Jiménez Mi. Evaluarea tehnologiilor de diagnosticare: concepte de bază într-un studiu de secțiune transversală. Rev Colomb Obette Gynecol. 2007; 58 (1): 45-52.
21. Morgan Ga, gliner ja, Harmon RJ. Valabilitate de măsurare. JO Acad Child Psihiatrie Ado-Lesc. 2001; 40 (6): 729-31.
22. Bland Jm, Altman DG. Validarea scalelor și a indexurilor. BMJ. 2002; 324 (7337): 606-7.
23. Ludbrook J.Tehnici statistice pentru compararea măsurătorilor și a metodelor de măsurători: revizuire critică. Clin Exp Pharmacol Physiol. 2002; 29 (7): 527-36.
24. Watkins MW, Acordul Pacheco M. Interobserver în cercetarea comportamentală: importanța și calculul. J Comportament Educ. 2000; 10 (4): 205-12.
25. Kramer HC, Periyakil vs, Coeficienții Noda A. Kappa în cercetarea medicală. Stat med 2002; 21 (14): 2109-29.
26. Ibáñez C, Maganto C. Procesul de evaluare clinică: cognițiile evaluatorului. Summa Psicol Ust 2009; 6 (1): 81-99.
27 McGinn T, WYER PC, Newmann TB, Keitz, Leipzig R, pentru GG și colab. Sfaturi pentru elevii pentru medicina bazată pe dovezi: 3. Măsuri de variabilitate a observatorului (statistică KAPPA). Claj. 2004; 171 (11): 1369-73.
28. Álvarez-Martínez El, Pérez-câmpuri E. Utilitate clinică din tabelul 2×2. Rev Eviden Invest Clin. 2009; 2 (1): 22-7.
29. Colimon K-m. Programul de studiu și programul de control. In: Colimon Km. Fundamente ale epidemiologiei. Ediția 3a. Medellín: Corporation pentru investigații biologice; 2010. p. 123-124.
30. Landa N, Goñi A, García de Jalón E, López-Goñi JJ. Concordanță în diagnosticul dintre medicul pediatru și sănătatea mintală. Un Sist Sanit Navar. 2009, 32 (2): 161-8.
31 Conradsson M, Lundin-Olsson L, Lindelòf N, Littbrand H, Malmqvist L, Gustafson și și colab. Scala BERG BALANCE: Fiabilitatea testelor intranternate în rândul persoanelor în vârstă dependentă de activitățile de viață zilnică și de a trăi în instituțiile de îngrijire rezidențială. Phyr. 2007; 87 (9): 1155-63.
32 Lin CC, Bai Ym, Liu Cy Hsiao MC, Chen Jy Tsai Sj, și colab. Instrumentele bazate pe web pot fi utilizate în mod fiabil pentru a detecta pacienții cu tulburări depresive majore și simptome depresive subsyndromale. BMC Psihiatrie. 2007; 7: 12.
33. Schuster C. Kappa ca parametru al unui model de simetrie pentru acordul de rată. J EDUCH GAVENE STAT. 2001; 26 (3): 331-42.
34. Barnhart HX, Song J, Haber MJ. Evaluarea acordului intra, inter și total cu citirile replicate. STAT MED 2005; 24 (9): 1371-84.
35. Cohen J. Un coeficient de agrement pentru scalele nominale. Educ Psychol MEAS. 1960; 20 (3): 37-46.
36. Cohen J. KAPPA ponderată: Acordul la scară nominală cu prevederea dezacordului scalat sau a unui credit parțial. Psihol Bull. 1968; 70 (4): 213-20.
37. Epi-info 3.5.1. Atlanta: Centrele pentru controlul și prevenirea bolilor (CDC); 2008.
38. Paws 18.0. Chicago: SPSS. Inc; 2009.
39. SAS 9. SAS Institute Inc.; 2009.
40. STATA 11 pentru Windows. Stația de colegiu: StatiCorp LP; 2009.
42. Montori VM, Kleinbart J, Newman TB, Keitz S, WYER PC, Moyer V și colab. Măsuri de precizie (intervale de încredere). Claj. 2004; 171 (6): 611-5.
43. Cepeda-Cuervo E, Aguilar W, Cervantes V, Corrales M, Díaz I, Rodríguez D. Intervale de încredere și intervale de credibilitate pentru o proporție. Rev Colomb Estat. 2008; 31 (2): 211-28.
44. Abraira V. Indicele KAPPA. Semerce 2000; 27 (5): 247-9.
45. McGinn T, WYER PC, Newmann TB, Keitz S, Leipzig R, Guyatt G, și colab. Înțelegerea și calcularea kappa. Claj. 2004; 171 (11): 1-9. Disponibil în: .
46. CEPEDA MS, PÉREZ A. Studii de concordanță. În: Ruiz A, Gómez C, Londoño D. Cercetare clinică: Epidemiologia clinică aplicată: Bogotá: Centrul Editorial Javeriano, ECJA; 2001. p. 287-301.
47. Feinstein Ar, Cicchetti DV. Acordul ridicat, dar Kappa scăzut: I. Problemele a două paradoxuri. J Clin Epidemiol. 1990; 43 (6): 543-9.
48. Byrt t, Episcop J, Carlin JB. Părtinire, prevalență și kappa. J Clin Epidemiol. 1993; 46 (5): 422-9.
49. Cicchetti DV, Feinstein AR. Acordul ridicat, dar Kappa scăzut: II. Rezolvând paradoxurile. J cli n epidemiol. 1990; 43 (6): 551-8.
50. Streiner DL. Învățați cum să difuzați: Acordul și statisticile privind fiabilitatea în psihiatrie. J poate psihiatrie. 1995; 40 (2): 60-6.
51. Guggenmoos-Holzmann I. Semnificația KAPPA: concepte probabiliste de fiabilitate și valabilitate revizuite. J Clin Epidemiol. 1996; 49 (7): 775-82.
52. Cantor Ab. Calcule de dimensiuni de probă pentru Kappa lui Cohen. Metode psihologice. 1996; 1 (2): 150-3.
53. Streiner DL. Diagnosticarea testelor: Utilizarea și dezacordarea testelor de diagnosticare și de screening. J pers evaluează. 2003; 81 (3): 209-19.
54. Flahamb A, Cadilhac M, Thomas G. Calculul dimensiunii eșantionului trebuie efectuat pentru precizia de proiectare în studiile de testare a diagnosticului. J Clin Epidemiol. 2005; 58 (8): 859-62.
55. Kramer HC, Bloch Da. O notă privind eșantionarea caz-control pentru a estima coeficienții kappa. Biometries. 1990; 46 (1): 49-59.
56. Scotto Mg, Garcés la. Efectuarea corectă în sănătatea publică, estimările punctului, intervalele de încredere și angajarea ipotetică. Mex Sănătatea publică. 2003; 45 (6): 505-11.
Conflictul de interese: Autorii manifestă că nu au un conflict de interese în acest articol.