Intra- e interavaluation concordanza
Concordanza intra- e inter-rater
adalberto Campo-Arias1 Edwin Herazo2
1 medico psichiatrazionale. MSC (c). Gruppo di ricerca del comportamento umano, istituto di ricerca per il comportamento umano. Bogotá, Colombia.
2 medico psichiatrazionale. Gruppo di ricerca del comportamento umano, istituto di ricerca del comportamento umano, Bogotá, Colombia.
Mappa Adalberto Campo-Arias Research Group Comportamento umano Istituto Humancalle Comportamento Research Institute 58 No. 5-24, Ufficio 202 Bogotá, Colombia Camparias @ Comparadohumano .org
per la valutazione: 28 gennaio 2010 accettato per la pubblicazione: 27 aprile 2010
Sommario
Introduzione: in psichiatria, in intra e interavalutazione Studi concordanza sono importanti per misurare l’affidabilità o la riproducibilità delle valutazioni (interviste o scale etero-noddenti). OBIETTIVO: presentare alcuni principi sul processo di convalida di interviste diagnostiche o scale etero-intaccati e la gestione e la comprensione dei test statistici più utili per questi scopi. Metodo: revisione della letteratura. Risultati: la concordanza è intesa come il grado di accordo o disaccordo tra le valutazioni apportate allo stesso argomento successivamente da una valutazione o tra due o più intervistatori. Questo processo è della convalida degli strumenti, sia per identificare possibili casi o confermare la presenza di un disturbo mentale. Nella concordanza di intervalutazione, due o più psichiatri svolgono un’intervista indipendentemente e quasi simultaneamente a una persona e quindi il grado di accordo, la convergenza o la concordanza (o altro) può essere stimata tra le valutazioni e la conseguente diagnostica. La concordanza intra-valutazione è il grado di accordo nella diagnosi che ha lo stesso valutatore nel tempo. Il test di Kappa de Cohen viene utilizzato per stimare la concordanza e sono generalmente valori attesi superiori a 0,50; Ma è necessario conoscere la prevalenza prevista del disturbo mentale, il numero di valutatori o valutazioni e il numero di possibili categorie diagnostiche o categorie.
Parole chiave: Psicomazione, scale, riproducibilità dei risultati, studi di convalida, revisione.
Astratto
Introduzione: gli studi di concordanza intra- e inters-rater sono importanti al fine di misurare l’affidabilità o la riproduttività delle valutazioni (interviste o scale applicate da un rater) in psichiatria. Obiettivo: presentare alcuni principi ritardando il processo di convalida delle interviste diagnostiche o delle scale applicate da un rater e ritardando la gestione e la comprensione di test statistici più utili. Metodo: revisione della letteratura. Risultati: la concordanza è intesa come il grado di accordo o il disaccordo tra le valutazioni effettuate con lo stesso successivamente da un valutatore o tra due o più intervistatori. Questo processo fa parte della convalida degli strumenti, affidabilità in scala, al fine di identificare possibili casi o confermare la presenza del disturbo mentale. Interrompi Concordance si riferisce alla causa quando due o più psichiatri fanno un’intervista in modo indipendente e quasi simultaneamente a persona; Ciò può aiutare a stimare il grado di accordo, convergenza o concordanza (e in disaccordo, divergenza o discordanza) tra le valutazioni e la conseguente diagnostica. La concordanza intra-rater è il grado di accordo sulla diagnosi effettuata dallo stesso rater in tempi diversi. Il kappa di Cohen è usato per stimare la concordanza e i valori superiori a 0,50 sono attesi in generale. Per stimare costantemente il kappa di Cohen è necessario conoscere in precedenza la prevalenza prevista del disturbo mentale, il numero di valutazioni o valutatori e il numero di possibili categorie di diagnosi.
parole chiave: psicometrica, scale, riproducibilità dei risultati, Studi di convalida, revisione.
Introduzione
Lo sviluppo della psichiatria negli ultimi decenni risparmia una stretta relazione con l’implementazione sistematica dei criteri diagnostici per l’uso dei fornitori di servizi sanitari mentali, nonostante i limiti di questi criteri (1,2).
La standardizzazione dei criteri diagnostici è stata completata dal design e dalla convalida delle interviste diagnostiche, con lo scopo di standardizzare la maggior parte del processo di valutazione delle persone nella pratica clinica e Ricerca epidemiologica (3). Le interviste strutturate o semi-strutturate sono state progettate per l’applicazione da parte di persone senza formazione tecnica o professionale nella salute mentale o da persone con formazione e esperienza clinica formale (4).
Tuttavia, le discussioni accademiche iniziali sul possibile impatto negativo di questo approccio dei sintomi delle persone che consultano da disturbi mentali (1), un’attenta revisione delle manifestazioni cliniche e della presentazione di una diagnosi, provvisoria o di altro Recensito, richiedere professionisti in salute mentale e studiosi ben addestrati e, in particolare, gli psichiatri, che alla fine sono i professionisti chiamati a risolvere le controversie diagnostiche nella salute mentale. La diagnosi in quasi tutti i contesti della medicina, e soprattutto dalla psichiatria, richiede un attento giudizio clinico per dare sintomi una connotazione non adattativa o disfunzionale, cioè importanza o rilevanza clinica (5).
Concordanza è Compreso come il grado di accordo o disaccordo, tra le valutazioni che una persona si esibisce successivamente a un’altra persona o tra due o più intervistatori che effettuano una valutazione allo stesso soggetto (6,7). Questo processo fa parte della convalida degli strumenti, per verificare l’affidabilità, sia per identificare possibili casi o confermare la presenza di un disturbo mentale (6).
L’obiettivo di questa recensione è di presentare alcuni principi considerando Nel processo di convalidazione delle interviste diagnostiche o delle scale di etero-intasata, e la gestione e la comprensione dei test statistici più utili per questi scopi.
Principi
L’obiettivo centrale di un’intervista diagnostica Deve definire quale persona raccoglie criteri per un disturbo mentale e qual è lo specifico disturbo mentale, indipendentemente da chi esegue l’intervista (8). La determinazione della concordanza nel caso delle scale auto-eterografate, che di solito danno punteggi, viene eseguita dal procedimento come rewind di prova (test-rether, in inglese) (9). Questo processo è valido da test statistici, come la correlazione di Pearson (10,11), il coefficiente di correlazione intraclass (12), il coefficiente di concordanza di LIN (13) o il coefficiente di concordanza di Altman e Bland (14).
Sia nella convalida delle scale e nella convalida delle interviste, la seconda valutazione viene eseguita con un periodo definito, in base al disturbo che viene valutato. Si presume che durante questo sintomo rimanga stabile, con poche o piccole variazioni, e che le condizioni di misurazione o dell’intervista sono simili (15).
È importante tenere presente che in psichiatria il cambiamento della diagnosi Con il passare del tempo è un fenomeno frequente. Questo fatto diagnostico non strutturato o standardizzato, cambiamenti nei criteri diagnostici o la stessa storia naturale dei disturbi mentali che vengono valutati; cioè, l’instabilità o le modifiche che mostrano il set di sintomi nel tempo (15,16).
Un altro punto che deve essere mantenuto è che se due o più professionisti eseguono un colloquio con la stessa persona indipendentemente o il Lo stesso valutatore fa due o più interviste in un periodo, uno dei valutatori o una delle valutazioni dovrebbe essere presa come criterio di riferimento (standard d’oro) (17). I perfetti criteri di riferimento sono eccezionali in medicina, ancor più in psichiatria (18). Tuttavia, fa parte del presupposto che questo criterio che sia considerato un punto di confronto fa una perfetta classificazione delle diagnosi, senza errori; Cioè, con sensibilità al 100% e specificità del 100% (17-20). Questo confronto con un criterio di riferimento è anche parte del criterio (simultaneo) convalida di qualsiasi scala o strumento (21,22).
intra- e interavaluation concordanza o osservatori
Se due O più gli psichiatri svolgono un’intervista in modo indipendente e quasi simultaneamente una persona può stimare il grado di accordo, convergenza o concordanza (e disaccordo, divergenza o discordanza) tra valutazioni e diagnosi consequenziali, se si prende uno dei valutatori come criterio di riferimento. Fa parte del fatto che entrambi i professionisti hanno lo stesso allenamento; Questa stima è chiamata concordanza di intervallo o interbserver (6,23,24).
D’altra parte, se uno psichiatra esegue due o più valutazioni alla stessa persona con lo scopo di conoscere o confermare una diagnosi con L’uso di una tecnica identica, conformemente può essere stabilita nella diagnosi che ha lo stesso valutatore nel tempo. Questo calcolo è noto come concordanza intra-valutazione o intraobserver (7,25). Indubbiamente, la concordanza intra-valutazione ha il bias che induce la memoria del valutatore che può ricordare i dettagli della valutazione precedente che ha eseguito da stesso (26).
Test statistici per la concordanza intrettanti con risultati qualitativi
La diagnosi in psichiatria è, in generale, qualitativa o categorica, cioè, si conclude che la persona raccoglie criteri o no per un disturbo mentale al momento della valutazione o ad un certo punto della vita (5). Il numero di possibili categorie diagnostiche è K e il numero di valutatori è M. Se la valutazione di un valutatore viene confrontata con quella di un altro valutatore che viene presa come criterio di riferimento e sono possibili solo due diagnosi, ovvero k = 2 e m = 2, è possibile costruire una tabella di contingenza 2×2, con un minimo di quattro scatole (tetracorico), per osservare la concordanza tra i valutatori (24,27-29).
Sotto un esempio di uno studio di esempio ha studiato la concordanza di intervallo. In un’indagine che si è tenuta a Navarra, in Spagna, Landa e collaboratori quantificati la concordanza nell’identificazione di un disturbo mentale tra pediatri e professionisti della salute mentale. Nell’indagine, sono stati inclusi 207 bambini o adolescenti, sotto i 16 anni; Hanno trovato una concordanza osservata (PO) per la presenza di un disturbo mentale del 64,3% e un valore Kappa Kappa di Cohen Kappa di 0,58, con un intervallo di confidenza del 95% tra 0,51 e 0,66 (30).
Pochi studi sono eseguiti per esplorare la concordanza intraeva-lussuosa. Ad esempio, Conradsson e collaboratori valutati in 45 anziani in Umea, in Svezia, i punteggi che lo stesso valutatore hanno dato una scala per quantificare il saldo, da uno a tre giorni dopo la prima applicazione. Questo strumento è composto da 14 domande, con un modello di risposta politomica (Likert), con cinque opzioni qualificate da zero a quattro. Hanno riportato la concordanza intraevalua-doror per ogni domanda attraverso il coefficiente ponderato K e l’intervallo di confidenza del 95%. I valori ponderati K (Kappa) sono stati trovati tra 0,55 e 0,83 (31).
Allo stesso modo, è possibile progettare una tabella di contingenza più complessa, in cui viene confrontata, ad esempio , concordanza nella diagnosi specifica tra un gruppo di pazienti che incontra i criteri per diverse possibili categorie (K > 2), ad esempio, un disturbo depressivo (disturbo depressivo principale, distretto di disturbo, depressivo Disturbo dovuto a condizioni mediche, disturbo depressivo dovuto all’uso di sostanze o medicine o disturbo depressivo non specificato). E allo stesso tempo due valutatori partecipano o vengono eseguite valutazioni separate nel tempo (M = 2). Per questa situazione, la tabella di contingenza KXM sarà 5 * 2 (25).
Come esempio di uno studio concordanza di più di due categorie diagnostiche, LIN e collaboratori hanno osservato la concordanza in 579 adulti, dopo aver risposto Una scala disponibile su Internet per identificare disturbi depressivi (disturbo depressivo maggiore, disturbi depressivi inferiori, sintomi depressivi subindromici e assenza di disturbo depressivo), tra le applicazioni fatte ogni due settimane (due, quattro o più settimane) e ha riportato il K Valori: 0,80, 0,42 e 0,51, alla seconda settimana, alla quarta settimana e più settimane, rispettivamente (32).
concordanza tra due valutatori o tra due o più osservazioni dello stesso valutatore può essere reale o prodotto o risultato casuale. Pertanto, inoltre, della concordanza osservata, è necessario stimare fino a che punto la media casuale o la probabilità (33.34). Il test statistico utilizzato per questo scopo è il test K Cohen (35). Quando viene calcolato da due possibili categorie e solo due valutatori, k = 2 e m = 2, di una tabella di contingenza 2 * 2, si chiama media di Cohen o, semplicemente, K. Tuttavia, nei casi in quelli calcolati con k > 2 (o con un risultato ordinale) o m > 2 è stimato un valore k ponderato (24, 27,36) ( Vedere la Tabella 1).
La Cohen Kid K può essere calcolata con Formula 1. Tuttavia, i programmi statistici più utilizzati Nel mondo, come Epiinfo (37), PASW (in precedenza, SPSS) (38), SAS (39) o Stata (40), stimano più rapidamente e segnalare l’intervallo di confidenza del 95%, come misura della precisione di stima (41-43). I valori K possono essere compresi tra zero e uno, a una maggiore vicinanza con il maggiore accordo nelle misurazioni effettuate dallo stesso valutatore o dei diversi valutatori. Il modo in cui è interpretato in modo razionale questo coefficiente è presentato nella Tabella 2 (44,45). L’interpretazione del test statistico deve considerare l’utilità clinica delle misurazioni in studio (46).
Considerazione importante
>
Come la sensibilità, la specificità e i valori predittivi calcolati con i dati di una tabella di contingenza di 2 * 2, il test K è direttamente proporzionale alla frequenza o alla prevalenza del disturbo mentale che è studiato (47 , 48). Di conseguenza, il K può essere basso, tuttavia alto valore per la concordanza osservata (49). La K è solitamente più robusta quando la prevalenza del disturbo investigata è alta e indebolita quando la prevalenza è bassa (50,51).
Dimensione del campione
La dimensione del campione è spesso ignorato in studi di convalida o osservazione delle prestazioni psicometriche degli strumenti sanitari (18). Il calcolo del campione per uno studio concordanza e il calcolo di un valore K devono considerare diversi punti: il numero di valutatori o valutazioni (52) e il numero di possibili categorie diagnostiche (53). Allo stesso modo, la prevalenza prevista o stimata del disturbo mentale deve essere riflesso, come se fosse quello di stimare la sensibilità o la specificità, ed è parte di una tabella di contingenza 2 * 2 (54). Avere molto presente questo punto consente di avere un numero sufficiente di partecipanti in ogni scatola nella tabella per la costruzione (48.50-52.55). Ciò raggiunge un miglior grado di precisione, con un intervallo di confidenza più ristretto (42-44,56).
Conclusioni
Conclusioni
Gli studi concordanza in interazione sono importanti per misurare l’affidabilità o la riproducibilità delle valutazioni (interviste o scale) in psichiatria. Per valutazioni con risultati categoriali (qualitativi), l’accordo oltre casuale è stimato con il coefficiente di K di Cohen (media o ponderata). Il coefficiente di K può essere trovato tra zero e uno, e solitamente previsto tra 0,41 e 0,60 o più. La prevalenza dei disturbi o dei disturbi che è investigata può influenzare la stima del coefficiente. Un esempio ragionevole Seabel è necessario per pranzare un valore di abbastanza preciso.
Riferimenti
2. Rogler lh. Fare senso dei cambiamenti storici nel manuale diagnostico e statistico dei disturbi mentali: cinque disposizioni. J si comportano il comportamento della salute. 1997; 38 (1): 9-20.
3. Páez F, Nicolini H. Le interviste per la diagnosi clinica in psichiatria. Salute mentale. 1996; 19 (SUPL 2): 19-25.
4. Calinou I, McClelanlan J. Interviste diagnostiche. Cur Cur Psychiatry Rep. 2004; 6 (2): 88-95.
5. Eaton WW, HALL AL, MACDONALD R, MCKIBBEN J. Identificazione del caso in epidemiologia psichiatrica: una recensione. Int Rev Psychiatry. 2007; 19 (5): 497-507.
7. Alarcón Am, Muñoz S. Misura della salute: alcune considerazioni metodologiche. Rev Med Cile. 2008; 136 (1): 125-30.
8. Othmer E, Othmer SC. DSM-IV-TR. L’intervista clinica. Fondamentali Tomo I. Madrid: Masson; 2001.
9. Sánchez R, Echeverry J. Convalida delle scale di misurazione della salute. Salute pubblica della riva 2004; 6 (3): 302-18.
10. Pearson K. Determinazione del coefficiente di correlazione. Scienza 1909; 30 (757): 23-5.
11. Spearman C. Correlazione calcolata dai dati difettosi. BR J Psychol. 1910; 3: 271-95.
12. Shrout PE, Fleiss Jl. Correlazioni intraclasse: usi nella valutazione dell’affidabilità del rater. Psychol Bull. 1979; 86 (2): 420-8.
13. Lin L. una concordanza correlata sul coefficiente per valutare la riproduttività. Biometrica 1989; 45 (1): 255-68.
14. Bland JM, Altman DG. Metodi statistici per valutare il contratto tra due metodi di misurazione clinica. Lancetta 1986; 1 (8476): 307-10.
15. LECCIER AND AFFINEMENT della diagnosi e della classificazione delle malattie in psichiatria. EUR Arco Psychiatry Clin Neurosci. 2008; 258 supplezione 1: 6-11.
16. Vicini HW, Ford BC, Ford BC, Muroff Jr. Differenze razziali nella diagnosi DSM utilizzando uno strumento semi-strutturato: l’importanza del giudizio clinico nella diagnostica degli afroamericani. J si comportano il comportamento della salute. 2003; 44 (3): 237-56.
17. Rielgelman RK, Definizione della malattia di Hirsch RP: Test dorato. Bol di Sanit Panam. 1991; 111 (6): 534-38.
18. Knottnerus ha, van Weel C, Muris JWM. Valutazione delle procedure diagnostiche. BMJ. 2002; 324 (7335): 477-80.
19. López-Jiménez F, Rohde Lef, Luna-Jiménez Ma. Problemi e soluzioni nell’interpretazione dei test diagnostici. Rev Invest Clin. 1998; 50 (1): 65-72.
20. Castro-Jiménez Ma, Cabrera-Rodríguez D, Castro-Jiménez MI. Valutazione delle tecnologie diagnostiche: concetti di base in uno studio sezione trasversale. Rev Colomb Obette Gynecol. 2007; 58 (1): 45-52.
21. Morgan GA, Gliner Ja, Harmon rj. Validità della misurazione. J AM ACAD Child Ado-Lesc Psychiatry. 2001; 40 (6): 729-31.
22. Bland JM, Altman DG. Convalida di scale e indici. BMJ. 2002; 324 (7337): 606-7.
23. Ludbrook J.Tecniche statistiche per confrontare misuratori e metodi di misurazione: revisione critica. Clin Exp Pharmacol Physiol. 2002; 29 (7): 527-36.
24. Watkins MW, Pacheco M. Accordo di interbserver nella ricerca comportamentale: importanza e calcolo. J BESSURE EDUD. 2000; 10 (4): 205-12.
25. KRAMER HC, Periyakoyl vs, Noda A. Coefficienti Kappa in Ricerca medica. Stat Med 2002; 21 (14): 2109-29.
26. Ibáñez C, Maganto C. Il processo di valutazione clinica: cognizioni del valutatore. Summa Psicol Ust 2009; 6 (1): 81-99.
27 McGinn T, Wyer PC, Newmann Tb, Keitz, Leipzig R, per GG, et al. Suggerimenti per gli studenti per medicina basata sull’evidenza: 3. Misure di variabilità dell’osservatore (statistica Kappa). Claj. 2004; 171 (11): 1369-73.
28. Álvarez-Martínez He, Pérez-Fields E. Utilità clinica della Tabella 2×2. Rev Eviden Invest Invest Clin. 2009; 2 (1): 22-7.
29. Colimon k-m. Programma di studio e programma di controllo. In: Colimon km. Fondamenti di epidemiologia. 3a edizione. Medellín: Corporation per indagini biologiche; 2010. p. 123-124.
30. LANDA N, GOÑI A, GARCÍA DE JALÓN E, LÓPEZ-GOÑI JJ. Concordanza nella diagnosi tra pediatra e salute mentale. Un sanit navar sanitario. 2009, 32 (2): 161-8.
31 Conradsson M, Lundin-Olsson L, Lindelòf N, Littbrand H, Malmqvist L, Gustafson e et al. BERG Bilancia Bilancia: intraratern Test-Retest Affidabilità tra le persone anziane dipendenti da attività di vita quotidiana e vivendo in strutture per la cura residenziale. Fisico. 2007; 87 (9): 1155-63.
32 Lin cc, Bai Ym, Liu Cy Hsiao MC, Chen Jy Tsai SJ, et al. Gli strumenti basati sul web possono essere utilizzati in modo affidabile per rilevare i pazienti con disturbo depressivo maggiore e sintomi depressivi sottosiordomi. Psichiatria BMC. 2007; 7: 12.
33. Schuster C. Kappa come parametro di un modello di simmetria per un accordo di tasso. J educa il comportamento statistico. 2001; 26 (3): 331-42.
34. Barnhart HX, Song J, Haber MJ. Valutare ACCORTAMENTO INTRA, INTER E TOTALE CON LETTURA REPLICATE. Stat Med 2005; 24 (9): 1371-84.
35. Cohen J. Un coefficiente di concorda per bilance nominali. Educa psicol misura. 1960; 20 (3): 37-46.
36. Cohen J. Kappa ponderata: contratto di scala nominale con disposizione per disaccordo scalabile o credito parziale. Psychol Bull. 1968; 70 (4): 213-20.
37. Epi-info 3.5.1. Atlanta: centri per il controllo e la prevenzione delle malattie (CDC); 2008.
38. Zampe 18.0. Chicago: SPSS. Inc; 2009.
39. SAS 9. SAS Institute Inc.; 2009.
40. Stata 11 per Windows. Stazione del college: STACORP LP; 2009.
42. Montori VM, Kleinbart J, Newman TB, Keitz S, Wyer PC, Moyer V, et al. Misure di precisione (intervalli di confidenza). Claj. 2004; 171 (6): 611-5.
43. Cepeda-CUERVO E, Aguilar W, Cervantes V, Corrales M, Díaz I, Rodríguez D. Intervalli di confidenza e intervalli di credibilità per una proporzione. Rev Colomb Estat. 2008; 31 (2): 211-28.
44. Abraira V. L’indice Kappa. SEMERCE. 2000; 27 (5): 247-9.
45. McGinn T, Wyer PC, Newmann Tb, Keitz S, Leipzig R, Guayatt G, et al. Comprensione e calcolo del kappa. Claj. 2004; 171 (11): 1-9. Disponibile in: http://www.cmaj.ca/cgi/data/171/11/1369/DC1/1.
46. Cepeda MS, Pérez A. Studi concordanza. In: Ruiz A, Gómez C, Londoño D. Ricerca clinica: Epidemiologia clinica applicata: Bogotá: Centro editoriale Javeriano, ECJA; 2001. p. 287-301.
47. Feinstein AR, Cicchetti DV. Accordo elevato ma basso Kappa: I. I problemi di due paradossi. J Clin Epidemiolo. 1990; 43 (6): 543-9.
48. Byrt T, Bishop J, Carlin JB. Bias, prevalenza e kappa. J Clin Epidemiolo. 1993; 46 (5): 422-9.
49. Cicchetti DV, Feinstein AR. Accordo elevato ma basso Kappa: II. Risoluzione dei paradossi. J cli n epidemiolo. 1990; 43 (6): 551-8.
50. Streiner DL. Imparare come diffidare: statistiche di accordo e affidabilità in psichiatria. J può psichiatria. 1995; 40 (2): 60-6.
51. Guggenmoos-Holzmann I. Il significato di Kappa: concetti probabilistici di affidabilità e validità rivisitati. J Clin Epidemiolo. 1996; 49 (7): 775-82.
52. Cantor AB. Calcoli di dimensioni del campione per Kappa di Cohen. Metodi di psicol. 1996; 1 (2): 150-3.
53. Streiner DL. Diagnostisi dei test: utilizzo dei test diagnostici e di screening con uso improprio. J persess. 2003; 81 (3): 209-19.
54. Flahambl A, CADILHAC M, Thomas G. Il calcolo delle dimensioni del campione deve essere eseguito per la precisione di progettazione negli studi di test diagnostici. J Clin Epidemiolo. 2005; 58 (8): 859-62.
55. KRAMER HC, Bloch DA. Una nota sul campionamento del caso-controllo per stimare i coefficienti di kappa. Biometrica 1990; 46 (1): 49-59.
56. Scotto mg, Garcés at. Esecuzione correttamente in salute pubblica, punti di stima del punto, intervalli di confidenza e assunti ipotetici. Mex Salute pubblica. 2003; 45 (6): 505-11.
Conflitto di interessi: gli autori manifestano di non avere conflitto di interessi in questo articolo.