CONCORDANCE INTRA-ET INTERVALUATION

CONCORDANCE INTRA-ET INTERVALUATION

CONCORDANCE INTRO-ET INTER-RATER

Adalberto Campo-Arias1 Edwin Herazo2

1 médecin psychiatrique. Msc (c). Groupe de recherche sur le comportement humain, Institut de recherche du comportement humain. Bogotá, Colombie.

2 Docteur psychiatrique. Groupe de recherche sur le comportement humain, Institut de recherche sur le comportement humain, Bogotá, Colombie.

Carte Adalberto Campo-Arias Groupe de recherche Human Comportement Institut Humancalle Comportement Institut 58 No. 5-24, Bureau 202 Bogotá, Colombie Camparias @ Comportadohumano .org

Réciisée pour évaluation: 28 janvier 2010 Accepté pour publication: 27 avril 2010

Résumé

Introduction: En psychiatrie, intra et intermédiation des études de concordance sont importants pour mesurer la fiabilité ou la reproductibilité des évaluations (interviews ou échelles hétérosdonnées). Objectif: présenter des principes sur le processus de validation des entretiens de diagnostic ou des échelles hétéro-nickées, ainsi que la gestion et la compréhension des tests statistiques les plus utiles à ces fins. Méthode: Examen de la littérature. RÉSULTATS: La concordance est comprise comme le degré d’accord ou de désaccord entre les évaluations apportées au même sujet successivement par une évaluation ou entre deux ou plusieurs intervieweurs. Ce processus est de la validation des instruments, soit d’identifier les cas possibles, soit de confirmer la présence d’un trouble mental. Dans la concordance de l’intégration, deux psychiatres ou plus exercent une interview de manière autonome et presque simultanément à une personne et, par conséquent, le degré d’accord, de convergence ou de concordance (ou autrement) peut être estimé entre les évaluations et les diagnostics conséquents. La concordance intra-évaluation est le degré d’accord dans le diagnostic qui a le même évaluateur au fil du temps. Le test Kappa de Cohen est utilisé pour estimer la concordance et sont généralement des valeurs attendues supérieures à 0,50; Mais il est nécessaire de connaître la prévalence attendue du trouble mental, du nombre d’évaluateurs ou d’évaluateurs et le nombre de catégories de diagnostic possibles ou de catégories de diagnostic.

mots-clés: psychométrie, échelles, reproductibilité des résultats, études de validation, examen.

Résumé

Introduction: Les études de concordance intra-ressources sont importantes afin de mesurer la fiabilité ou la reproduction des évaluations (interviews ou échelles appliquées par un raat) en psychiatrie. Objectif: présenter des principes en retardant le processus de validation des entretiens de diagnostic ou des échelles appliquées par un rater et retardant la manipulation et la compréhension d’essais statistiques plus utiles. Méthode: Examen de la littérature. RÉSULTATS: La concordance est comprise comme la note d’accord ou de désaccord entre les évaluations apportées à la même successivement par un évaluateur ou parmi deux ou plusieurs enquêteurs. Ce processus fait partie de la validation des instruments, de la fiabilité de l’échelle, afin d’identifier les cas éventuels ou de confirmer la présence de trouble mental. La concordance interrater fait référence à l’affaire lorsque deux psychiatres ou plus font une entrevue de manière indépendante et presque simultanément à la personne; Cela peut aider à estimer le grade d’accord, de convergence ou de concordance (et de désaccord, de divergence ou de discordance) parmi les évaluations et les diagnostics conséquents. La concordance intra-Rater est la note d’accord sur le diagnostic effectué par le même rater à différents moments. Kappa de Cohen est utilisé pour estimer la concordance et les valeurs supérieures à 0,50 sont attendues en général. Pour estimer de manière appropriée, Kappa est nécessaire pour connaître auparavant la prévalence attendue du trouble mental, le nombre d’évaluations ou des évaluations, et le nombre de catégories de diagnostic possibles.

mots clés: psychométrie, échelles, reproductibilité des résultats, Études de validation, examen.

Introduction

Le développement de la psychiatrie au cours des dernières décennies économise une relation étroite avec la mise en œuvre systématique des critères de diagnostic pour l’utilisation des fournisseurs de services de santé mentaux, malgré les limites de ces critères (1,2).

La normalisation des critères de diagnostic a été complétée par la conception et la validation des entretiens de diagnostic, dans le but de normaliser la majeure partie du processus d’évaluation des personnes en pratique clinique et Recherche épidémiologique (3). Des entretiens structurés ou semi-structurés ont été conçus pour la demande de personnes sans formation technique ou professionnelle en santé mentale ni par des personnes ayant une formation et une expérience clinique formelle (4).

Toutefois, des discussions académiques initiales sur l’impact négatif possible de cette approche des symptômes des personnes qui consultent des troubles mentaux (1), un examen minutieux des manifestations cliniques et la présentation d’un diagnostic, provisoire ou un de plus Examiné, demande à la demande de professionnels de la santé mentale et des érudits bien formés et, en particulier des psychiatres, qui sont finalement les professionnels appelés à régler les controverses de diagnostic en santé mentale. Le diagnostic dans presque tous les contextes de la médecine, et en particulier de la psychiatrie, nécessite un jugement clinique minutieux de donner des symptômes une connotation non adaptative ou dysfonctionnelle, c’est-à-dire une importance capitale ou clinique (5).

concordance est compris comme le degré d’accord ou le désaccord, entre les évaluations qu’une personne effectue successivement à une autre personne ou entre deux ou plusieurs enquêteurs qui effectuent une évaluation au même sujet (6,7). Ce processus fait partie de la validation des instruments, de vérifier la fiabilité, que ce soit pour identifier les cas éventuels ou confirmer la présence d’un trouble mental (6).

L’objectif de cet examen est de présenter des principes en considérant Dans le processus de validation des entretiens de diagnostic ou des échelles hétéro-nickées, et la manipulation et la compréhension des tests statistiques les plus utiles à ces fins.

Principes

L’objectif central d’une interview de diagnostic Il est de définir la personne qui recueille des critères pour un trouble mental et quel est le trouble mental spécifique, quel que soit l’OMS qui effectue l’entretien (8). La détermination de la concordance dans le cas des échelles auto-hétérocylées, qui donnent généralement des scores, est effectuée par la procédure comme retouche de test (test-retest, en anglais) (9). Ce processus est valable à partir de tests statistiques, tels que la corrélation de Pearson (10, 11), le coefficient de corrélation intraclasse (12), le coefficient de concordance de lin (13) ou le coefficient de concordance d’Altman et Bland (14).

Dans la validation des échelles et dans la validation des entretiens, la deuxième évaluation est effectuée avec une période définie, selon le trouble évalué. On suppose que pendant ces symptômes restent stables, avec peu de variations ou de petites variations, et que les conditions de mesure ou d’entretien sont similaires (15).

Il est important de garder à l’esprit que la psychiatrie le changement de diagnostic Avec le temps qui passe est un phénomène fréquent. Ce fait de diagnostic non structuré ou normalisé, les modifications des critères de diagnostic ou les mêmes antécédents naturels des troubles mentaux évalués; c’est-à-dire l’instabilité ou les changements montrant l’ensemble de symptômes au fil du temps (15,16).

Un autre point à garder est que si deux ou plusieurs professionnels effectuent une entrevue avec la même personne de manière indépendante ou Le même évaluateur fait deux entretiens ou plus dans une période, l’un des évaluateurs ou l’une des évaluations doit être considérée comme des critères de référence (norme Gold) (17). Les critères de référence parfaits sont exceptionnels en médecine, encore plus dans la psychiatrie (18). Cependant, il fait partie de l’hypothèse que ce critère considéré comme un point de comparaison constitue une classification parfaite des diagnostics, sans erreur; C’est-à-dire que la sensibilité à 100% et la spécificité de 100% (17-20). Cette comparaison avec un critère de référence fait également partie du critère (simultanément) Validation de toute échelle ou instrument (21,22).

concordance intra-et intermédiaire ou observateurs

si deux Ou davantage de psychiatres effectuent une interview de manière indépendante et presque simultanément une personne peut estimer le degré d’accord, de convergence ou de concordance (et de désaccordement, de divergence ou de discordance) entre les évaluations et les diagnostics consécutifs, si l’on prend l’un des évaluateurs comme critère de référence. Cela fait partie du fait que les deux professionnels ont la même formation; Cette estimation s’appelle une concordance d’intégration ou un intervaleur (6,23,24).

D’autre part, si un psychiatre effectue deux évaluations ou plus de la même personne dans le but de savoir ou de confirmer un diagnostic avec L’utilisation d’une technique identique, elle peut être établie dans le diagnostic qui a le même évaluateur au fil du temps. Ce calcul est appelé concordance intra-évaluation ou intraobserver (7,25). Sans aucun doute, la concordance intra-évaluation a le biais qui induit la mémoire de l’évaluateur qui peut se souvenir des détails de l’évaluation précédente qu’il a elle-même effectuée (26).

Tests statistiques pour l’évaluation de la concordance avec des résultats qualitatifs

Le diagnostic de psychiatrie est, en général, qualitatif ou catégorique, c’est-à-dire qu’il est conclu que la personne rassemblait des critères ou non pour un trouble mental au moment de l’évaluation ou à un moment donné de la vie (5). Le nombre de catégories de diagnostic possibles est K et le nombre d’évaluateurs est M. si l’évaluation d’un évaluateur est comparée à celle d’un autre évaluateur qui est considéré comme un critère de référence et que seuls deux diagnostics sont possibles, soit k = 2 et m = 2, une table d’urgence 2×2 peut être construite, avec un minimum de quatre boîtes (tétracorique), pour observer la concordance entre les évaluateurs (24 27-29).

ci-dessous un exemple de l’exemple d’un exemple enquêté sur la concordance de l’intégration. Dans une enquête qui s’est tenue à Navarre, en Espagne, Landa et Collaborateurs ont quantifié la concordance dans l’identification d’un trouble mental entre les pédiatres et les professionnels de la santé mentale. Dans l’enquête, 207 enfants ou adolescents ont été inclus, de moins de 16 ans; Ils ont trouvé une concordance observée (PO) pour la présence d’un trouble mental de 64,3% et une valeur de Cohen Kappa Kappa de 0,58, avec un intervalle de confiance de 95% compris entre 0,51 et 0,66 (30).

Peu d’études sont effectués pour explorer la concordance luxueuse intra -eva. Par exemple, Conradsson et Collaborateurs ont évalué dans 45 personnes âgées d’Umea, en Suède, les scores que le même évaluateur a donné à une échelle pour quantifier l’équilibre, de un à trois jours après la première demande. Cet instrument comprend 14 questions, avec un modèle de réponse poliomique (Likert), avec cinq options qualifiées de zéro à quatre. Ils ont signalé une concordance intra -evalua-Dor pour chaque question à travers le coefficient K pondéré et l’intervalle de confiance de 95%. Les valeurs k (kappa) pondérées ont été trouvées entre 0,55 et 0,83 (31).

de la même manière, il est possible de concevoir une table d’urgence plus complexe dans laquelle il est comparé, par exemple , concordance dans le diagnostic spécifique entre un groupe de patients qui répond aux critères de plusieurs catégories possibles (K > 2), par exemple, un trouble dépressif (trouble dépressif majeur, district de désordre, dépressif trouble due à une condition médicale, trouble dépressif due à l’utilisation de substance ou de médicaments, ou trouble dépressif non spécifié). Et dans le même temps, deux évaluateurs participent ou séparément des évaluations sont effectuées à temps (m = 2). Pour cette situation, la table de contingence KXM sera de 5 * 2 (25).

Comme exemple d’une étude de concordance de plus de deux catégories de diagnostic, Lin et collaborateurs ont observé la concordance de 579 adultes, après avoir répondu une échelle disponible sur Internet pour identifier les troubles dépressifs (trouble dépressif majeur, trouble dépressif inférieur, symptômes dépressifs subindromiques et absence de trouble dépressif), parmi les applications qui ont été effectuées toutes les deux semaines (deux, quatre semaines) et ont signalé le k Valeurs: 0,80, 0,42 et 0,51, à la deuxième semaine, à la quatrième semaine et plus de semaines, respectivement (32).

concordance entre deux évaluateurs ou entre deux ou plusieurs observations du même évaluateur peuvent être réelles ou produit ou résultat aléatoire. Par conséquent, en outre, de la concordance observée, il est nécessaire d’estimer dans quelle mesure la probabilité moyenne ou la probabilité (33,34). Le test statistique utilisé à cet effet est le test K Cohen (35). Lorsqu’il est calculé à partir de deux catégories possibles et de deux évaluateurs uniquement, K = 2 et M = 2, d’un tableau de contingence 2 * 2, il s’appelle Cohen Media ou, simplement, K. Cependant, dans des cas de ceux qui sont calculés avec k > 2 (ou avec un résultat ordinal) ou m > 2 est estimé à une valeur K pondérée (24, 27,36) ( Voir le tableau 1).

Le kid Cohen K peut être calculé avec la formule 1. Toutefois, les programmes statistiques les plus largement utilisés Dans le monde, comme Epiinfo (37), PASW (précédemment, SPSS) (38), SAS (39) ou Stata (40), estimez-le plus rapidement et signalez l’intervalle de confiance de 95%, en tant que mesure de la précision d’estimation (41-43). Les valeurs de K peuvent être comprises entre zéro et une, à une plus grande proximité avec le plus grand accord dans les mesures effectuées par le même évaluateur ou différents évaluateurs. La façon dont il est interprété de manière rationnelle ce coefficient est présenté dans le tableau 2 (44,45). L’interprétation du test statistique doit envisager l’utilité clinique des mesures à l’étude (46).

considération importante

Comme la sensibilité, la spécificité et les valeurs prédictives calculées avec les données d’un tableau de contingence de 2 * 2, le test K est directement proportionnel à la fréquence ou à la prévalence du trouble mental étudié (47 , 48). Par conséquent, le K peut être faible, mais une valeur élevée pour la concordance observée (49). Le K est généralement plus robuste lorsque la prévalence du trouble étudiée est élevée et affaiblie lorsque la prévalence est faible (50,51).

taille de l’échantillon

La taille de l’échantillon est souvent ignorée dans des études de validation ou observation des performances psychométriques des instruments de santé (18). Le calcul de l’échantillon d’une étude de concordance et le calcul d’une valeur K doit prendre en compte plusieurs points: le nombre d’évaluateurs ou d’évaluations (52) et le nombre de catégories de diagnostic possibles (53). De la même manière, la prévalence attendue ou estimée du trouble mental doit être réfléchie, comme si elle devait estimer la sensibilité ou la spécificité, et fait partie d’un tableau de prévention 2 * 2 (54). Après avoir très présent, ce point permet d’avoir un nombre suffisant de participants dans chaque boîte de la table pour la construction (48.50-52.55). Cela atteint un meilleur degré de précision, avec un intervalle de confiance plus étroit (42-44.56).

Conclusions

Inter-évaluateur Les études de concordance sont importantes pour mesurer la fiabilité ou la reproductibilité des évaluations (entretiens ou balances) en psychiatrie. Pour les évaluations avec des résultats catégoriques (qualitatifs), l’accord au-delà du hasard est estimé avec le coefficient de K de Cohen (moyen ou pondéré). Le coefficient de K peut être trouvé entre zéro et un, et généralement attendu entre 0,41 et 0,60 ou plus. La prévalence des troubles ou des troubles soumis à une enquête peut affecter l’estimation du coefficient. Un échantillon raisonnable de Seabel est nécessaire pour déjeuner une valeur suffisamment précise.

références

2. Rogler lh. Faire du sens des changements historiques du Manuel diagnostique et statistique des troubles mentaux: cinq dispositions. J soins de santé. 1997; 38 (1): 9-20.

3. Páez F, Nicolini H. Les entretiens du diagnostic clinique en psychiatrie. Santé mentale. 1996; 19 (Supl 2): 19-25.

4. Calinou I, McClellan J. Entretiens de diagnostic. Cur psychiatry rep. 2004; 6 (2): 88-95.

5. Eaton WW, Hall Al, MacDonald R, McKibben J. Identification de cas en épidémiologie psychiatrique: un examen. Int Rev psychiatrie. 2007; 19 (5): 497-507.

7. Alarcón am, Muñoz S. Mesure de la santé: certaines considérations méthodologiques. Rev med chili. 2008; 136 (1): 125-30.

8. Othmer E, Othmer Sc. DSM-IV-TR. L’entretien clinique. Fondamentaux Tomo I. Madrid: Masson; 2001.

9. Sánchez-r, Echeverry J. Validation des échelles de mesure de la santé. Rév. 2004; 6 (3): 302-18.

10. Pearson K. Détermination du coefficient de corrélation. Science 1909; 30 (757): 23-5.

11. Spearman C. Corrélation calculée à partir de données défectueuses. BR J Psychol. 1910; 3: 271-95.

12. Créré en PE, Fleiss Jl. Corrélations intraclasses: utilisations dans l’évaluation de la fiabilité de l’éducation. Psychol Bull. 1979; 86 (2): 420-8.

13. Lin L. Un concordance corrélati sur le coefficient pour évaluer la reproduction. Biométrie 1989; 45 (1): 255-68.

14. Bland JM, Altman DG. Méthodes statistiques pour évaluer l’accord entre deux méthodes de mesure clinique. Lancette 1986; 1 (8476): 307-10.

15. Lecrubier et raffinement du diagnostic et de la classification des maladies en psychiatrie. EUR Arch Psychiatry Clin Neurosci. 2008; 258 Suppl 1: 6-11.

16. Voisins HW, Vieweiler SJ, Ford-BC, Muroff Jr. Différences raciales dans le diagnostic DSM utilisant un instrument semi-structuré: l’importance du jugement clinique dans les diagnostics des Afro-Américains. J soins de santé. 2003; 44 (3): 237-56.

17. RIELGELMAN RK, Hirsch RP Définition de la maladie: test d’or. Bol de Sanit Panam. 1991; 111 (6): 534-38.

18. Knottnerus ha, van Weel C, Muris Jwm. Évaluation des procédures de diagnostic. BMJ 2002; 324 (7335): 477-80.

19. López-Jiménez F, Rohde Lef, Luna-Jiménez Ma. Problèmes et solutions dans l’interprétation des tests de diagnostic. Rev Invest Clin. 1998; 50 (1): 65-72.

20. Castro-Jiménez Ma, Cabrera-Rodríguez D, Castro-Jiménez MI. Évaluation des technologies de diagnostic: concepts de base dans une étude de section transversale. Rev colomb Obette Gynecol. 2007; 58 (1): 45-52.

21. Morgan Ga, Gliner Ja, Harmon RJ. Validité de la mesure. J AM ACA ACAD ENFANT ADO-LACS Psychiatry. 2001; 40 (6): 729-31.

22. Bland JM, Altman DG. Validation des échelles et des index. BMJ 2002; 324 (7337): 606-7.

23. Ludbrook J.Techniques statistiques pour comparer les mesures et les méthodes de mesure: examen critique. Clin EXP Pharmacol Physiol. 2002; 29 (7): 527-36.

24. WATKINS MW, Pacheco M. Interobserver Accord sur la recherche comportementale: importance et calcul. J COORD EDG. 2000; 10 (4): 205-12.

25. Kramer HC, Periyakoyl vs, coefficients de Noda A. Kappa dans la recherche médicale. Stat-Med 2002; 21 (14): 2109-29.

26. Ibáñez C, Maganto C. Le processus d’évaluation clinique: cognitions d’évaluateurs. Summa Psicol UST 2009; 6 (1): 81-99.

27 McGinn T, Wyer PC, Newmann TB, Keitz, Leipzig R, pour GG, et al. Conseils pour les apprenants à la médecine fondée sur des preuves: 3. Mesures de la variabilité des observateurs (statistique de Kappa). CLAJ. 2004; 171 (11): 1369-73.

28. Álvarez-Martínez il, Pérez-Fields E. Utilitaire clinique du tableau 2×2. Rev Eviden Invest Clin. 2009; 2 (1): 22-7.

29. Colimon K-m. Programme d’étude et programme de contrôle. Dans: colimon km. Principes fondamentaux de l’épidémiologie. 3a édition. Medellín: Corporation pour des enquêtes biologiques; 2010. p. 123-124.

30. Landa N, Goñi A, García de Jalón E, López-Goñi JJ. Concordance dans le diagnostic entre le pédiatre et la santé mentale. Une savon Sanit Navar. 2009, 32 (2): 161-8.

31 Conradsson M, Lundin-Olsson L, Lidelòf n, Littbrand H, Malmqvist L, Gustafson et et et al. Berg Balance Échelle: IntrariaN Test-Test-Fiabilité chez les personnes âgées dépendant des activités de la vie quotidienne et de la vie dans les établissements de soins d’une résidence. Phys ther. 2007; 87 (9): 1155-63.

32 Lin CC, Bai YM, Liu Cy Hsiao MC, Chen Jy Tsai SJ, et al. Les outils Web peuvent être utilisés de manière fiable pour détecter les patients présentant un trouble dépressif majeur et des symptômes dépressifs sous-fonds. Psychiatrie BMC. 2007; 7: 12.

33. Schuster C. Kappa en tant que paramètre d’un modèle de symétrie pour un accord de taux. J statiste de comportement. 2001; 26 (3): 331-42.

34. Barnhart Hx, chanson J, Haber MJ. Évaluation de l’accord intra, moyen et total avec des lectures répliquées. Stat-Med 2005; 24 (9): 1371-84.

35. J. Cohen J. Un coefficient d’agressage d’échelles nominales. EDUCS PSYCHOL MEAS. 1960; 20 (3): 37-46.

36. Cohen J. pondéré Kappa: Accord d’échelle nominale avec une provision pour désaccord échoué ou crédit partiel. Psychol Bull. 1968; 70 (4): 213-20.

37. EPI-INFO 3.5.1. Atlanta: Centres pour le contrôle et la prévention des maladies (CDC); 2008.

38. Pattes 18.0. Chicago: SPSS. Inc; 2009.

39. Sas 9. sas institut inc.; 2009.

40. Stata 11 pour Windows. Station collège: Statacorp LP; 2009.

42. MONTORI VM, Kleinbart J, Newman TB, Keitz S, Wyer PC, Moyer v, et al. Mesures de précision (intervalles de confiance). CLAJ. 2004; 171 (6): 611-5.

43. CEPEDA-CUERVO E, AGUILAR W, Cervantes V, Corraales M, Díaz I, Rodríguez D. Intervalles de confiance et intervalles de crédibilité pour une proportion. Rev colomb Estat. 2008; 31 (2): 211-28.

44. Abraira V. L’indice Kappa. Semerce 2000; 27 (5): 247-9.

45. McGinn T, Wyer PC, Newmann TB, Keitz S, Leipzig R, Guyatt G, et al. Compréhension et calcul de Kappa. CLAJ. 2004; 171 (11): 1-9. Disponible dans: http://www.cmaj.ca/cgi/data/171/11/1369/DC1/1.

46. CEPEDA MS, PÉREZ A. Études de concordance. Dans: Ruiz A, Gómez C, Londoño D. Recherche clinique: Épidémiologie clinique appliquée: Bogotá: Centre éditorial Javeriano, ECJA; 2001. p. 287-301.

47. FEINSTEIN AR, CICCHETTI DV. Accord élevé mais faible Kappa: I. Les problèmes de deux paradoxes. J Clin Epidemiol. 1990; 43 (6): 543-9.

48. BYRT T, Bishop J, Carlin JB. Biais, Prévalence et Kappa. J Clin Epidemiol. 1993; 46 (5): 422-9.

49. CICCHETTI DV, FEINSTEIN AR. Accord élevé mais faible Kappa: II. Résoudre les paradoxes. J cli n épidémiol. 1990; 43 (6): 551-8.

50. Streiner DL. Apprendre à différencier: Accord et fiabilité Statistiques en psychiatrie. J peut psychiatrie. 1995; 40 (2): 60-6.

51. Guggenmoos-Holzmann I. Le sens de Kappa: Concepts probabilistes de fiabilité et de validité revisité. J Clin Epidemiol. 1996; 49 (7): 775-82.

52. Cantor AB. Calculs de taille d’échantillons pour Kappa de Cohen’s Kappa. Méthodes psychol. 1996; 1 (2): 150-3.

53. Streiner DL. Diagnostic des tests: Utiliser et abuser des tests de diagnostic et de dépistage. J pers évalue. 2003; 81 (3): 209-19.

54. Flahamb A, Cadilhac M, Thomas G. Le calcul de la taille des échantillons doit être effectué pour une précision de conception dans les études de test de diagnostic. J Clin Epidemiol. 2005; 58 (8): 859-62.

55. Kramer HC, Bloch Da. Une note sur l’échantillonnage de contrôle de cas pour estimer les coefficients de kappa. Biométrie 1990; 46 (1): 49-59.

56. Scotto MG, Garcés à. Effectuer correctement la santé publique, les estimations ponctuelles, les intervalles de confiance et les embauches hypothétiques. MEX Santé publique. 2003; 45 (6): 505-11.

Conflit d’intérêt: les auteurs manifestent qu’ils n’ont aucun conflit d’intérêts dans cet article.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *