Uso de Descriptores Durante La Implementacion de Mini Cex
Uso de Descriptores Durante La Implementacion de Mini Cex
Uso de Descriptores Durante La Implementacion de Mini Cex
289
YAMILA ABADIE1, JULIÁN BATTOLLA2, ANA ZUBIETA1, JUAN DARTIGUELONGUE2, CAROLINA PASCUAL1,
CHRISTIAN ELÍAS COSTA2, JUAN C. VASSALLO1, SUSANA RODRÍGUEZ1
1
Dirección de Docencia e Investigación, Hospital de Pediatría Prof. Dr. Juan P. Garrahan, 2Comité de Docencia e
Investigación, Hospital de Niños Ricardo Gutiérrez, Buenos Aires, Argentina
Resumen El Mini Clinical Evaluation Exercise (Mini-CEX) es una herramienta formativa de evaluación apli-
cada durante la observación directa del desempeño en la clínica. Nuestro objetivo fue evaluar la
confiabilidad y factibilidad del Mini-CEX utilizando descriptores pediátricos en dos programas de residencia de
pediatría. El diseño fue de tipo observacional y corte transversal. Se consensuaron descriptores de la consulta
pediátrica para cada una de las dimensiones del Mini-CEX. Los operadores fueron capacitados en el uso de esta
herramienta por medio de descriptores, así como en las estrategias informativas. Finalmente, se realizaron 2
evaluaciones independientes y simultáneas por cada observación de desempeño. Análisis: a) Puntaje global y por
dimensión del Mini-CEX, b) Concordancia de puntajes entre operadores (promedios de diferencias e IC95%); c)
Frecuencias de descriptores no evaluables y d) Duración y satisfacción en su uso. Se realizaron 80 observacio-
nes en 40 consultas pediátricas. Puntaje global 7.5 ± 0.9 (6.4 ± 2 a 8.3 ± 1.1 según dimensión), sin diferencias
significativas entre instituciones. Se observó alta concordancia entre observadores (Media, diferencia 0.1 a 0.3;
IC 95% -0.8 a 0.3). La frecuencia de descriptores no evaluables fue 5 a 28 (9% a 51%) y no se asoció con el
lugar de aplicación. El tiempo promedio de implementación fue 20 minutos. El uso resultó altamente satisfac-
torio para docentes y residentes. Se implementó el Mini-CEX luego de consensuar descriptores de la consulta
pediátrica. La experiencia conjunta fue satisfactoria y a la vez confirmó el valor de la evaluación y entrega de
sus resultados: la devolución formativa.
Abstract Using descriptors during the implementation of Mini-CEX at pediatric residency. The Mini
Clinical Evaluation Exercise (Mini-CEX) is an assessment tool, which emphasizes the educational
value and is based on direct performance observation. The objective was to evaluate the reliability and feasibil-
ity of Mini-CEX using pediatric descriptors during its implementation in two pediatric residency programs. The
design was observational, exploratory and feasibility in the use of this evaluation tool. Based on the original
format, descriptors related to the pediatric consult for each Mini-CEX dimension´s were agreed. Operators were
trained in the use of this tool by means of descriptors as well as in debriefing strategies. Finally, there were two
simultaneous and independent evaluations for each observation. Analysis: a) Mini-CEX global and dimension
score; b) Concordance between operators scores (mean differences and 95% CI); c) Non evaluable descrip-
tors frequency; d) Duration and satisfaction in use. There were 80 observations in 40 pediatric consults. Overall
score 7.5 ± 0.9 (6.4 ± 2 to 8.3 ± 1.1 depending on dimension), with no significant differences between the two
institutions. There was high agreement between observers (Mean, difference between 0.1 and 0.3, 95% CI -0.8
to 0.3). The frequency of non evaluable descriptors ranged 5-28 (9% to 51%) and it was not associated with
the implementation stage. The average implementation time was 20 minutes, and satisfaction in use was high
among both operators and residents. Mini-CEX tool using pediatric descriptors showed high reliability. The joint
experience was satisfactory and simultaneously confirmed the value of debriefing.
control en salud o demanda espontánea), duración de la Los resultados de las observaciones de desempeño
evaluación (en minutos) y opinión final del residente y del ob- para cada dimensión del Mini-CEX según categorías
servador sobre lo satisfactorio del encuentro (mediante escala
analógica visual de 1 a 10, donde 1 era nada satisfactorio y
óptimo (7, 8 y 9), satisfactorio (4, 5 y 6) e insatisfactorio
10 muy satisfactorio). (1, 2 y 3) se presentan en el Fig. 1.
Todos los datos fueron ingresados a una planilla de cálculo En la Tabla 1 se presentan los puntajes para los
tipo Excel, para su posterior análisis. Dado que el estudio es 40 pares de observaciones en cada una de las siete
primariamente descriptivo, se usaron medidas de resumen y
dispersión acordes a las variables (media, desvío estándar y
dimensiones en forma global y para cada hospital;
rangos o frecuencias). puede observarse que los puntajes fueron en promedio
Se presentan las puntuaciones globales y por dimensión en altos y sin diferencias entre instituciones, coincidiendo
ambas instituciones y en forma global. Para la concordancia en la obtención de mayor score en las dimensiones de
inter-observadores se utilizó el método de Bland Altman 16,
basado en el análisis de las diferencias individuales, que
profesionalismo y organización, y menor en examen
permite determinar los límites de concordancia y visualizar físico.
de forma gráfica las discrepancias observadas. Se presen- Se comprobó buena concordancia en la asignación
tan los resultados como promedios de las diferencias entre de puntajes entre observadores en ambas instituciones
operadores con sus respectivos IC95%. Se usó el paquete
estadístico STATA 9.1 Statacorp, Texas, USA.
(Figs. 2 y 3). Si bien la mayoría de los puntajes se con-
En todos los casos se solicitó el acuerdo del residente para centraron en las cifras más altas, los límites de concor-
la observación, y el resultado de las evaluaciones realizadas dancia no mostraron diferencias significativas a diferentes
fue confidencial, con reserva de la identidad del residente puntajes y los valores de desacuerdo no superaron cifras
y solo de utilidad dentro del ámbito de cada residencia. El
trabajo fue aprobado por el Comité de Ética y el Comité de
de relevancia operativa.
Revisión Institucional de ambas instituciones. Adicionalmente, en la Tabla 2 se presentan los valores
promedio y las diferencias para cada una de las dimen-
siones del Mini-CEX.
Resultados La frecuencia de descriptores no evaluables osciló
entre 5 y 28 (9% a 51%), y la misma no se asoció con
Se analizaron 80 observaciones de desempeño en 40 el escenario de aplicación ni edad de los pacientes. El
consultas pediátricas: 16 (40%) en el ámbito de la interna- tiempo promedio de implementación del Mini-CEX fue de
ción, 14 (35%) en la consulta de emergencia y 10 (25%) 20 ± 9 minutos, y la satisfacción en su uso fue alta, tanto
en el consultorio. Dichas consultas correspondieron a por parte de los observadores como de los residentes
niños entre 3 meses y 14 años (30% fueron en menores (escala analógica visual 8.9 ± 2.0 para observadores y
de 1 año). 9.1 ± 3.0 para residentes).
o
to
a
n
o
al
ic
ic
m
ió
ic
n
éd
ob
ín
ie
ac
lis
fís
cl
am
m
gl
na
iz
en
io
an
a
ia
io
or
st
er
am
nc
es
rg
es
vi
rit
te
re
Ex
of
As
C
pe
t
Pr
En
om
C
Fig.1.– Resultados del Mini-CEX según porcentaje cumplido en las observaciones de desem-
peño por los residentes en cada dimensión (80 observaciones en 40 consultas pediátricas).
292 MEDICINA - Volumen 75 - Nº 5, 2015
Fig. 2.– Concordancia según método de Bland Altman en las Fig. 3.– Concordancia según método de Bland Altman en las
observaciones realizadas en el Hospital 1. observaciones realizadas en el Hospital 2.
TABLA 2.– Puntajes promedios asignados por cada observador; promedios de las diferencias
inter-observador e IC95% de las diferencias
énfasis en aquellas áreas que tengan más impacto en la (sala, consultorio, guardia o neonatología), estos no están
salud infantil. Estos programas deben contar con sistemas explicitados en sus características específicas ni en los
de evaluación eficientes. Un sistema de evaluación ideal requerimientos mínimos para su evaluación y/o aproba-
debería ser objetivo, sistemático, fácil de implementar, ción. Además, la población evaluada no es equiparable
aceptado por evaluados y evaluadores, fomentar el a los sistemas de residencia.
aprendizaje, no implicar una inversión extra de recursos En nuestro trabajo se consideró de vital importancia
que atente contra la factibilidad, permitir evaluar a diferen- que los docentes definieran de antemano qué compe-
tes residentes en diferentes contextos en forma similar. tencias se iban a evaluar y cuáles eran los estándares
Continúa siendo un desafío contar con instrumentos mínimos esperables para el desempeño profesional.
unificados y sistemáticos que permitan su aplicación Siguiendo las recomendaciones sobre la importancia de
complementaria en diferentes programas, para generar involucrar a los docentes en las herramientas de evalua-
una herramienta para los profesionales en formación en ción para facilitar su uso y aceptación11, estos descriptores
su conjunto. En la actualidad las modalidades y sistemas fueron el producto de discusiones y acuerdos entre aque-
de evaluación dependen de cada programa y se realizan llos que habitualmente supervisan la tarea de residentes
de diversas maneras: en general incluyen exámenes for- y observan su desempeño.
males de conocimientos y evaluaciones del desempeño; Finalmente, esta experiencia fue implementada ex-
algunos han puesto en práctica sistemas como el ECEO3 clusivamente en el marco de programas de residencias
o scripts4. Durante la actividad asistencial supervisada los de hospitales pediátricos donde se forma un número im-
residentes son evaluados de modo cotidiano y regular; portante de especialistas con amplia variabilidad en sus
dichas observaciones se registran en evaluaciones de características y representatividad de la población blanco.
desempeño al final de cada rotación abarcando aspectos Durante nuestro estudio realizado en 40 residentes
humanísticos, profesionales y académicos, como parte pudimos observar muy buena concordancia inter-observa-
de la competencia. En este marco, la competencia puede dores, lo cual refleja confiabilidad del instrumento más allá
definirse como la capacidad para utilizar el buen juicio, del operador que asigna el puntaje. Su uso también resultó
habilidades, conocimientos y actitudes para solucionar altamente satisfactorio, tanto para observadores como
problemas que se presentan en distintos contextos de para residentes y el tiempo de realización fue acotado y
la actividad profesional17. Evaluar la adquisición de las similar al informado23. Todas estas propiedades resultan
competencias representa para el educador un elemento importantes en la implementación de una herramienta ya
clave; en tal sentido valorar algunos aspectos resulta más que favorecerán su sustentabilidad en el tiempo y utilidad
sencillo que otros. Miller (1990) señaló distintos niveles en el uso repetido.
en la evaluación de la competencia profesional: saber, En general el grado de desempeño óptimo observado
saber cómo, demostrar cómo y hacer18. El Mini-CEX fue bajo, lo cual es consistente con el nivel de formación
permite la evaluación formativa en diferentes dimensio- esperado en residentes de primer año, tal como mencio-
nes como la conducción de la entrevista y el examen nan Alves y col. en la progresión del desempeño a través
físico, profesionalismo, criterio clínico, asesoramiento y de los diferentes años de la residencia24.
organización. Hasta el momento existe poca experiencia Es importante, finalmente, destacar que el conoci-
publicada en evaluación de competencias como el pro- miento y puesta en marcha de esta herramienta favore-
fesionalismo médico en pediatría, si bien desde diversos ció situaciones de reflexión entre los equipos de ambos
ámbitos académicos se ha destacado la importancia de hospitales en cuanto a lo relevante de su aplicación,
su evaluación19-21. principalmente por su valor formativo en competencias
En el Policlínico de Neuquén9 se realizó un estudio uti- no abordadas tradicionalmente, como el profesionalismo,
lizando Mini-CEX en residentes de pediatría, pero con los habilidades comunicacionales o asesoramiento a los
descriptores definidos en el modelo del American Board of pacientes y sus familias.
Internal Medicine22, ampliamente validados para profesio- Los resultados de este trabajo están sujetos a diversos
nales en formación de especialidades clínicas en adultos; sesgos y limitaciones. En relación a la homogeneización
sus autores señalan que los resultados reportados tienen de las observaciones, las características propias de
relación directa con factores contextuales propios del pro- cada hospital podrían generar resultados diferentes con
grama de formación donde fue implementado el Mini-CEX, desempeños similares; asimismo, los residentes partici-
por eso es posible que no puedan ser extrapolados a otras pantes fueron voluntarios y solo de primer año, lo cual
residencias. La Facultad de Medicina de la Universidad podría sesgar el desempeño observado. Con relación
Maimónides realizó y publicó una experiencia similar en al instrumento, si bien se han incorporado descriptores
estudiantes de la carrera de especialista de pediatría10. específicos y los docentes volcaron los resultados de la
Si bien señalan la utilización de un listado detallado de observación del encuentro en un formulario y lo calificaron
los descriptores comprendidos dentro de cada dominio a través de una escala numérica según las descripciones
o competencia por analizar según cada ámbito clínico originales de Mini-CEX en su versión local, por primera
294 MEDICINA - Volumen 75 - Nº 5, 2015
vez se aplica el formato con una lista de cotejo de mane- the reliability and validity of the mini-clinical evaluation
ra sistemática prácticamente en todas las dimensiones, exercise for Internal medicine residency training. Acad
Med 2002; 77: 900-4.
pudiendo generar alguna reserva sobre la posibilidad de 7. Alves de Lima A. A qualitative study of the impact on
comparar estos resultados con otros reportes. Finalmente, learning of the mini clinical evaluation exercise in post-
el limitado número de observaciones podría conspirar con- graduate training. Med Teach 2005; 27: 46-52.
tra la precisión, consistencia y validez interna de los datos. 8. Alves de Lima A, Van der Vleuten C. Efecto educativo de
la evaluación del desempeño profesional: el caso del
Sería interesante ampliar la experiencia a otras mini-CEX. Medicina (B Aires) 2013; 73: 286-7.
residencias de pediatría, en un modelo participativo, 9. Fernández Gálvez G. Evaluación de las competencias
mediante cohortes prospectivas de residentes. Esto, no clínicas en una residencia de pediatría con el Mini-CEX,
solo permitiría identificar las necesidades de capacitación Arch Argent Pediatr 2011; 109: 314-20.
10. Urman G, Folgueral S, Gasparri M, López D, Urman J,
de los mismos en forma individual, sino las fortalezas y Grosman A, et al. Evaluación por competencias en for-
debilidades del sistema de residencias en forma conjunta, mación de posgrado: implementación de una adaptación
para promover y optimizar la enseñanza de competencias pediátrica del Examen de Ejercicio Clínico Reducido
relevantes para el pediatra en su desarrollo profesional. (Mini-Cex). Arch Argent Pediatr 2011; 109: 492-8.
11. Alves de Lima A, Van Der Vleuten C. Mini-CEX: A Method
En conclusión, la herramienta Mini-CEX con el uso de Integrating Direct Observation and Constructive Feed-
descriptores adaptados a pediatría pudo ser implementa- back for Assessing Professional Performance. Rev Argent
da en dos programas de residencia pediátrica de hospita- Cardiol 2011; 79: 531-6.
les públicos. Se demostró muy buena concordancia inter- 12. Alves de Lima AE. Devolución constructiva: una estrate-
gia para mejorar el aprendizaje. Medicina (B Aires) 2008;
observadores en la asignación de puntajes, los tiempos 68: 88-92.
de aplicación fueron adecuados y la experiencia conjunta 13. Clay AS, Que L, Petrusa ER, Sebastian M, Govert J. Debrief-
fue altamente satisfactoria, tanto para los docentes como ing in the intensive care unit: a feedback tool to facilitate
para los residentes, resaltando la importancia de la devo- bedside teaching. Crit Care Med 2007; 35: 738-54.
14. Rudolph JW, Simon R, Rivard P, Dufresne RL, Raemer
lución formativa de este instrumento. Sería conveniente DB. Debriefing with good judgment: combining rigorous
desarrollar estudios que evalúen su implementación de feedback with genuine inquiry. Anesthesiol Clinics 2007;
manera sistemática y regular en las residencias de pe- 25: 361-76.
diatría para precisar su efectividad y utilidad en el ámbito 15. Ramani S, Krackov SK. Twelve tips for giving feedback
effectively in the clinical environment. Med Teach 2012;
de la formación profesional en el área. 34: 787-91.
16. Bland JM, Altman DG. Statistical methods for assessing
Agradecimientos: A los miembros del Comité Asesor agreement between two methods of clinical measure-
de Expertos y a los Dres. Amanda Galli y Alberto Alves de ment. Lancet 1986; 1: 307-10.
Lima por el asesoramiento en el proyecto y la revisión del 17. Brailovsky C. Educación Médica, evaluación de las com-
manuscrito. petencias. En: Aportes para un cambio curricular en
Argentina 2001. Buenos Aires: Facultad de Medicina
Conflicto de intereses: Ninguno para declarar (UBA)-OPS, p 106-22.
18. Miller G. The assessment of clinical skills/competence/
performance. Acad Med 1990; 65: s63-7.
Bibliografía 19. Accreditation Council for Graduate Medical Education.
Advancing education in medical professionalism. Ac-
1. Sistema Nacional de Residencias del Equipo de Salud. creditation Council for Graduate Medical Education, 2004.
Ministerio de Salud de la Nación. En: http://www.msal. En: http://www.acgme.org/outcome/implement/Profm_re-
gov.ar/residencias; consultado el 11/11/2012. source.pdf; consultado el 7/12/2012.
2. Sistema de Residencias Médicas de la Ciudad de Buenos 20. Teaching and assessing professionalism. A Program Di-
Aires. Ministerio de Salud. Subsecretaría de Planificación rectors Guide. The American Board of Pediatrics and
Sanitaria. Dirección General Docencia e Investigación. The Association of Pediatric Program Directors. Editor
Dirección de Capacitación y Docencia. En: http:// www. Joh Frohna. En: http://www.abp.org/abpwebsite/publicat/
buenosaires.gob.ar/areas/salud/dircap; consultado el professionalism.pdf; consultado el 8/12/2012.
11/11/2012. 21. Jones MD Jr, McGuinness GA, Carraccio CL. The Resi-
3. Bustos M, Chiolo M, Cutri A, et al. Examen clínico estructu- dency Review and Redesign in Pediatrics (R3P) Project:
rado objetivo para residentes de pediatría. Presentación Roots and Branches. Pediatrics 2009; 123: S8-S11.
de una experiencia. Arch Argent Pediatr 2007; 105: 333- 22. Fornells-Vallés JM. El ABC del Mini-CEX. Educ Med 2009;
41. 12: 83-9.
4. Brailovsky C. Evaluación del aprendizaje, estrategias in- 23. Alves de Lima A. Observación directa del desempeño del
novadoras (SCRIPT). En: http://www.medicina.uach.cl/ residente: una práctica en desuso. Rev Argent Cardiol
oficina/ofecs/pdf/SCRIPT; consultado el 3/12/2012. 2005; 73: 39-43.
5. American Board of Internal Medicine. The Mini-CEX: 24. Alves de Lima A, Barrero C, Baratta S, et al. Validity,
A quality tool in evaluation. En: http://www.abim.org/ reliability, feasibility and satisfaction of the Mini-Clinical
minicex/default.htm; consultado el 5/12/2012. Evaluation Exercise (Mini-CEX) for cardiology residency
6. Durning SJ, Cation LJ, Markert RJ, Pangaro LN. Assessing training. Med Teach 2007; 29: 785-90.
Mini-CEX EN PEDIATRÍA 295
Internación 1a vez Internación seguimiento Ambulatorio (control en salud) Ambulatorio (demanda espontánea)
Baja complejidad Mediana complejidad Alta complejidad
VI - Organización / eficiencia: SI NO NE
46) Prioriza los aspectos relevantes o urgentes. Hace un resumen final de la consulta.
47) Es oportuno y concreto.
48) Es puntual.
49) Emplea un tiempo adecuado en la consulta.
50) Chequea la comprensión y asegura una comunicación efectiva.
51) Utiliza adecuadamente los recursos.
52) Orienta adecuadamente en el proceso de consulta institucional (facilita, escribe indicaciones)
53) Propone o realiza una derivación a otro servicio u otra institución en forma organizada
54) Registra con claridad y precisión los datos relevantes.
VII - Competencia Clínica Global:
55) Demuestra criterio, síntesis, atención y cuidado, eficacia y eficiencia.
COMENTARIOS
......................................... ...............................................
Firma residente Firma observador
• Implementación acordar previamente con el residente el momento de la observación; realizar observaciones repetidas por
diferentes observadores en ámbitos de trabajo diferentes mejora la validez del instrumento
• Aclaraciones la satisfacción del docente y del residente se refiere a la consideración subjetiva de cuan útil le ha resultado
la experiencia donde 1 expresa nada útil y 10 de mucha utilidad
• Dado que Mini-CEX es una herramienta de evaluación formativa, la etapa de devolución es fundamental; realizarla en
forma inmediata, privada y centrada en la observación, generando autorreflexión