Integral evaluation of the medical graduate profile using the innovated ECOE-M

The Mixed Objective Structured Clinical Examination (ECOE-M) assesses competencies through simulated scenarios and socioformative rubrics. Mixed methods were used in three phases. Phase 1: A quantitative cross-sectional design that evaluated 112 medical interns. Phase 2: A qualitative approach through action research to evaluate the Phase 1 ECOE-M results and strengthen them with the support of AI. Phase 3: A quantitative and qualitative approach to implement the innovated ECOE-M in 138 medical interns through evaluator training processes. In Phase 1, nine competencies were assessed at an autonomous level; the communication competency was the highest rated; in contrast, the sociocultural competency obtained low scores. Significant differences were identified by sites and sex, as well as academic predictors of performance. The improved version of the ECOE-M evaluated 80% of the graduate profile through digital socioformative rubrics, in which 11 of the 12 competencies reached the autonomous level, including the sociocultural competency. Evaluator subjectivity was also reduced, which made the clinical assessment of competencies more objective. Standardizing cases, reducing subjectivity, and strengthening sociocultural competencies consolidate the ECOE-M as a formative clinical assessment tool. Likewise, integrating socioformative rubrics and artificial intelligence expanded its scope and depth. El Examen Clínico Objetivo Estructurado Mixto (ECOE-M) evalúa competencias mediante escenarios simulados y rúbricas socioformativas. Se emplearon métodos mixtos en tres fases. Fase1. Enfoque cuantitativo con diseño transversal, que evaluó a 112 médicos pasantes. Fase 2.- Enfoque cualitativo mediante la investigación-acción para evaluar los resultados del ECOE-M de la fase 1 y fortalecerlo con el apoyo de la IA. Fase 3. Enfoque cuantitativo y cualitativo para la implementación del ECOE-M innovado en 141 médicos pasantes, mediante procesos de capacitación a evaluadores. En la fase 1, se evaluaron nueve competencias con un nivel autónomo; la competencia de comunicación fue la mejor evaluada; en cambio, la competencia sociocultural obtuvo puntajes bajos. Se identificaron diferencias significativas por sedes y sexos, así como predictores académicos del desempeño. La versión mejorada del ECOE-M evaluó el 80% del perfil de egreso mediante rúbricas socioformativas digitales, en las que 11 de las 12 competencias obtuvieron el nivel autónomo, incluida la competencia sociocultural. Asimismo, se redujo la subjetividad del evaluador, lo que permitió que la evaluación clínica de las competencias fuera más objetiva. Estandarizar los casos, reducir la subjetividad y fortalecer las competencias socioculturales consolidan el ECOE-M como herramienta de evaluación clínica formativa. Asimismo, la integración de rúbricas socioformativas e inteligencia artificial permitió ampliar su alcance y profundidad.