Evaluar nuestras intervenciones no solo es una actividad requerida por los actores políticos, sino que también nos permite determinar sus efectos. El proceso evaluativo implica formular juicios de valor para describir la realidad socioeducativa antes y después de la intervención, facilitando así la adopción de propuestas de mejora.
En una publicación anterior, abordé esquemáticamente el análisis de la realidad de los contextos. Aquí podéis leerla. En esta ocasión, deseo centrarme en la evaluación de nuestras acciones.
En numerosos proyectos que he estudiado, la evaluación se centra casi exclusivamente en valorar el cumplimiento de los objetivos específicos previstos. Por ejemplo, si la intención de nuestro proyecto es que una persona mayor aprenda a usar un teléfono móvil (siendo el objetivo general reducir la brecha tecnológica en la comunidad), consideramos exitosa la intervención si al finalizar la acción, esta persona es capaz de manejar el terminal y establecer una comunicación.
No realizamos otro tipo de juicio. Consideramos que nuestro proyecto está correctamente diseñado y articulado si respondemos afirmativamente a las siguientes preguntas:
- ¿Se han cumplido los objetivos específicos previstos?
- ¿En los plazos establecidos?
- ¿Nos hemos ajustado a los presupuestos?
Otra cuestión es que en la rendición de cuentas, se nos requiera dar respuestas a preguntas relacionadas con la metodología, cambios producidos en el contexto (en este caso, reducción de la brecha tecnológica), descripción de efectos educativos, análisis cualitativos y cuantitativos, juicios de valor, propuestas de mejora, etc. Responder a estos interrogantes requiere la ejecución de un complejo proceso evaluativo que, en principio, podríamos considerar que corresponde a los evaluadores de otras disciplinas académicas, y por lo tanto, escapa a nuestras competencias. Pero no es así; esta tarea también es nuestra responsabilidad.
No es difícil compartir que, si consideramos que nuestras acciones pretenden intervenir en los contextos para mejorarlos, la comprobación de los efectos socioeducativos obtenidos no se resuelve valorando exclusivamente el cumplimiento de los objetivos descritos en el proyecto.
Determinados proyectos «enlatados», aquellos diseñados por grandes organizaciones que se replican en multitud de ámbitos territoriales, son evaluados en las direcciones centrales de estas. Aunque, por experiencia propia, tengo mis dudas sobre si estos procesos reflejan verazmente la realidad de la zona intervenida. En estos casos, si hemos participado como docentes, solo se nos exige cumplimentar un cuestionario con una serie de ítems y una valoración general con algunas propuestas de mejora según nuestro criterio. Aquí termina el proceso evaluativo; lo que sucede más arriba lo desconocemos.
Pero, consideremos que se nos asigna la tarea de articular un nuevo proyecto socioeducativo o quizás una iniciativa más compleja, como un plan o programa multiterritorial. En este caso, nuestra responsabilidad abarcará todos sus aspectos (diseño, objetivos, actividades, recursos, actores implicados, presupuestos, calendarios, etc.), incluida la evaluación y su impacto. Quizás, su elemento esencial.
Para lo anterior, debemos conocer los distintos elementos integrantes del proceso evaluativo.
La cultura evaluativa tiene un amplio recorrido, pero fue quizás en los años cuarenta cuando Tyler, R. W. (1950) orientó sobre el propósito de la evaluación y sentó algunas de sus bases: Determinar en qué medida se han cumplido los objetivos previamente establecidos y, ello, supone emitir juicios de valor.
Desde entonces, se ha avanzado mucho, pero la formulación de juicios de valor sigue siendo un elemento clave. No pretendo en esta síntesis profundizar en los desarrollos de la cultura evaluativa desde la mitad del siglo XX hasta hoy, aunque es necesario considerar las aportaciones de Cronbach (1963), Scriven (1975), y Guba y Lincoln (2000), pues son los referentes más citados y sus propuestas suponen un importante desarrollo del concepto:
“Proceso de recogida y análisis de información relevante con el fin de describir cualquier realidad educativa, de manera que permita la formulación de juicios de valor sobre la adecuación a un patrón o criterio de calidad debatido previamente como base para la toma de decisiones. Actividad con funciones de mejora que debe afectar a todos los implicados, tener en cuenta todos los intereses, implicando la creación de una cultura evaluativa.”
En la definición observamos elementos clave: juicios de valor, información, análisis, mejora, cambio, calidad, toma de decisiones, diálogo, etc. En definitiva, pretendemos recoger información con la que realizar juicios de valor y tomar decisiones para mejorar la calidad de la acción.
En esta función de mejora deben estar comprometidos todos los agentes intervinientes en la acción, abarcando todos los objetos y elementos implicados en el proceso educativo, incluidos los contextos y centros. Este proceso no excluye el análisis de otras imágenes de la realidad socioeducativa. Al contrario, se nutre de fuentes, metodologías y procesos colaborativos diversos. Es, por lo tanto, flexible, sociopolítico y generador de nuevos aprendizajes.
Bien, vamos a la práctica. Antes de acometer nuestro proceso evaluativo, debemos formularnos tres preguntas:
- ¿Qué deseamos evaluar?
- ¿Con qué propósito?
- ¿Cómo vamos a evaluar?
Las respuestas a estos tres interrogantes nos obligarán a planificar el proceso evaluativo de manera sistemática. Recordad, pretendemos recoger información, analizarla y adoptar decisiones para la mejora.
En la tabla, tenéis el proceso esquematizado:
Podemos evaluar cualquier elemento de la intervención (programa, educandos, profesionales, centros, contextos, etc.), pero en este caso, nos centramos en la evaluación de la metodología seguida. Seguimos el siguiente proceso:
- ¿Qué evaluamos?
- Decidimos el modelo evaluativo a aplicar.
- Definimos la estrategia metodológica y los elementos que van a intervenir en el proceso.
- Determinamos los aspectos e indicadores.
- Diseñamos los instrumentos de recogida de información.
- Recogemos la información pertinente.
- La analizamos y la interpretamos.
- Realizamos juicios de valor.
- Elaboramos el informe con las propuestas de mejora.
En el próximo post, veremos algunos de los diferentes enfoques evaluativos.
Bibliografía:
Bibliografía:
- Cronbach, L. (1963). Course improvement through evaluation. Teachers College Record, 64, 672-683. Disponible en: file
- De Miguel Díaz, M. (2000). La evaluación de programas sociales: Fundamentos y enfoques teóricos. Revista de Investigación Educativa, 18(2), 289-317. Disponible en: file
- González Barea, E. V. A. (2013). La Evaluación. Recuperado de: https://digitum.um.es/digitum/bitstream/10201/30543/1/Conceptualizaci%C3%B3n%20de%20la%20Evaluaci%C3%B3n.pdf
- Guba, E., & Lincoln, Y. (2000). Paradigmas en competencia en la investigación cualitativa. En C. Denman & J. A. Haro (Eds.), Por los rincones. Antología de métodos cualitativos en la investigación social (pp. 113-145). Sonora, México: Colegio de Sonora. Recuperado de: https://ce16ba11-a-62cb3a1a-s-sites.googlegroups.com/site/jesuscamposg19/assignments/investigarparatransformar-pnfalara-/Paradigmas%20guba-y-lincoln-2002%20%281%29.pdf?attachauth=ANoY7cpOA8Y5RhkJIgtbCkPEAYBOf4FtKC-CIhU4Gr_RN1WEj-LqhfjbvZMG3iJunwFLlS1VJ2GlfMzo_qbys9c_iHRnrMH-M7oXwYs6NDOCTAbVpKou5b-mm7YRWuH-oPO-tm5_EMywFB7GYewet3SUB2OxxoBqg2Fw5T98hjVQXgaBJdkMiSl5tbP_D1ii70Z1-2SlZ1BGzBwLXY35xG1OHGuGB4fbrLLupBiJtSgm5fCMbN6JUcuj0N6XOm7Es-9YKT8TQwvRSkIwU-P-HmPJiGCrkv3T_ucRWMQGtZ9YQ45dvk1xmSNqfrg2F5yLI0UJnniKn-8C&attredirects=0
- Rosales, C., & López, C. R. (1990). Evaluar es reflexionar sobre la enseñanza (Vol. 55). Narcea Ediciones.
- Scriven, M. (1975). Evaluation bias and its control. Western Michigan University. Recuperado de: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.455.8960&rep=rep1&type=pdf
- Pérez, D. (2007). Revisión y análisis del modelo de evaluación orientada en los objetivos (Ralph Tyler-1950). Relieve, Revista Electrónica en Investigación y Evaluación Educativa. Recuperado de: https://www.researchgate.net/profile/Driceida-Perez-Rodriguez/publication/220025586_Revision_y_analisis_del_Modelo_de_Evaluacion_Orientada_en_los_Objetivos_Ralph_Tyler_-_1950/links/0922b4f414605cdcb0000000/Revision-y-analisis-del-Modelo-de-Evaluacion-Orientada-en-los-Objetivos-Ralph-Tyler-1950.pdf
Deja una respuesta