Pencils of Promise (PoP) es una organización basada en datos. Trabajamos para tomar decisiones basadas en información y, por lo tanto, recopilamos datos de alta calidad. Cada año, el equipo de Evaluación y Aprendizaje (E&A) planifica y prepara procesos rigurosos para recopilar información de calidad para evaluar los programas de PoP: Acompañamiento a Docentes (AaD) y Agua, Saneamiento e Higiene (WASH), de manera efectiva.
Photo description: A group of students play on a set of decorative tires in front of a PoP built school
El objetivo principal es apoyar al equipo de Programas y ayudar a identificar las fortalezas programáticas y los aspectos que se pueden mejorar. Esta información apoya al equipo en la toma de decisiones estratégicas basadas en los resultados de la evaluación y las experiencias que E&A obtiene mientras visita las comunidades. Para cumplir con este objetivo, existe la necesidad de tener una comunicación constante y efectiva.
En los últimos años, se ha puesto gran importancia en establecer una conexión fuerte entre los equipos de Programas y Evaluación y Aprendizaje; esto ha llevado a que unos aprendamos de los otros. Ahora, E&A tiene una mejor comprensión de AaD y WASH (por ejemplo: contenido, metodología y necesidades programáticas). Además, el equipo de Programas tiene más conocimiento sobre las iniciativas de E&A, tales como el diseño de evaluación, el estudio longitudinal, la evaluación de impacto, el muestreo y los procesos de entrenamiento. Un momento clave para intercambiar esta información es durante nuestras reuniones de presentación y discusión de resultados.
Reuniones de presentación y discusión de resultados
Para seguir promoviendo debates relevantes y prepararnos para compartir resultados con autoridades educativas locales, E&A se reúne con el equipo de Programas al menos tres veces al año. En estas reuniones, E&A proporciona los antecedentes de las herramientas de evaluación y la metodología utilizada, lo cual ayuda al equipo de Programas a comprender: 1) cómo nuestras herramientas monitorean y evalúan nuestros programas, 2) cómo interpretar los resultados y 3) conocer la confiabilidad de nuestras herramientas.
Debido a que este es un proceso de aprendizaje para el equipo de Programas, E&A ha adoptado algunas de las estrategias y juegos de aprendizaje que los equipos de AaD y WASH implementan durante sus talleres con los docentes. A través de interacciones y debates más dinámicos, E&A presenta los resultados obtenidos después de implementar nuestras herramientas de evaluación: MEGRA, Observaciones Docente-Estudiantes (TOG), Observaciones WASH y entrevistas a docente. E&A también da un refuerzo positivo al equipo de Programas por todo el trabajo que realizan y destaca la importancia de cualquier logro que se tenga en las escuelas. Cuando se considera la complejidad del enfoque de PoP (alfabetización y hábitos higiénicos) y las variaciones de las condiciones que existen dentro de cada comunidad, se reconoce que el progreso lleva tiempo en observarse.
Photo description: Three students walk in the school yard in front of a PoP school
Además, Evaluación y Aprendizaje le recuerda a los equipos de AaD y WASH que analicen a profundidad los reportes de resultados y discutan lo que se puede hacer en futuros talleres y sesiones de acompañamiento para mejorar la intervención en las escuelas. Se creó un procedimiento formal para dar seguimiento a los resultados, que incluye realizar planes de acción para AaD y WASH. Estos planes se comparten con E&A para garantizar que todos estén informados. Por ejemplo, las guías de lectura que se proporcionaron a los docentes durante el año escolar 2019 se mejoraron al hacerlos más específicos y organizados. Esta mejora se realizó en base a los comentarios recopilados a través de entrevistas con los docentes.
El intercambio de experiencias e información entre los equipos de Programas y E&A ha fortalecido la relación y sirve como un gran ejemplo de trabajo efectivo en equipo.
Para obtener más detalles sobre los resultados del año escolar 2019 en Guatemala, por favor revisar Informe Final de PoP Guatemala 2019 (versión en Inglés).
…
Pencils of Promise (PoP) is a data-driven organization. We work to make decisions based on data and, therefore, we collect high quality data. Each year the Learning and Evaluation (L&E) team plans and prepares a rigorous processes to collect quality information to evaluate PoP’s Teacher Support (TS) and water, sanitation and hygiene (WASH) programs effectively.
Photo description: A group of students play on a set of decorative tires in front of a PoP built school
The main objective is to support the Programs Team and help identify programmatic strengths and aspects that can be improved upon. This information supports the team in making strategic decisions based on evaluation results and experiences L&E has while visiting communities. In order to meet this objective, there is a need for strong, effective and constant communication.
In the last few years, the team has placed great importance on establishing a strong connection between Programs and L&E. This has lead to learning from each other and now L&E has a better understanding of TS and WASH (e.g., content, methodology, and programmatic needs). Additionally, Programs has more knowledge about L&E initiatives, such as evaluation design, impact evaluation, longitudinal study of performance, sampling, and training processes. A key moment to exchange this information is during our results sharing meetings.
Results meetings
To keep promoting relevant discussions and preparing to share results with local education authorities, L&E meets with the Programs team at least three times a year. In these meetings, L&E provides a background of tools and methodology, which helps Programs team understand: 1) how our tools monitor and evaluate our programs, 2) how to interpret the results, and 3) learn the reliability of our tools.
L&E team members prepare activity during results sharing meeting 
Members of the WASH and TS teams participate in activity
Because this is a learning process for the Programs team, L&E has adopted some of the strategies and learning games that TS and WASH teams implement during their workshops with teachers. Through more dynamic interactions and discussions, L&E presents the results obtained after implementing our MEGRA, Teacher Observation General (TOG), WASH Observations, and Teacher interview tools. L&E also provides positive reinforcement to the team for all the work they do and highlights the significance of any achievement. When considering the complexity of PoP’s focus (literacy and hygienic habits) and the variations of conditions that exist within each community, progress takes time to show.
Photo description: Three students walk in the school yard in front of a PoP school
L&E reminds the TS and WASH teams to take a deeper look at the full results reports and discuss what can be done in future workshops and coaching sessions to improve the intervention at schools. A formal procedure was created to follow up on results, which includes action plans for both TS and WASH. These plans are then shared with L&E to ensure everyone is informed. For example, the reading plans that were provided to teachers during the 2019 school year were improved by making them more specific and organized. This iteration was made based on comments collected through teacher interviews.
This exchange between Programs and L&E teams has strengthened the relationship and serves as a great example of effective team work.
For more detail on 2019 school year results in Guatemala, please review PoP Guatemala’s 2019 wrap report.