Se han publicado recientemente los resultados del SIMCE 2024. Como todos los años, tras cada publicación de estos puntajes, surgen análisis apresurados y discursos políticos que celebran pequeños avances como si fueran transformaciones estructurales.

Quizá convenga mirar en profundidad y perspectiva los datos, aplicando algunos conceptos estadísticos básicos, pero no tan presentes en estos análisis, como el tamaño del efecto, que puede orientar mejor el análisis y opinión respecto de los resultados.

Haciendo una analogía clásica: Ud. puede lanzar a un pozo dos piedras, una pequeña y una grande. Ambas piedras generarán ondas en el agua (las dos serán “estadísticamente significativas”), pero mientras las ondas que genera la piedra pequeña producen ondas diminutas, la piedra grande genera ondas que se expanden mucho más. Su “efecto” es mucho mayor.

Así, la significancia estadística sólo confirma que, con cierto grado de certeza, el fenómeno observado no fue fruto del azar o la casualidad, mientras que el tamaño del efecto nos sugiere adicionalmente cuán importante o relevante es el cambio observado, y lo expresa por medio de un parámetro (de 0 a 0.2 tamaño bajo, 0.2 a 0.5 medio, 0.8 hacia arriba, grande).

Luego, puede ocurrir que un nuevo método o énfasis de enseñanza mejore los puntajes de una prueba sólo en un par de puntos, y que dicho cambio resulte ser estadísticamente significativo de acuerdo a los datos que se disponen pero, en la práctica, el impacto es mínimo.

El problema es que -para este cálculo-, necesitamos un dato más: la llamada desviación estándar de los datos, valor que, en general, no es difundido en los resultados, que prefieren mostrar las variaciones netas de los puntajes y remitir a la significancia estadística de los cambios.

Como no disponemos aún (a la fecha de la realización de esta columna) de los datos Simce del año 2024 a nivel individual o por establecimiento, podríamos hacer un comparativo preliminar de los datos del año pasado, esperando -una vez que sean publicados los de este año- poder hacer este análisis en profundidad.

Para ello, podemos hacer una primera aproximación utilizando las bases de datos de acceso público, con los resultados generales de las pruebas por establecimiento (no de manera individual, una especie de “promedio de promedios”). Si bien no podremos tener una conclusión censal, nos permite tener una cifra referencial que nos da cierto contexto para el análisis.

Comparemos entonces las cifras 2023 con las del 2002, año en que se aplicó Simce para 4° Básico. Notemos que estamos comparando resultados de más de 20 años hacia atrás.

Si vemos los tamaños del efecto de acuerdo a los datos históricos de establecimientos con este acercamiento, para la comparación 2002-2023, el crecimiento en 4° básico tiene un tamaño del efecto prácticamente grande en Lectura (0,715), pero moderado en Matemáticas (0.348), lo que indica mejoras reales y sustanciales en lectura, y cierto efecto en matemáticas.

Ahora bien, no olvidemos que estamos comparando más de 20 años de historia: Para hacer una comparación, el PIB per cápita de Chile el 2002 era de 4.477 dólares, mientras que la estimación para el 2024 es de 16.620. Diferencia sorprendente, pero matizada igualmente por el largo periodo que estamos comparando.

Como el año 2002 no hubo prueba para los II medios, aprovechemos de avanzar en el tiempo y hacer una comparación más contemporánea. Si hacemos la comparación 2014-2023, los tamaños de efecto para 4° Básico disminuyen, y pasan a ser pequeños o modestos: 0.346 en Lectura, y 0.202 en Matemática.

Sin embargo, en II Medio, en este periodo 2014-2023, el tamaño del efecto en Lenguaje (-0,09) y Matemáticas (-0.12) no admite otra interpretación: es bastante pequeño en ambos casos, lo que sugiere un estancamiento.

Aparentemente, no se están logrando consolidar los aprendizajes deseados en la educación secundaria, lo que podría explicar además los enormes esfuerzos que están teniendo que realizar las universidades con nivelaciones y acompañamientos académicos en los primeros años.

Más aún, si separamos por tipo de dependencia los establecimientos en el análisis de 4° Básico para el periodo 2014-2023, vemos que los tamaños del efecto también tienen diferencias por dependencia: Municipal (Lectura 0,402 y Matemática 0,281), Subvencionado (Lectura 0,271 y Matemática 0,107) y Particular pagado (Lectura 0,383 y Matemática 0,052).

El tamaño del efecto predominante, aunque mediano, se observa en la dependencia pública, llamando la atención lo pequeño del efecto en Matemática para las dependencias Subvencionada y Particular pagada durante este periodo de análisis.

Por cierto, este es un análisis grueso e incompleto, pero sólo pretende relevar la importancia de considerar los efectos de las mediciones y no sólo los incrementos en las puntuaciones. Es de esperar que la algarabía con que fueron recibidas las puntuaciones Simce este año 2024 se pueda ver reflejada posteriormente, al disponer de los datos individuales, de un análisis que refleje efectivamente un cambio relevante y no sólo estadísticamente significativo.

No basta entonces con que observemos si los puntajes aumentan unos pocos puntos, si esto no se traduce en una mejora tangible en la comprensión lectora o el pensamiento matemático. De hecho, en II Medio los resultados sugieren que, en una década, no hemos logrado avances significativos en la calidad de los aprendizajes.

Así entonces, más allá de celebrar aumentos en los puntajes SIMCE, y de volver a constituir comisiones para volver a estudiar problemas que son permanentes, se podría avanzar en disponer de medidas que ofrezcan, reconozcan y certifiquen formaciones, perfeccionamiento y acompañamientos docentes de calidad, a través de la adopción de iniciativas basadas en la evidencia (que existen en la literatura científica), y que estén alineadas con las políticas de inversiones en infraestructura (no es uno o lo otro, es la combinación de ambas la que puede hacer la diferencia).

También promover la equidad de género en las asignaturas STEM, no sólo con miras a las carreras universitarias, sino como aquel acercamiento a las ciencias y las tecnologías en la escolaridad, integrado con su realidad familiar, y el tener incidencia en la motivación y disposición hacia los aprendizajes, pueden ser elementos que contribuyan a estos deseados cambios.

La invitación es, aunque pueda sonar contradictorio, a mirar más allá de los números, para enfocarse en aquellos cambios estructurales que realmente impacten la calidad del aprendizaje. No hay atajos ni recetas mágicas, cualquier camino será arduo y difícil, y requiere de un esfuerzo importante, adicional y sostenido de parte de todos los agentes educativos. Mientras antes se actúe, antes llegarán los resultados, aunque quizá algunos ya no estemos para celebrarlos.

Porque, en educación, el tamaño sí importa.