17/9/11

Sistema de Evaluación de la Calidad Educativa


Experiencia Argentina y Chilena. Tendencias.
 
Alejandra Casarejos 
acasarej@psi.uba.ar - Diciembre 2000


Síntesis
Se intenta dar a conocer el marco teórico que sostiene la necesidad de evaluar la calidad de la educación como una herramienta que procure mejorar a la misma.

A continuación, se muestran los resultados que ambas experiencias han arrojado al cabo de años de aplicación y las interpretaciones que surgen de estos resultados: desde el PREAL (Partnership for Educational Revitalization in the Americas), como de sectores críticos a esta iniciativa.

Dado que en Chile el SIMCE (Sistema de Medición de la Calidad de la Evaluación) se viene aplicando desde 1988 como una continuación del Programa de Evaluación del Rendimiento Escolar (1981), es que se piensa de utilidad introducir esta experiencia a modo de marcar lo que podría ser una tendencia en la experiencia argentina, implementada cinco años después (1993). 
  
EVALUACIÓN: Herramienta teórico - técnica en educación 
Detrás de todo tipo de evaluación existe un presupuesto de aprendizaje que se hace necesario develar sobretodo cuando analizamos los resultados que los operativos de evaluación arrojan.

Están aquellos que evalúan en términos de objetivos, coherente con un esquema lineal en donde la capacidad del alumno es idéntica a la del adulto aunque menos desarrollada.
Desde este marco teórico, el alumno podrá recibir el conocimiento transmitido por el docente (desarrollando su capacidad) de acuerdo a una progresión lógica establecida por el adulto.

En el otro extremo, teorías progresistas, sostienen que los alumnos son susceptibles de desarrollar su autonomía, esto es, su capacidad crítica, en un contexto institucional diferente que favorezca a la participación y que en el ejercicio de esta práctica se cuestione y transforme la realidad. En este marco, la evaluación escolar pierde sentido –por lo menos en términos de contenido- y se privilegia la auto evaluación.

Hablamos de distintas evaluaciones. Podríamos hablar de una evaluación clásica (la que analiza este trabajo) y una evaluación crítica si tomamos prestados estos conceptos desde la epidemiología.1

La evaluación es un proceso necesario para trabajar en prácticas sociales como lo es la educación. Nos permite acotar la distancia entre teoría y práctica. Avanzar en el conocimiento que tenemos de un objeto como es en este caso la educación primaria y secundaria.

Si revisamos los sistemas de evaluación argentino y chileno (SINEC y SIMCE respectivamente), observamos que estos plantean una serie de objetivos para los que se han diseñado pruebas en los distintos ciclos de la escolaridad.

Cada país tiene particularidades respecto de la toma de la prueba (a una muestra de la población o se trabaja con el universo de niños de un tramo determinado de edad).

Entre los objetivos que enuncian estos sistemas se encuentran:
Proporcionar información clave sobre la situación de la educación, identificar desigualdades e insuficiencias así como áreas para programas compensatorios, estimular la participación de sectores más amplios en la toma de decisiones en educación (caso argentino).
En el caso chileno, se plantea como objetivos, el informar a las familias para que puedan decidir sobre la educación de sus hijos, que los directivos y docentes puedan mejorar su acción educativa y que se controle la calidad de la educación por parte del estado.

Si bien en apariencia los objetivos enunciados son distintos (Argentina apela a los “distintos sectores en la toma decisiones”, Chile apela directamente a la responsabilidad individual, privada, que representa la familia para que esta pueda “decidir sobre la educación de sus hijos”), me interesa demostrar que básicamente dicen lo mismo.

En este sentido, es fundamental tener en cuenta el contexto en el cual estas evaluaciones y objetivos tienen lugar. Un contexto de crisis económica mundial con una propuesta de modelo económico neoliberal como salida a esta crisis. La puesta en marcha de esta reforma en lo económico, reforma del estado y de sus distintas políticas sociales toman distintos ritmos y particularidades según el país en cuestión.
Se partió de diagnósticos que hablan de crisis, de deterioro de la educación y de la necesidad impostergable de reconstruirla a partir de transformar el sistema educativo en su conjunto. Se dictaron leyes fundamentales con tal objetivo:
La ley de transferencias de escuelas nacionales, la ley Federal de Educación y la ley de educación superior en la Argentina. La ley de traspaso de escuelas y liceos fiscales, la ley de subvenciones (esta es paralela al traspaso a las municipalidades en donde se produjeron déficits financieros), reservado 1766 (Min.del Interior que, aduciendo excedente de profesores, determinó que en Dic./81 se iniciaran despidos docentes.) en Chile. Es en este contexto donde se votan y/o decretan estas leyes fundamentales que darán el marco legal a este modelo económico-político-educativo.
El PREAL, organismo con sede en Washington y representaciones en los países citados, como su nombre lo indica es el encargado de ser un socio para la revitalización educacional en las Américas. Un promotor de esta reforma educativa.







De los evaluadores externos
La visita de especialistas internacionales en el tema de evaluación a la Argentina durante este año forma parte del proceso de reforma antes señalado. Claude Thélot 2 plantea que “lo diferente y enriquecedor de este diagnóstico es que se establece a partir de un protocolo de evaluación exterior, constituido por ejercicios destinados a evaluar la o las capacidades precisas de los alumnos. La segunda dimensión consiste en evaluar los conocimientos de los alumnos para alimentar la reflexión de los actores sobre los resultados obtenidos o no por el sistema. La tercera parte la desempeña una herramienta, una computadora, que da la posibilidad a la institución educativa de evaluar a partir de elaborar sus propios indicadores ligados a su proyecto educativo…
Aunque no estemos en un mercado perfecto, es fundamental mejorar la eficacia de la escuela, estamos en un camino en que los países que no mejoren la eficacia de sus escuelas van a tener problemas… Más allá de la técnica y más importante que ella, la aceptación  progresiva de los procedimientos debe ser investigada: los actores deben aceptar y comprender las evaluaciones, las legitimaciones y principios que las sustentan”.

Estas palabras apuntan al hecho de trabajar con los distintos actores, en los distintos escenarios, para lograr el consenso…discurso que empieza a perfilarse como hegemónico en las distintas áreas y que es el correlato en lo simbólico de una respuesta a la crisis actual (aunque permanente) del capitalismo como sistema económico.

Desde esta lógica política y discursiva cabe mencionar lo que sectores docentes plantean críticamente. Margarita Poggi 3 introduce la discusión respecto de que las pruebas que toma la nación, ponen más el acento en medir que en evaluar, entendiendo el evaluar como la elaboración de un juicio del porqué de un puntaje determinado.

Zona Educativa de Junio es bastante clara en el destino de estas mediciones “El programa también incluirá los resultados nacionales y provinciales de evaluación 1998 y un conjunto de recomendaciones metodológicas para la enseñanza (materiales específicos para lengua y matemática elaborados por profesores de 5° año) que permitirán resolver los problemas identificados en los distintos estratos, secciones, escuelas y alumnos de toda la Nación…La educación que se suministrará a los distintos establecimientos educativos por medio de estos materiales de trabajo, tendrá como objetivo que las escuelas y los docentes tengan datos concretos…y puedan emitir explicaciones, buscar las causas e indagar en las razones que produjeron las fallas o los éxitos escolares. En definitiva, estas informaciones, en términos de indicadores permitirán mejorar la calidad de la educación en tanto y en cuanto sean incorporadas al trabajo de análisis y planificación didáctico-pedagógica de los docentes en la escuela”.
Como se verá, la discusión de los resultados está pensada como posterior a las “recomendaciones metodológicas” diseñadas desde la Secretaría de Programación y




 Evaluación Educativa dependiente del Ministerio de Educación. En este sentido la discusión queda en un plano formal, en una seudo participación. Este detalle en la inversión de los tiempos permite eso sí legitimar este tipo de evaluaciones (mediciones al decir de Poggi) toda vez que en la experiencia docente queda la vivencia de haber intercambiado ideas en alguna jornada, de haberse animado con alguna explicación sobre causas del fracaso en algún fundamento de algún proyecto institucional.

El planteo de Zona no es diametralmente opuesto a lo que se desprende de las observaciones de Thélot, para quién lo fundamental es que los actores acepten las evaluaciones y los principios que la sustentan y no que se debata sobre qué evaluación se quiere y para qué. Un análisis del discurso nos demuestra cómo en este caso los términos utilizados encubren un “como sí”.


Educación regulada por el mercado
Hablamos de una evaluación centrada en la medición que –como  reza en uno de sus objetivos- permita identificar desigualdades e insuficiencias así como áreas para programas compensatorios.

Una evaluación que mide saberes:
“Por supuesto que no estoy conforme con los alumnos argentinos. Quiero que sepan más…las cifras dicen que los alumnos argentinos aprenden menos de lo mínimo indispensable. En lengua y matemáticas no alcanzamos los 7 ptos.y el 10, en las pruebas del Ministerio de Educación en las primarias y secundarias no significan excelencia, sino apenas tener los conocimientos básicos”. (García Solá, Ministerio de Educación).

El énfasis está puesto en un saber como mera enunciación. Ocuparse de la adquisición de conocimiento entendido a éste como un saber fundamentado y que por tanto implicaría una actitud crítica, no ha sido el motivo de la reforma.

Para esta versión actual del liberalismo mundial, la calidad ha pasado a ser central. Primero en las empresas productivas (léase normas ISO), en salud, seguros de vida,…educación. No es una coincidencia en el nombre, posee el mismo significado para distintas áreas. Según este esquema, el aumento en la calidad de una unidad determinada es lo que permite que el cliente (quién paga), pueda elegirlo entre otras calidades.

En Argentina, el mecanismo de competencia que subyace a la calidad en educación (aquellos que logren una mayor calidad podrán competir. Para el resto, su destino es incierto cuando no quedar excluidos) está invisibilizado aún pero opera. Esta evaluación, que como veíamos se intenta legitimar, es la herramienta eficaz para echar a andar el mecanismo de “regulación” como dice C.Thélot.

En la experiencia chilena esto está dicho explícitamente en sus objetivos (ver objetivos) pero además y fundamentalmente se ha avanzado en lo que son los premios a liceos (establecimiento de enseñanza secundaria) de excelencia.
 
El Programa de incentivos a los maestros implementando a partir de 1996 adopta un esquema de pago por mérito asociando las remuneraciones con el rendimiento de los alumnos y la excelencia profesional. Además los establecimientos cuyo desempeño ha sido calificado como excelente según calificaciones a efectuar cada dos años de acuerdo a criterios establecidos por ley 19410 reciben también un incentivo de una subvención mensual por alumnos equivalente a un valor aproximado de US $ 1.5
El 90 % de los montos asignados debe destinarse directamente a los docentes del establecimiento premiado y ser distribuido de acuerdo a las horas de desempeño.

La selección se basa en los puntajes del SIMCE, agrupando establecimientos de características socioeconómicas y geográficas similares y comparando establecimientos de un mismo grupo (PREAL Mejores Prácticas).

Este aparente criterio de equidad que se desprende del último párrafo no deja de ser aparente por cuanto no toma el problema como complejo. Esto es, no basta con evitar comparaciones sin validez metodológica. Aún cuando se de lugar a acreditaciones diferenciales según NSE y Zona geográfica, esto en sí mismo no implica una mejor educación.

En las zonas pobres, en donde se produce una exclusión de los circuitos del mercado, las acciones que tienen lugar son remediales como el P900 en Chile.

Este Programa, de Mejoramiento de la Calidad de la Educación en las escuelas básicas de sectores pobres (900 escuelas), combina acciones de apoyo material (infraestructura, textos, material didáctico y biblioteca de aula), perfeccionamiento en servicio de profesores a través de talleres en la escuela, y contratación de monitores entres jóvenes de la comunidad que han finalizado su educación secundaria para apoyar el trabajo docente con los alumnos más rezagados en los Talleres de Aprendizaje.

En Argentina, paralelo al planteo que hacen sindicatos en términos de reformar la ley Federal de Educación, comienza a introducirse el tema de la competencia en forma más explícita y concreta.

María Echart, investigadora de FIEL4, ecomista especializada en educación, propone la adopción de esquemas de incentivos tanto para los docentes como para los alumnos y sus familias que sean convergentes con la obtención de niveles crecientes en la calidad de la educación. Para la población con mayores problemas educativos plantea una asistencia más directa y focalizada.

Dice Echart:
“…financiando las escuelas en función de la cantidad de alumnos que capta cada institución, la calidad de la educación que brinde y las dificultades diferentes que presente la población atendida. Propongo una asignación básica por alumno que se aproxime al costo de proporcionar educación en forma gratuita; una asignación por calidad otorgada a las escuelas que logren los puntajes más elevados en las pruebas de evaluación externas y una asignación compensadora por alumno, percibida por las instituciones que ofrecen educación a población desfavorecida” (La Nación 22/8/99).

Por último agrega que también hay muchos más docentes de los que quizás se necesitarían y esto es lo que no está permitiendo mejores remuneraciones.

En Chile, en 1987, bajo el decreto-ley 2.200 al 1°  de Marzo de ese año eran 8.098 los docentes despedidos.

 
A continuación, intentaré mostrar algunos resultados que esta política de evaluación ha tenido en ambos países y cuáles son las tendencias que se configuran a partir se estos datos.


Resultados de los operativos de evaluación
País: Argentina

                                                                

-I al IV operativos en las primarias de todo
        
 el país(1993-1998). 
                         
No se encuentran datos sistematizados e informados.

-I al IV operativo primarias (93-98).     
                
En términos generales se conoce el siguiente dato:  
En Lengua se mejoró de 51.75 a 66.93 (mejoría leve según especialistas).


-VI operativo de primarias en todo el                                
  país (3°, 6°, 7° y 2° del secundario)     
                                           
 No alcanzaron el 70% de respuestas correctas ( Lengua y Matemática)




A continuación se muestran los resultados sistematizados e informados del I y II operativos sobre una muestra elegida al azar en los quintos años de escuelas estatales y privadas. Mostraré los resultados nacionales y resultados en 4 provincias que permitan establecer una comparación más fina.


Cuadro 1.


                                              RESULTADOS  NACIONALES


                                  Lengua *  Matemática *
I operativo Nac. de Eval. de finalización del nivel secundario ‘97


   65.10                   


    62.30
II operativo Nac. De Eval. de finalización del nivel secundario ‘98


   66.99


    66.99
*puntaje de respuestas correctas


Cuadro 2.

Promedios de puntajes distribuidos por provincias en establecimientos estatales del 1er. Operativo Nacional de Evaluación de Finalización del Nivel Secundario (5° año 1997).
                     


                          Matemáticas   Lengua
     Capital Federal
79.55
79.76
     Buenos Aires
89.00
84.06
     Chaco
69.12
59.41
     Catamarca
56.28
58.32




Cuadro 3.
 Promedio de puntajes distribuidos por provincia en establecimientos privados del 1er. Operativo Nac. de Eval. de 5° año (’97)


    Capital Federal
86.33
85.04
    Buenos Aires
87.00
87.39
    Chaco
63.34
68.52
    Catamarca
49.05
57.20


 Hasta aquí podemos observar como datos más significativos que tanto en los establecimientos estatales como privados el mejor rendimiento está en Buenos Aires (resps. correctas del orden de los 85 ptos.), que contrasta con el rendimiento de Catamarca, el más bajo en ambos tipos de establecimientos (un promedio de 55 resps. correctas lo que seria un rendimiento bajo).

En Capital Federal, el rendimiento mejora levemente cuando se evalúa en establecimiento privado en relación a uno estatal, y disminuye levemente de estatal a privado en Catamarca.



Cuadro 4.
  
Promedio de puntajes distribuidos por provincia en establecimientos estatales del II Operativo para 5° año (1998).

                            Matemáticas   Lengua
   Capital Federal
81.85
78.02
   Buenos Aires
84.56
84.06
   Chaco
63.98
59.02
   Catamarca
57.88
56.67



Cuadro 5.

Promedio de puntajes distribuidos por provincia en establecimientos privados del II Operativo para 5° año (1998).


   Capital Federal
88.75
87.84
   Buenos Aires
87.59
86.82
   Chaco
58.54
63.18
   Catamarca
48.01
57.58



La tendencia del operativo del 97 (ptjes. bajos en la provincia de Catamarca), se repite en el 98. Hay una variación en los ptjes. altos; esta vez los ptjes. altos se dividen según se trate de establecimiento estatal o privado (Bs. Aires, y Cap. Federal respectivamente).

Comparando los rendimientos globales de un operativo a otro- según el tipo de establecimiento- vemos que en ningunas de las provincias señaladas hubo variación.

En la provincia del Chaco si bien no es significativo, el rendimiento bajó de un año a otro en los colegios privados (cuadros 3 y 5).

Se observa un mejor rendimiento aunque leve en los establecimientos privados por sobre los estatales en Capital Federal.

Si comparamos el Cuadro 1 con el resto de los cuadros, vemos que el comportamiento de los números en los dos operativos (que son similares) se acercan más a los valores representados por Chaco y Catamarca (cuadros 2,3,4, y 5).


País: Chile
Desde mediados de la decada del 80, el Ministerio de Educación viene realizando mediciones censales a niveles nacional en 4° y 8° año básico; de 1994 lo hace en   año Medio.    

La información cuantitativa obtenida según las fuentes consultadas es sobre el SIMCE de 1998 de los Segundos Medios.
Por ser datos censales a nivel nacional, hice un recorte de la información considerando la I Región , la XII Región y la Región Metropolitana. A la vez, tomando a la Región Metropolitana, elegí dos comunas (Las Condes y Pudahuel) consideradas como NSE alto y bajo respectivamente.

El resto de la información obtenida es una evaluación cualitativa desde distintos sectores de la sociedad chilena. Respecto de las mediciones en 4° y 8° básico, las referencias que se encuentran son sólo cualitativas (no son incluidas en este trabajo).


                                                 SIMCE I REGIÓN

                     Ptje.Mat Ptje.Leng. Dif.Mat.  Dif.Leng
                         98            98       98-94       98-94

      Arica
242
245
5
-3
     Iquique
241
244
4
-6
      Huara
215
210
-38
-45
      Pozo
    Almonte
214
210
-19
-22



                                                 SIMCE XII REGIÓN


                       Ptje.Mat Ptje.Leng. Dif.Mat.  Dif.Leng
                         98            98       98-94       98-94

     Natales
240
 244
13
11
   Pta. Arenas
252
257
-8
-7
    Porvenir
241
240
-8
-25
   Navarino
284
245
24
-17





                                                              SIMCE R.M.


          
                      Ptje.Mat Ptje.Leng. Dif.Mat.  Dif.Leng
                         98            98       98-94       98-94
    Santiago
271
272
13
5
  Sn. Joaquín
236
237
12
0
  Sn. Miguel
245
250
11
12
Pedro
Aguirre C.
231
231
11
2



Los signos negativos indican puntos menos que el operativo del 94 en la misma área.

Los puntajes que aparecen son los promedios dentro de cada comuna.
En el caso de la Reg. Met. (por el gran tamaño de la población), sólo consideré 4 comunas.

En términos generales, lo que llama la atención, es que tanto en la I y en la XII Región (que aparecen en su totalidad), la mayoría del rendimiento bajó de un operativo a otro. Esto no ocurrió en la R.M.

Si lo comparamos con las bajas en las evaluaciones argentinas, la diferencia acá es mucho más importante (Chile), llegando en algunos casos hasta los 45 ptos. (SIMCE I Reg.). Esto en parte puede deberse a que para el 98, las pruebas midieron no solo conocimientos sino también habilidades. Además, se cambió la escala de medición, y los ítems tuvieron un nivel de mayor exigencia.

Algunas comunas de la I Región en el Norte, son las que presentan más bajo puntaje.

Si se analizan las tablas de los SIMCE de las tres regiones (ver tablas y listados de establecimientos adjuntos), en todas aparece indefectiblemente un mejor desempeño (representado por puntajes de más de 300 ptos. en cada área) en los establecimientos particulares subvencionados.

Igual comportamiento se ve reflejado en las tablas de dos comunas distintas de la R.M.:
La de la comuna de Las Condes (NSE alto) aparecen ptjes. mayores que 300 en muchos de los casos y existe una mayor concentración de colegios particulares pagados. En cambio, en la comuna de Pudahuel (NSE bajo), los puntajes apenas superan los 200 ptos. y no aparecen establecimientos particulares pagados.

Capítulo aparte merece la Evaluación Docente que forma parte de todo este procedimiento evaluativo. En relación a esta calificación –que es como la llaman desde las esferas municipales-, el Colegio de Profesores  opina que si bien es necesaria una evaluación para el sector, ésta no debe ser punitiva como la actual. La ley que permite la evaluación docente existe desde hace 8 años, sin embargo, por su carácter (castiga el supuesto no logro de metas), los docentes se han opuesto a su aplicación y ésta no se ha aplicado. Plantea este sector docente que el tema de la evaluación tiene que ser ampliamente discutida para sobre esta base poder pensar en que tipo de evaluación se quiere y necesita.

Respecto de las evaluaciones de calidad de la educación el Colegio de Profesores opina que la educación chilena está en crisis. Manifiestan que los resultados arrojados por el SIMCE y la P.A.A. (Prueba de Aptitud Académica) dan pie para sostener a la gestión municipal (50% del alumnado, con un 75% de pobres) como ineficiente.

Por último, el sector del empresariado plantea que la calidad de la educación está deteriorada en relación directa con los grados de pobreza y ruralidad. La educación de aproximadamente 500.000 niños no está produciendo el valor agregado necesario para que esos niños dejen de ser pobres.

A modo de conclusión

 La evaluación en estos países ha pasado a ser solo una técnica en la medida que desde su aplicación se busca insistentemente una resultado eficaz, certero, positivo, aún cuando está orientando a grupos humanos que por definición son vulnerables. Ha pasado a ser solo una técnica, cuando pese a la experiencia chilena de una década y media de aplicación, se insiste sobre lo mismo modificando métodos de medición, nuevas escalas de puntuación, ítems más complejos, etc., intentando así torcer los resultados que siguen dando rebeldes: la educación se polariza cada vez más y este efecto no es deseable.
Cuando no se puede reflexionar sobre esto y cuestionar que quizás en mercados con distintas características (europeos, norteamericanos) estas evaluaciones son eficaces pero en nuestros países no, es que la evaluación se ha convertido solo en una técnica, en una adquisición sin mas de recetas que vienen del exterior. Como dice Thélot, “los países que no hagan de la educación una cuestión más eficaz, tendrán serios problemas”. Probablemente nos condicionen los créditos.
Esta evaluación no ha incidido en mejorar la “calidad” de la educación.
Para mejorar la Educación si por esto se entiende que la escuela vuelva a su función de enseñar (un aprendizaje con significación social como dice la Ley Federal) y no de dar asistencia, que los docentes quieran enseñar y que su lugar esté jerarquizado, se necesitaría: que el ajuste vaya hacia los gastos reservados, controlar la evasión de impuestos en los sectores de mayores ingresos, aumento cualitativo del presupuesto destinado al sector y que la educación no esté regulada  por el mercado sino por el estado. En ese marco, la evaluación de los docentes y de los alumnos tiene que ser amplia y verdaderamente discutida en cuanto a sus fundamentos y planificación previo a cualquier sanción de ley. Esto llevará el tiempo que sea necesario dedicar si lo que se quiere hacer se hace desde un modelo integral y no tecnocrático. La experiencia nos ha mostrado que el abuso de la técnica en pos de una supuesta eficiencia termina satisfaciendo sólo a aquellos que están encargados de tal tarea que la llevan adelante en tiempo y forma pero como vemos en este trabajo, no a los destinatarios reales de esta historia: los niños y jóvenes en edad escolar.

                                                                                                A.C
                                             



Notas:

1.     Crevenna P. “Consideraciones sobre la evolución del concepto de epidemiología.” UAM. Mimeo, México, 1988.
2.     Ex director de Evaluación del Ministerio de Educación de Francia, actual asesor del tribunal de cuentas del país europeo.
3.     En Clarín Educación, mayo/99.
4.     Fundación de Investigaciones Económicas Latinoamericanas.                    

Fuentes:

-   El educador electrónico. Boletín de Información gremial Nº 7. Sept/99 (sitio Col. de                                        
     Prof. de Chile en Internet).
-   Servicio de información del Ministerio de Educación de Chile en Página Web del   
     Preal.
-   Servicio de información del Ministerio de Educación de Argentina en Página Web
     Preal.

Bibliografía:

-   “Práctica educativa y rol docente. Crítica del instrumentalismo pedagógico” Follari,
      Roberto, Bs. Aires, Aique Grupo Editor, 1995.
-    Revista Docencia Sept/98 (Col. de Prof. de Chile). Biblioteca Instituto Marina Vilte.
-    Revista Zona Educativa Año 2 Nº 16 y Año 4 Nº32. 







No hay comentarios:

Publicar un comentario