INDICADORES

Evaluación Indicadores

Los indicadores, como ya hemos indicado al realizar la aproximación teórica a la evaluación, hacen referencia al nivel más concreto que debemos tener en cuenta a la hora de evaluar.

Como podemos apreciar en el gráfico, de un objetivo se pueden derivar varios estándares y de éstos a su vez diferentes indicadores. Son éstos los que nos permiten construir los instrumentos de evaluación.
 

Los indicadores pueden ser de muchos tipos y estarán en función del modelo por el que se opte para realizar la evaluación (cuantitativa/cualitativa, sumativa/formativa). Si realizamos una clasificación muy amplia podemos hablar de indicadores cuantitativos y cualitativos. Como señalan Barajas, Scheuermann y Kikis (2002) los indicadores cuantitativos son muy interesantes cuando lo que se pretende realizar son estudios comparativos entre países o a lo largo del tiempo pero, como ellos indican, también son necesarios otros indicadores cualitativos cuando se quiere evaluar la efectividad de las NTIC de cara a la innovación.

Un buen ejemplo del desarrollo de indicadores lo tenemos en EEUU. Vienen trabajando con rigor en el tema y son especialmente conocidos y utilizados los estándares definidos por la International Society for Technology in Education (ISTE). Los estándares propuestos por ISTE son los que utiliza el Departamento de Educación de los Estados Unidos y los más empleados en la investigación en este campo. Actualmente ISTE está desarrollando el proyecto NETS (National Educational Technology Standards), que ya ha elaborado estándares para alumnos desde preescolar hasta el Grado 12 y estándares para profesores. En la actualidad tienen desarrollados unos estándares para evaluar el uso de la tecnología por los diferentes agentes implicados, así como para los diferentes niveles y áreas específicas.

Los estándares para los estudiantes se organizan en seis categorías:

        1) operaciones y conceptos básicos,
        2) cuestiones sociales, éticas y humanas,
        3) herramientas tecnológicas para la productividad,
        4) herramientas tecnológicas para las comunicaciones,
        5) herramientas tecnológicas para la investigación, y
        6) herramientas tecnológicas para la solución de problemas y toma de decisiones.

Cada categoría se desglosa en varios estándares. La número 5 incluye:

  • "los estudiantes usan la tecnología para localizar, evaluar y recoger información de diversas fuentes",
  • "los estudiantes usan las herramientas tecnológicas para procesar datos y aportar resultados", y
  • "los estudiantes evalúan y seleccionan nuevas fuentes de información e innovaciones tecnológicas basadas en su adecuación a tareas específicas".

A partir de esta definición de estándares realizan para cada etapa educativa (pre K-2, Grados 3-5, Grados 6-8 y Grados 9-12) determina perfiles que incluyen indicadores de ejecución que describen la competencia tecnológica que un estudiante debe alcanzar en los diferentes niveles educativos. Para cada categoría de estándares se definen indicadores de ejecución que los operativizan en esos diferentes niveles educativos. Así, por ejemplo, un indicador para los estudiantes de grado 12, que operativiza la categoría número 5 y la 6 de estándares es "investigar y aplicar sistemas expertos, agentes inteligentes y simulaciones en situaciones del mundo real". Cada conjunto de indicadores de ejecución incluye un ejemplo o escenario que describe cómo esos indicadores pueden ser abordados en la práctica de aula.

El procedimiento seguido con los profesores es el mismo y en él se han delimitado seis categorías de estándares: 1) Operaciones y conceptos tecnológicos, 2) Planificación y diseño de entornos y experiencias de aprendizaje, 3) Enseñanza, aprendizaje y currículum, 4) Evaluación, 5) Productividad y práctica profesional, y 6) Cuestiones sociales, éticas, legales y humanas. Se han definido también perfiles e indicadores.

Otros estándares que también se utilizan en EEUU son los de la ITEA (International Technology Education Association), una organización internacional patrocinada por la NASA y por la National Science Foundation, que se dedica a promover la alfabetización tecnológica apoyando la enseñanza de la tecnología, elaborados por medio del proyecto "Technology for All Americans", más enfocados a la ciencia (ITEA, 2000).

La OCDE, que viene realizando un trabajo sistemático sobre indicadores educativos, incluye también indicadores referidos a accesibilidad y uso de las tecnologías de la información y la comunicación en el proceso de enseñanza-aprendizaje en la edición de 2003 de su obra ya clásica "Education at a Glance OECD Indicators-2003 Edition".

En la zona de Asia-Pacífico se está iniciando la elaboración de indicadores para evaluar la implantación de las TIC en la enseñanza. Este proyecto, auspiciado por la UNESCO es llevado a cabo por Information & Comunication Technologies for Education in Asian-Pacific, en su página web podemos encontrar una revisión importante sobre los indicadores desarrollados en otras partes del mundo.

En Europa también se está realizando un esfuerzo por elaborar indicadores. El SIBIS (Statistical Indicators Benchmarking the Information Society) es un proyecto inscrito en el programa ISP (Information Society Programme), programa de investigación para las acciones relacionadas con las tecnologías de la información y la comunicación de la Comisión Europea (IST-2000-26276). El SIBIS se realizó entre Enero del 2001 y Septiembre del 2003 y se ha encargado de desarrollar una serie de indicadores para evaluar la implantación y la evolución de las TIC en los Estados Miembros de la Unión Europea, elaborando un documento específico de indicadores en la educación.

Dependiente de la Dirección General de Educación y Cultura de la Unión Europea –Eurydice- The Information Network on Education in Europe ha publicado el documento "Basic Indicators on the Incorporation of ICT into European Education Systems. Facts and figures. 2000/01 Annual Report", donde se estudia la evolución de la implantación de las NTICS en los Países Miembros.

En nuestro país no disponemos de una propuesta de estándares e indicadores tecnológicos. De hecho el Sistema Estatal de Indicadores de la Educación publicado por el INCE (2000) (actualmente INECSE –Instituto Nacional de Evaluación y Calidad del Sistema Educativo) recoge indicadores agrupados en 5 bloques (indicadores de contexto, de recursos, de escolarización, de procesos educativos y de resultados educativos, entre los que no hemos encontrado ninguno referido a las NTIC.

En el trabajo de Flora Gil (1999), asesora técnica del INCE "Indicadores educativos sobre entorno y procesos escolares. Perspectiva española en el marco del Proyecto de Indicadores de los sistemas educativos de la OCDE" sólo en el capítulo 3, en el apartado m-5 habla del número de ordenadores y uso en las escuelas, aportándose datos del año 1995. En él se recorren los esfuerzos de la Red C del Proyecto INES de la OCDE para construir, a lo largo de los últimos diez años, un conjunto de indicadores sobre el contexto escolar y los procesos educativos, con un particular énfasis en la posición de España en comparación con otros países.

Nuestra Comunidad ha sido pionera en la evaluación del impacto de las nuevas tecnologías en la escuela. El trabajo Un primer diagnóstico del uso de internet en los centros escolares de la Comunidad Valenciana. Procesos de formación y efectos sobre la calidad de la educación (Gargallo, Suárez, Morant, Marín, Martínez y Díaz, 2001) realizado para el IVECE. Este trabajo supuso el desarrollo de unos indicadores con una muestra representativa y con una metodología sumamente rigurosa adaptada a los cánones internacionales seguidos por organismos sumamente prestigiosos en el ámbito que nos ocupa: así la OCDE (Evaluación del Programa OCDE/CERI sobre TIC y calidad del aprendizaje) (OCDE, 2000a, b y c) o la Oficina de Tecnología Educativa del Departamento de Educación de Estados Unidos y su Servicio de Planificación y Evaluación que en diversos programas de evaluación integra la perspectiva cuantitativa y la cualitativa, fundamentalmente a través de la aplicación de cuestionarios (generalmente on-line) y estudios de casos (por ejemplo, en la evaluación del proyecto PT3 (“Preparing Tomorrow’s Teachers to Use Technology).
 

LOS INDICADORES DEL OBSERVATORIO

Se trabajan tanto indicadores de tipo cuantitativo como cualitativo. Los cuantitativos serían aquellos indicadores que se recogen mediante las encuestas realizadas a los agentes implicados. Los indicadores cualitativos son la información que se obtiene a partir de las visitas y entrevistas en los centros y las informaciones que aparecen en sus páginas web.

Los indicadores cuantitativos están adaptados a cada uno de los agentes implicados:

Se estructuran en cinco grandes apartados comunes. La información que se recoge es distinta dependiendo del agente que responde:

  • Datos y uso de Internet

-  Sexo

-  Edad

-  Características profesionales (especialidad, titulación) o curso

-  Conexión a Internet en casa, tipo y tipo de contrato

-  Horas semanales que se conecta: en el centro y/o en casa

-  Frecuencia y tipo de uso de las diferentes herramientas (visitas a páginas web, correo, foros,  chats......) . Diferenciando entre:   

+  Los alumnos: uso en el centro y fuera del centro, y frecuencia de uso con finalidades educativas o lúdicas.

+  Los directores, coordinadores de informática y profesores: uso en general, con sus alumnos en el centro y si se utiliza Internet como fuente de información para uso curricular.

-  Si el centro tiene página web

-  Si el centro publica en web trabajos elaborados por los profesores o los alumnos

-  Si el centro colabora en proyectos o trabajos con otros centros

-  Si el equipo directivo participa activamente en la organización, puesta en marcha y utilización de Internet en el centro.

Los coordinadores de informática son los encargados de responder a las cuestiones relacionadas con la infraestructura del centro y el uso que se hace de esas infraestructuras. Si el cuestionario se presenta por páginas –como está actualmente- enlazar con la página del cuestionario en la que se les pregunta por estos aspectos a los coordinadores.

- Número de alumnos
- Número de profesores
- Ordenadores disponibles
- Conexiones a Internet
- Aulas con conexión a Internet
- Número de ordenadores conectados a Internet que utilizan los alumnos
- Número de alumnos que utilizan Internet en el centro
- Número de profesores que utilizan Internet en el centro y frecuencia de uso

  • Formación

- Conocimiento y manejo de Internet, estableciendo cinco niveles: nulo (no sé manejar Internet), principiante (sé acceder a páginas web con navegadores e imprimir páginas), medio (además puedo usar buscadores, crear mi página de favoritos, guardar mis páginas en el disco y abrir y contestar el correo electrónico), avanzado (también puedo elaborar documento con informaciones de varias páginas web incluyendo gráficos, sé utilizar opciones de búsqueda avanzada de los buscadores y puedo usar listas de correo electrónico, news, chats y FTP) y experto (además puedo crear páginas web).
- Por parte de quién se ha recibido formación
- Tipo de formación recibida
- Horas de formación recibida
- Valoración de la efectividad de la formación recibida

A los directores, coordinadores de informática y profesores también se les pregunta sobre:

- Uso de Internet
- Como herramienta para la formación de profesores
- Horas de formación que estiman necesarias para el uso educativo y formativo.

  • Actitudes relativas a tres aspectos

- Creencias y percepciones personales sobre Internet en general y sus repercusiones sociales
- Posición personal frente a Internet
- Posición frente al uso educativo de Internet

  • Repercusión en la calidad de la educación

- Mejora de la formación
- Aumento de la motivación
- Atención a la diversidad

  • Alternativas y sugerencias para la mejora

Los alumnos disponen de un espacio abierto para indicar lo que consideren oportuno
Los profesores, coordinadores de informática y directores responden a diferentes aspectos relacionados con:

- Infraestructuras básicas y de apoyo
- Formación
- Webs educativas y sus funcionalidades


 

© ONTEV 2003 - Observatorio de Nuevas Tecnologías en la Escuela Valenciana