Epígrafe 3.1.Valoración por el método de Criterios Expertos.

La mayoría de los métodos de evaluación de softwares requieren que los expertos revisen una amplia variedad de aspectos de los mismos. En algunos casos, el número de criterios que los expertos debían evaluar es muy elevado y se pierde información debido al desconocimiento de determinados criterios que no son de dominio por parte del equipo que elabora los instrumentos para la valoración o porque el propio experto no tiene elementos que contribuyan a orientar su valoración. Sin embargo, muchos de ellos podían ser agrupados en dimensiones que apuntan a áreas del conocimiento más específicas, lo que redundaría en una mayor objetividad de los criterios de valor de los expertos. También es importante destacar que se deben prever dos tipos de validación, una para la fase de producción donde se aplicó el método de criterio de expertos (Hernández Fuentes (2000) y Campitrous (2003)) y otra para la fase de puesta en práctica en la que se empleó el cuasiexperimento.

Para la puesta en práctica del método de valoración de expertos se utilizaron las etapas propuestas por Hernández Fuentes. Según este investigador el método consta de las siguientes:

• Selección de los posibles expertos.
• Determinación de la competencia del experto.
• Obtención de criterio de cada experto.
• Procesamiento de los criterios de los expertos.

Para el caso particular de la propuesta estas etapas se pusieron en práctica de la forma siguiente:

• Selección de los posibles expertos.

Utilizando los criterios de Cardona, se emplearon tres grupos de expertos evaluadores: el de contenido, el de diseño instruccional y el técnico informático. El experto en contenido tendrá la tarea de evaluar los aspectos de la ciencia correspondiente a la información que contempla la multimedia; el experto en diseño instruccional será el encargado de evaluar los aspectos relacionados con la manera de presentar y enlazar la información; mientras que el experto en informática evaluará los aspectos relacionados con la interfaz, usabilidad, etc. A partir de la valoración subjetiva de los expertos se determinaron cuáles debían ser las variables adecuadas para someter a valoración la multimedia.

Para la selección de los posibles expertos se tuvieron en cuenta los indicadores siguientes: como posible experto en contenido a aquel profesorque ha impartido la asignatura más de 5 veces. Como experto en diseño instruccional a aquel profesor que haya realizado 3 trabajos o más relacionados con la temática de los SEs y, además, ser un profesional relacionado con la psicopedagogía. El experto en informática será un profesor de la especialidad de Informática o no, pero sí vinculado a la producción de SEs, ya sea en la programación o el diseño gráfico, etc.

La poblaciónde expertos fue seleccionada de los Institutos de Educación Superior ISP “José Martí” y la Universidad de Camagüey. De estas instituciones se les pidió cooperación a los profesores de los departamento de Electricidad y al equipo de trabajo de Cejisoft del ISP “José Martí”, así como profesores de los Institutos Politécnicos Cándido González Morales y Manuel Cañete Ramos, ambos del municipio de Camagüey y que estaban relacionados con los contenidos de la asignatura Máquinas y Accionamientos Eléctricos. A partir de la encuesta (Anexo XI) y de los indicadores anteriores se seleccionaron 18 posibles expertos en el contenido que ofrece la multimedia, 21 en diseño instruccional y 19 posibles expertos en informática. Además se tuvieron en cuenta otros criterios subjetivos tales como:

• La creatividad.
• La capacidad de análisis.
• El espíritu autocrítico.
• El interés por participar.
• La carga de trabajo.

Dichos resultados pueden ser corroborados a partir de los Anexos XII A, B y C.

• Determinación de la competencia de cada posible experto.

Siguiendo la propuesta de Hernández Fuentes en esta etapa a partir de los resultados de la etapa anterior se hace necesario determinar la competencia del experto para lo cual se aplica eltest de autovaloraciónque se muestra en el anexo XIII.

A partir de dicho test autovalorativo se obtuvieron los coeficientes de competencia y de argumentación. Elprocedimiento seguido para obtener dichos coeficientes se recoge en el anexo XIV.

Para considerar como experto a uno de los encuestados, éste deberá obtener un coeficiente de competencia en el siguiente rango: 0.25 y 1. Los valores de los coeficientes de competencia y de argumentación para cada uno de los expertos preseleccionados se recogen en el anexo XV A, B y C. Según estacondición establecida resultaron expertos:

• Expertos en contenido: 11
• Expertos en diseño instruccional: 14
• Expertos en informática: 18
• Obtención del criterio de cada experto.

Para la obtención de las valoraciones de los expertos primeramente se seleccionaron las dimensiones e indicadores para lo cual se tuvieron en cuenta los trabajos de: Gómez del Castillo Segurado (2003), Marqués (2003), González Castañón (2003), Santiago (2003), Hans (2003), González Ramírez (2003), del Colegio de Profesores de Chile (2003) y otras fuentes tales como: La Universidad de la Frontera (2002), Cardona (2003), y del Grupo de Expertos del Ministerio de Educación de la República de Cuba (2004).

Teniendo en cuenta estos trabajos y los resultados obtenidos del método de criterio de expertos losautores seleccionaron las dimensiones e indicadores (Anexo XVI)para la valoración en la fase de producción.

Con la finalidad de obtener los criterios valorativos de los expertos por dimensión a estos se les hicieron llegar los instrumentos que permitirían valorar la multimedia “MaqCD” (Anexo XVII, XVIII y XIX).

• Procesamiento de los criterios de los expertos.

Para la obtención de la valoración subjetiva de los expertos se construyeron las tablas de frecuencia para cada uno de los grupos de expertos (Anexos XX, XXI y XXII).

Las tablas de frecuencias correspondientes a la dimensión contenido permitieron arribar a las siguientes conclusiones:

• Los expertos en la dimensión contenido estuvieron en total acuerdo con el tratamiento dado a los siguientes indicadores: lenguaje adecuado al nivel de enseñanza, vigencia científica, confiabilidad conceptual, pertinencia, demostraciones, transferencia de aprendizaje, motivación, confiabilidad psicopedagógica, refuerzos y ayudas. Por su parte estuvieron de acuerdo con el tratamiento dado al indicador redacción. Es relevante señalar que en ningún caso se encontraron criterios de expertos en desacuerdo o total desacuerdo con los indicadores objeto de valoración y los expertos consideraron estar en total acuerdo con el tratamiento dado a esta dimensión.

Las tablas de frecuencias correspondientes a la dimensión diseño instruccional permitieron arribar a las siguientes conclusiones:

• Los expertos en la dimensión diseño instruccional estuvieron en total acuerdo con el tratamiento dado a los siguientes indicadores: presentación del software, color, objetivos, secuencia lógica, flexibilidad, pertinencia, enfoque de aprendizaje, estrategia metodológica, rol del docente, motivación, interacción, refuerzos, ayudas, evaluación. Por su parte estuvieron de acuerdo con el tratamiento dado a los indicadores redacción, lenguaje adecuado al nivel de enseñanza, imágenes audiovisuales, textos, imágenes, sonidos y documentación. Es relevante señalar también que en ningún caso se encontraron criterios de expertos en desacuerdo o total desacuerdo con los indicadores objeto de valoración y los expertos consideraron estar en total acuerdo con el tratamiento dado a esta dimensión.

Las tablas de frecuencias correspondientes a la dimensión informática permitieron arribar a las siguientes conclusiones:

• Los expertos en la dimensión informática estuvieron en total acuerdo con el tratamiento dado al indicador adaptabilidad. Por su parte estuvieron de acuerdo con el tratamiento dado a los indicadores: estructura de programación, facilidad de comprensión, interfaz gráfica y confiabilidad funcional. Es relevante señalar en este caso que nose encontraron criterios de expertos en desacuerdo o total desacuerdo con los indicadores objeto de valoración y los expertos consideraron estar de acuerdo con el tratamiento dado a esta dimensión.

Epígrafe 3.2. Validación experimental de la multimedia “MaqCD”.

Para llevar a cabo el trabajo de experimentación se realizó un cuasiexperimento para lo cual se escogió el grupo E-31 con matrícula de 31 estudiantes, de ellos 25 varones y el resto hembras; perteneciente al tercer año de la especialidad Técnico Medio en Electricidad del IP Cándido González Morales en el municipio de Camagüey. Lo anterior se sustenta en que la utilización de productos informáticos para propiciar el aprendizaje es algo que ha sido corroborado por otras investigaciones, por lo que solo era necesario validar la efectividad o no de la propuesta que para este caso se realizó.

Como primer paso se inicia la primera etapa del cuasiexperimento donde se determinaron los conocimientos previos de los estudiantes, dichos conocimientos abarcan los relacionados con electromagnetismo y en particular la Ley de Lenz, Ley de Faraday y los recursos nemotécnicos: Regla de la mano izquierda y Regla de la mano derecha. Para ello se les aplicó la prueba pedagógica que se muestra en el anexo XXIII. Los resultados finales de esta etapa demostraronque el número de estudiantes aprobados fue de 13 y 18 los desaprobados. Tales resultados se recogen en el anexo XXIV. Se asumió como alumnos aprobados a todos aquellos que obtuvieron notas de 60 puntos o más y como alumnos desaprobados, aquellos que obtuvieron notas inferiores a esa.

La prueba pedagógica aplicada permitió además determinar que los estudiantes tenían dificultades en el momento que debían aplicar conocimientos propedéuticos a situaciones nuevas o relativamente nuevas; dificultades en el establecimiento de relaciones entre conocimientos; en arribar a conclusiones y generalizaciones con fundamento teórico.

En la segunda etapa del cuasiexperimento se introduce la multimedia “MaqCD” en el grupo, la misma será empleada por los estudiantes como un material didáctico más, que unido a sus materiales didácticos impresos le servirá para profundizar, ampliar conocimientos, experimentar, determinar que han aprendido del tema “Aspectos generales de las máquinas de corriente directa”. Para el logro del éxito de esta etapa se hizo necesaria la coordinación y habilitación de un horario en el laboratorio de computación del centro antes mencionado, lo que fue posible gracias a la colaboración de los directivos. Con esta misma finalidad se coordinó con el profesor que impartía la asignatura para que tuviera en cuenta que debía incorporar al tratamiento metodológico del tema el nuevo producto informático y que debía continuar empleando los materiales didácticos “Máquinas eléctricas 1” de los autores A. I. Voldek y M. P. Kostenko y L. Piotrovski. En ese sentido es válido señalar la disposición brindada por el profesor.

De esa forma y durante cinco semanas se introduce la multimedia “MaqCD” para propiciar el aprendizaje de los contenidos correspondientes al tema “Aspectos generales de las máquinas de corriente directa” el cual cuenta con el sistema de conocimientos que se muestra en el anexo XXV.

Para comprobar los resultados de la aplicación de dicha multimedia, al término de tres semanas se le aplica una nueva prueba pedagógica a dicho grupo, este instrumento puede ser visto en el anexo XXVI, el mismo tuvo por finalidad valorar como iba evolucionando el aprendizaje de los estudiantes para lo cual se tuvo en cuenta la posibilidad que tenían los mismos de aplicar los conocimientos a situaciones nuevas o relativamente nuevas, de establecer relaciones entre los conocimientos propedéuticos y los que presentaba el tema, la posibilidad de estos de arribar a conclusiones y a generalizaciones teóricas con fundamentos científicos. En esta etapa se observa que existe evolución positiva en cuanto a los aspectos antes mencionados, este resultado puede ser visto en el anexo XXVII.

La tercera etapa y final se culmina en la quinta semana de la aplicación del cuasiexperimento. Al igual que en las etapas anteriores se aplicó una prueba pedagógica la que se muestra en el anexo XXVIII. En la cual se tuvieron en cuenta los mismos indicadores que en las pruebas anteriores. Esta prueba permitió concluir lo efectiva que resultó la multimedia “MaqCD” como vía para propiciar el aprendizaje de los contenidos correspondientes al tema “Aspectos generales de las máquinas de corriente directa”. El planteamiento anterior se sustenta en que en el grupo, de los 31 estudiantes que conforman su matrícula solo uno de ellos tuvo dificultades en la transferencia de lo aprendido a situaciones nuevas o relativamente nuevas, en el establecimiento de relaciones y en el arribar a conclusiones que lo condujeran a generalizaciones teóricas con fundamentos científicos. Este resultado evaluativo se resume en el anexo XIX.

De esta forma se comprobó que la multimedia “MaqCD” constituye una vía efectiva para propiciar el aprendizaje teniendo en cuenta que la misma aprovecha la interacción entre los miembros del grupo, la multimedia y el profesor; que al aprovechar los medios tan variados, estimula la zona de desarrollo próximo, condición indispensable para propiciar el aprendizaje. Estas formas de mediación instrumentadas fueron las que permitieron un primer nivel de relaciones interpsicológicas en el estudiante, las actividades que se implementaron con el profesor, los estudiantes y con los contenidos del software crearon una relación socio/educativa que ayudó a los estudiantes a la apropiación de los contenidos, en fin, al mejoramiento de las relaciones sociales, que fueron en definitiva manifestaciones de ese proceso intrapersonal adquirido. Todo esto logró en el estudiante la adquisición de un nuevo aparato conceptual para percibir su realidad externa.

Gerónimo Hernández Fuentes. El criterio de especialistas y su aplicación en las investigaciones pedagógicas, h. 5.

Ninoska Cardona. Producción de software educativo. p. 12.