Machine Translated by Google

Educación para Ingenieros Químicos 36 (2021) 54–64

Listas de contenidos disponibles en ScienceDirect

Educación para ingenieros químicos

página de inicio de la revista: [Link]/locate/ece

Cuestionarios de Moodle y Socrative como ayudas formativas para la enseñanza de la teoría

en una asignatura de ingeniería química

E. Romero , L. García, J. Ceamanos

Departamento de Ingeniería Química y Ambiental, Escuela Técnica Superior de Arquitectura e Ingeniería (EINA), Instituto Aragonés de Investigación en Ingeniería (I3A), Universidad de Zaragoza, Mariano Esquillor s/n, 50018
Zaragoza, España

información del artículo abstracto

Historial del artículo: Existe una opinión mayoritaria sobre la influencia positiva del uso de las tecnologías en la enseñanza. Sin embargo, pocos estudios
Recibido el 3 de junio de 2020 dan cuenta de su efecto en las calificaciones finales de los estudiantes. La enseñanza teórica tradicional a menudo muestra una
Recibido en forma revisada el 31 de enero de 2021
falta de motivación, compromiso y autoeficacia en los estudiantes. Una forma de mejorar esto es incluir cuestionarios, que pueden
Aceptado el 2 de marzo de 2021
permitir a los estudiantes obtener retroalimentación en la adquisición de habilidades y autorregulación, y controlar su propia forma
Disponible en línea el 5 de marzo de 2021
de construir conocimiento. La metodología sugerida integra cuestionarios y pruebas a través de dos TIC, cada una con una
estrategia diferente. Una es el uso de cuestionarios rápidos y en tiempo real con Socrative, enfocados en promover la motivación
Palabras clave:
y el compromiso en el aula. La segunda es el uso de pruebas con Moodle durante un período más largo (bloques de lecciones).
Conferencia tradicional
Tanto los exámenes como los cuestionarios se diseñaron como actividades formativas: los estudiantes pueden obtener
aprendizaje combinado
Calificaciones retroalimentación, identificar debilidades y una mejor programación de su trabajo.
Resultados Tres herramientas (una prueba Moodle; tres cuestionarios Socrative; ninguna herramienta/solo enseñanza tradicional) se rotaron
Motivación entre tres cohortes y bloques diferentes en una asignatura de Ingeniería Química (n=49 estudiantes). Los efectos en los resultados
Moodle de aprendizaje de los estudiantes (calificaciones) en el examen final de teoría se evaluaron por bloques. Una prueba ANOVA de
Prueba
un factor para datos pareados no mostró diferencias estadísticas significativas entre el uso de pruebas Moodle o cuestionarios
Socrativo
Socrative. Se identificaron algunas posibles influencias negativas sobre los datos y se han sugerido mejoras para futuros estudios.
Prueba
Una intensificación de los cuestionarios y las pruebas podría ser relevante. Aunque no se obtuvo una mejora significativa en las
TIC
Análisis de varianza
calificaciones, el uso de ambas herramientas fue valorado positivamente por estudiantes y profesores. Los resultados de las
encuestas mostraron que la metodología propuesta puede crear un entorno educativo más atractivo y autorregulado. Sin embargo,
Índice de instalaciones
este estudio respalda que las percepciones previas de los estudiantes sobre las herramientas pueden condicionar sus percepciones
finales sobre la ayuda real de las TIC para el aprendizaje y sus futuros resultados académicos.

© 2021 Institution of Chemical Engineers. Publicado por Elsevier BV. Todos los derechos reservados.

1. Introducción los cambios que conlleva a nivel social y educativo.

Cualquier profesor universitario puede comprobar diariamente cómo de involucrados
La pasividad típica de algunos estudiantes en las aulas y clases, especialmente en están los estudiantes en el uso de las diferentes redes sociales y la comunicación en vivo.
aquellas con contenido teórico o, en general, en las clases magistrales tradicionales, Software. La pregunta que surge es: ¿por qué no aprovechar estas herramientas en
todas ellas expositivas, es bien conocida por todos los docentes, especialmente en la beneficio de la docencia universitaria? En otras palabras, ¿por qué no reducir la brecha
educación superior. Esto puede requerir una acción del profesorado para involucrar a tecnológica entre estudiantes y docentes? El uso de las nuevas herramientas TIC
los estudiantes en la actividad docente. Se están realizando esfuerzos para mejorar la implica, en primer lugar, un acercamiento a la realidad tecnológica de nuestros
estructura clásica de las clases magistrales mediante nuevos procesos avanzados (Ben­ estudiantes, lo que puede facilitar su mayor participación en las asignaturas (Romero et
Av y Ben­Av, 2015). al., 2019). En segundo lugar, representan un apoyo muy importante para la docencia
A su vez, nuestra sociedad está inmersa en un continuo proceso evolutivo, dentro tradicional, que puede utilizar muchas de estas herramientas y programas de software,
del cual el campo de la tecnología es paradigmático. especialmente si son gratuitos, lo que facilita y mejora su aplicación y sus efectos. Por
Los estudiantes de hoy cuentan con herramientas muy útiles y potentes como teléfonos estas razones, el aprendizaje combinado, como combinación de instrucción presencial y
inteligentes, tabletas, computadoras portátiles, etc. Esta realidad es incuestionable, al igual que aprendizaje electrónico, se ha extendido por todo el mundo y ha ganado popularidad
(Mirriahi et al., 2015; Drysdale et al., 2013; Halverson et al., 2014), también en la
educación superior (Norberg et al., 2011; Smith y Hill, 2019). Sin embargo,

Autor correspondiente.
Dirección de correo electrónico: eromero@[Link] (E. Romero).

[Link] 1749­7728/© 2021

Institution of Chemical Engineers. Publicado por Elsevier BV. Todos los derechos reservados.
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Algunos aspectos siguen sin estar claros en la literatura, como la falta de consideración et al., 2006), la funcionalidad del sistema (Pituch y Lee, 2006) o la autoeficacia (Teo,
de la perspectiva del profesorado (Kaleta et al., 2007; Smith y Hill, 2019) y una captura 2009). La utilidad y la facilidad de uso (Sumak et al., 2011) , así como las expectativas
de datos cuantitativos relativamente escasa sobre el uso del aprendizaje combinado de rendimiento y la influencia social (Sumak et al., 2010), son los factores más
(Smith y Hill, 2019). importantes que pueden influir en la actitud de los usuarios hacia el uso de una tecnología
Los estudiantes universitarios exitosos generalmente se describen como estudiantes de aprendizaje electrónico.
autorregulados (Nunez et al., 2011; Perry et al., 2008; Schunk y Zimmerman, 2008). Una Pero lo realmente importante es la pregunta: ¿mejoran tanto el aprendizaje como
de las herramientas tecnológicas que mejora el aprendizaje autorregulado y, al mismo los resultados académicos de los estudiantes con el uso de los avances tecnológicos?
tiempo, la clase magistral tradicional es el uso de cuestionarios, pruebas y encuestas a Islam (2013) estudió el uso de Moodle en cursos híbridos (presencial y virtual), mediante
través de los sistemas de respuesta estudiantil (SRS). Los SRS han experimentado una chats, exámenes, wikis, noticias, foros de discusión, materiales de lectura y entrega de
gran evolución desde voluminosas terminales de computadora a simples dispositivos tareas. El estudio demostró que las percepciones previas de los estudiantes sobre la
electrónicos independientes (clickers) y aplicaciones descargables en teléfonos utilidad y la facilidad de uso determinan las percepciones posteriores de la ayuda real
inteligentes estándar. Los clickers son dispositivos interesantes para realizar para el aprendizaje, la participación y la motivación. Por lo tanto, la opinión de los
cuestionarios y han demostrado un efecto positivo en el aprendizaje activo (Kennedy y estudiantes sobre su futuro rendimiento académico se ve influenciada por sus impresiones
Cutts, 2005; Stowell y Nelson, 2007), pero tienen fuertes desventajas: alto precio e iniciales sobre sistemas como Moodle.
implementación compleja. Actualmente, todos los estudiantes de educación superior
"llevan" teléfonos inteligentes, por lo que, al usar estos dispositivos, las instituciones
pueden evitar la compra, el mantenimiento y la administración de dispositivos para SRS. Se ha demostrado que el uso de Moodle es una forma eficiente de mejorar el
rendimiento académico en aspectos específicos importantes: conocimiento declarativo,
uso general y textual de estrategias de aprendizaje, enfoque profundo del aprendizaje,
Los dispositivos electrónicos y la enseñanza con apoyo tecnológico ayudan a los autorregulación y diferencias estadísticamente significativas en los resultados académicos
estudiantes a mejorar su aprendizaje (Remon et al., 2017). Hoy en día, los teléfonos (Nunez et al., 2011). Novo­Corti et al. (2013) demostraron un fomento de la participación,
inteligentes tienen mayor capacidad de procesamiento de datos que las grandes la motivación, la competencia y las calificaciones en los estudiantes mediante una
computadoras de hace algunos años. Internet y el almacenamiento en la nube han enseñanza mixta de aprendizaje electrónico (pruebas de opción múltiple de Moodle) y
transformado profundamente el trabajo de muchos profesionales en todo el mundo y ya presencial (exámenes tradicionales en el aula). Yang et al. (2013) también presentaron
han introducido una nueva forma de trabajar, también en escuelas y universidades. un estudio sobre la mejora significativa de las habilidades de aprendizaje del inglés de
los estudiantes mediante el uso de Moodle.
La integración de teléfonos inteligentes y tabletas con el desarrollo de software se
ha convertido en un área productiva en muchos campos, también en la educación. La información recopilada durante el uso de Moodle para la gestión de un curso
Programas y aplicaciones como Socrative, entre otros, permiten a los docentes realizar puede ser útil para predecir los resultados académicos de los estudiantes. Romero et al.
cuestionarios, encuestas y pruebas (evaluaciones) en línea y en tiempo real en el aula (2013) desarrollaron una herramienta específica de minería de datos de Moodle dirigida
(Artal­Sevil et al., 2017). a los instructores para clasificar a los estudiantes según su uso de los cursos y predecir
Esto mejora las interacciones entre estudiantes y profesores, la motivación de los así sus calificaciones académicas finales. Como herramienta importante para
estudiantes (Guerrero et al., 2016), su compromiso con la asignatura (Ferrandiz et al., complementar la clase magistral tradicional, el estudio demostró que el uso de
2016; Lim, 2017) y la retroalimentación (los estudiantes conocen sus habilidades y los cuestionarios es el principal determinante de las calificaciones finales, aunque otras
profesores saben cómo comprenden las lecciones los estudiantes para que se esfuercen actividades podrían ayudar al instructor a decidir si aumentar o reducir algunas de ellas
más en temas específicos). La aplicación Socrative ha experimentado un gran para mejorar los resultados. Los cuestionarios de Moodle también pueden utilizarse para
crecimiento, incluso a nivel universitario, durante los últimos años y actualmente es líder mejorar las evaluaciones formativas (Cohen y Sasson, 2016).
en este tipo de software (Pryke, 2020), desde su desarrollo en 2010 en el MIT (Pentalog,
2020). Las aplicaciones de software para teléfonos inteligentes pueden ser excelentes
Entre las diferentes tecnologías disponibles para la educación, los sistemas de herramientas para mejorar las clases tradicionales mediante la creación de cuestionarios,
gestión del aprendizaje (LMS) se han vuelto habituales, especialmente en la educación pruebas y encuestas. La aplicación Socrative se ha utilizado durante años en la
superior. La COVID­19 también ha impulsado a toda la comunidad docente a centrarse educación en todos los niveles. Durante el curso escolar 2012­2013, este software
en el aprendizaje electrónico y la enseñanza en línea. Estos sistemas permiten a los registró 116 millones de respuestas a preguntas y más de 3 millones de profesores y
instructores y a las universidades crear y gestionar asignaturas, cursos o títulos y estudiantes crearon 278.000 cuestionarios. En 2018, se registraron alrededor de 60
másteres completos. Probablemente por ello, hoy en día los LMS se han convertido en millones de cuentas de estudiantes y más de 3.000 millones de respuestas. Actualmente,
una herramienta común y esencial para la educación (Alvarez et al., 2013). La mayoría la aplicación cuenta con casi 3 millones de usuarios en todo el mundo y está disponible
de los centros educativos de todo el mundo los utilizan para lograr una educación de en 14 idiomas (Pentalog, 2020). Se trata de un software que permite a los instructores
mayor calidad y ofrecer una nueva enseñanza centrada en el alumno (Islam, 2012). ejecutar pruebas previamente preparadas en línea. Esta herramienta de aprendizaje
electrónico funciona a través de la web y de aplicaciones móviles nativas para iOS y
Android. Los estudiantes pueden realizar las pruebas en sus propios dispositivos
Uno de los LMS disponibles es Moodle. Ofrece ventajas como un bajo consumo de portátiles (teléfonos inteligentes, tabletas, portátiles, etc.) y en cualquier lugar, no solo
memoria y ancho de banda, numerosas funcionalidades, una construcción robusta y un en el aula. El uso de sus propios dispositivos hace que la aplicación Socrative sea muy
uso fiable. Moodle es sin duda el LMS más extendido. Cuenta con muchos años de uso interesante desde la perspectiva del aprendizaje asistido por nuevas tecnologías. Se
y un gran desarrollo que permite la multitarea en el ámbito educativo. trata de un uso ‘diferente’ del dispositivo (mayoritariamente para hablar, chatear, jugar y
conectarse a redes sociales), con el que los alumnos están completamente familiarizados.
Una de las funciones más interesantes para complementar la enseñanza tradicional es
la evaluación del alumnado mediante exámenes y cuestionarios. Estos cuestionarios El uso de Socrative no se limita a un campo de conocimiento específico. Dado que
pueden diseñarse de diversas maneras (opción múltiple, respuesta corta, etc.) y el instructor puede implementar los objetivos de enseñanza de cada disciplina mediante
configurarse con múltiples opciones. Es una herramienta que permite al profesor preguntas y cuestionarios adecuados, cualquier clase puede enriquecerse con esta
determinar el nivel de adquisición de conocimientos y observar la evolución del alumnado aplicación. En el nivel universitario, especialmente entre los estudiantes de primer año,
a lo largo del semestre. existe un bajo interés en aprender las materias difíciles. Esta es, sin duda, una de las
principales razones de las altas tasas de fracaso. Por ello, cada vez más docentes
Existen estudios sobre la adopción y el uso de tecnologías de aprendizaje intentan utilizar las nuevas tecnologías para estimular a los estudiantes. Socrative es
electrónico, especialmente centrados en sistemas de gestión del aprendizaje (LMS) una aplicación con un entorno amigable que permite medir en tiempo real y en línea el
como Moodle. Algunos de estos estudios evaluaron la facilidad de uso (Sumak et al., nivel de conocimientos y las habilidades de los estudiantes.
2011), la utilidad (Larsen et al., 2009), la calidad del sistema (Islam, 2012) y la calidad del servicio (Roca).

55
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

y también para seguir su evolución. En el primer año, los estudiantes también pueden Difícil de usar. La principal función de Socrative es realizar encuestas y pruebas.
tener cierta negativa a mostrarse en público. Socrative tiene la posibilidad de usarse
de forma anónima, por lo que esto puede ayudar a la desinhibición de los estudiantes Este estudio se diseñó combinando aprendizaje electrónico y presencial, y se
al responder preguntas. De hecho, el trabajo de Frias et al. (2016) encontró que los propone utilizar pruebas de Moodle y cuestionarios de Socrative para complementar
estudiantes eran más propensos a responder las preguntas desde sus propios la enseñanza teórica tradicional. Aún no existe un consenso general sobre las
dispositivos móviles que a resolverlas yendo a la pizarra, reconocieron que esta definiciones para combinar ambas metodologías (Smith y Hill, 2019). Algunos
aplicación les ayudó a aprobar el curso y mostraron gran interés en extender su autores no diferencian el aprendizaje híbrido del semipresencial (Allen y Seaman,
uso a otras asignaturas. Guerrero et al. (2016) estudiaron el efecto del uso de 2010). Los porcentajes de cada uno pueden determinar la clasificación del aprendizaje
Socrative en la participación de los estudiantes de ingeniería en clase. El trabajo (totalmente presencial, con soporte web, semipresencial, híbrido y totalmente virtual/
mostró que la participación aumentó cuando se usaron móviles en la clase teórica. en línea).
Además, los estudiantes estaban dispuestos a participar en actividades y compartir (Smith y Kurthen, 2007). Este último estudio considera un curso combinado en el
sus propios resultados. que el instructor añade, además de un programa de estudios en línea y algunos
documentos en línea, algunas actividades de aprendizaje en línea significativas,
Lim (2017) también observó un aumento en la participación estudiantil tras usar como, en particular, exámenes o debates en línea.
Socrative . Un bajo nivel de participación se traduce en un bajo rendimiento En cuanto al aprendizaje combinado, se ha vuelto cada vez más popular en
académico, por lo que cualquier forma de aumentarla puede solucionar este todos los niveles (Glazer, 2012) , especialmente en la educación superior (Namyssova
problema. La manera de mejorar el rendimiento puede ser mediante diferentes et al., 2019). Diversos estudios en diferentes entornos han demostrado que los
estrategias, métodos y/o herramientas de enseñanza. métodos combinados son más efectivos que la enseñanza puramente presencial o
El estudio demostró que el uso de Socrative para crear encuestas, ejercicios, en línea. Means et al. (2010) observaron mejores resultados estudiantiles en el
cuestionarios y juegos estimuló el debate y favoreció la retroalimentación entre el aprendizaje combinado en comparación con la instrucción tradicional tras revisar 99
instructor y los estudiantes. Los estudiantes informaron sentirse más comprometidos estudios. Smith y Hill (2019) mostraron resultados similares en una revisión de
con el nuevo modelo interactivo. El estudio analizó la retroalimentación de los artículos sobre aprendizaje combinado en la educación superior publicados entre
estudiantes sobre sus resultados académicos, sus registros de asistencia y las 2012 y mediados de 2017.
puntuaciones de la evaluación docente del instructor. Los resultados mostraron una Sin embargo, sigue sin estar claro bajo qué circunstancias los entornos de
mejora en la experiencia de aprendizaje de los estudiantes y, lo que es más aprendizaje combinado tienen éxito (Oliver y Trigwell, 2005; Van Laer y Elen, 2020).
significativo, en su rendimiento académico. Resultados similares fueron encontrados Los estudios sugieren que el aprendizaje combinado desafía la autorregulación de
por Remon et al. (2017). los estudiantes y los resultados indican "menos desreguladores cuando se integran
Sin embargo, el uso de nuevas tecnologías (aplicaciones para dispositivos más características de diseño autorreguladoras" (Van Laer y Elen, 2020). Estos
móviles) no implica necesariamente una mejora satisfactoria en los resultados hallazgos resaltan el valor de integrar características que apoyan la autorregulación
académicos de los estudiantes. En general, las percepciones iniciales sobre la en entornos de aprendizaje combinado. Los cuestionarios electrónicos se consideran
utilidad y la facilidad de uso, e incluso los aspectos sociales, pueden influir en las una herramienta importante para ayudar a las clases magistrales tradicionales
actitudes de los estudiantes hacia el uso de las tecnologías. (Romero et al., 2013) y buenas herramientas para la autorregulación porque permiten
Chou et al. (2017) observaron que los estudiantes de educación secundaria que a los estudiantes comprender mejor los conocimientos y las competencias y ajustar
usaron el enfoque BYOD (traiga su propio dispositivo) con la prueba Socrative su trabajo y tiempo para mejorarlos, y se ha demostrado que "afectan positivamente
tuvieron peores resultados en las pruebas formativas que los estudiantes con la efectividad y el atractivo del aprendizaje combinado" (Spanjers et al., 2015).
instrucción tradicional. Los autores informaron que esto se debió al hecho de que
algunos estudiantes (de un total de 46) no estaban familiarizados con el enfoque
BYOD. En la evaluación sumativa, ambas vías de aprendizaje mostraron resultados Este trabajo se ha centrado en el uso de tests de Moodle y cuestionarios de
similares. Sin embargo, el estudio mostró un crecimiento uniforme de los resultados Socrative como apoyo a la enseñanza teórica tradicional, que en muchas ocasiones
de aprendizaje en los estudiantes que usaron nuevas tecnologías y obtuvieron el alumnado percibe como difícil, tediosa y aburrida. El objetivo del uso de la
puntuaciones más altas en el segmento de retención del aprendizaje. Además, la tecnología ha sido mejorar la enseñanza teórica presencial, pero manteniendo su
práctica de aprendizaje BYOD mejoró la motivación y el interés de los estudiantes esencia. No se abordó ninguna variación de la enseñanza teórica tradicional,
avanzados. Los autores sugirieron a las escuelas y al profesorado explorar nuevas únicamente la inclusión de dos ayudas tecnológicas para que el alumnado adquiera
formas creativas de integrar la enseñanza tradicional y el enfoque BYOD. Estos y retenga conceptos y materiales, con un pequeño porcentaje del total de
hallazgos también parecen estar fácilmente relacionados con la educación superior, actividades. Para ello, se han desarrollado diferentes tests en Moodle y tests rápidos
especialmente en aquellos estudiantes que usan teléfonos inteligentes para (cuestionarios) en Socrative, con diferentes estrategias de enseñanza. El trabajo
aprender (enfoque BYOD) por primera vez. descrito en este artículo puede considerarse un estudio de diseño de aprendizaje
Los entornos de aprendizaje basados en computadora pueden dificultar que los combinado. Como objetivo relevante, este estudio intenta evaluar el efecto específico
estudiantes logren procesos de autorregulación durante el aprendizaje, tanto en del uso de ambas herramientas en las calificaciones del alumnado.
entornos K­12 (Quintana et al., 2005) como en la educación superior (Azevedo et
al., 2004; Graesser et al., 2005). Estos entornos pueden implicar un mayor esfuerzo También se ha considerado crucial conocer la percepción y las opiniones sobre las
por parte de los estudiantes para decidir el tiempo de aprendizaje, el tiempo que TIC seleccionadas. Por ello, se han realizado encuestas a estudiantes y profesores.
deben invertir, cuándo cambiar de estrategia, cuándo aumentar o reducir el esfuerzo,
etc. (Azevedo et al., 2005).
Las nuevas tecnologías deben aplicarse con cuidado mediante actividades
sencillas pero con un diseño y una programación inteligentes. Por ello, los
cuestionarios y exámenes resultan interesantes para el uso de las nuevas TIC, con 2. Métodos

el fin de que los estudiantes logren un aprendizaje más autorregulado. Ambas

herramientas, Moodle y Socrative, son fácilmente accesibles para profesores y 2.1. Objetivo
estudiantes. Moodle está disponible gratuitamente para universidades, profesores y
estudiantes. El desarrollador de Socrative ha puesto a disposición de cualquier El estudio se llevó a cabo durante la primavera de 2019 en la asignatura de
usuario una versión gratuita que permite realizar todas las funciones principales y Ingeniería Química de sexto semestre, «Procesos Químicos Industriales», en la
básicas, de modo que tanto estudiantes como profesores puedan utilizarla sin Escuela de Ingeniería de una universidad del norte de España. Entre las diferentes
problemas. Ambas herramientas pueden utilizarse para diversas tareas docentes. actividades, el programa de la asignatura incluye siete lecciones (de un total de
En este aspecto, Moodle, en particular, es un sistema muy versátil y ofrece ocho) directamente relacionadas con la teoría (1­2 y 4­8):
numerosas opciones para interactuar con los estudiantes, aunque a veces puede presentar diferencias.

56
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Lección 1: Introducción. Características relevantes y distintivas de la industria Tabla 1

Gráfico con las diferentes ‘herramientas’ utilizadas por bloque y grupo de alumnos.
química.
Lección 2: Conocimientos básicos de reactores químicos y operaciones de Cohorte Bloquear Herramienta

separación. I Moodle
Lección 3: Problemas de balances de masa y energía. A II Socrativo
Lección 4: Procesos sin reacciones químicas: separación de aire por destilación III Ninguno

criogénica, adsorción y membranas. I Socrativo

Lección 5: Procesos con reacción: producción de ácido sulfúrico. B II Ninguno
III Moodle
Lección 6: Energía: combustión de carbono en lecho fluidizado, gasificación de
carbono, hidrógeno y pilas de combustible. I Ninguno

Lección 7: Procesos integrados: refinación de petróleo. do II Moodle

III Socrativo
Lección 8: Producción de polímeros.

Las siete lecciones se agrupan en tres bloques (homogéneos en extensión y

También se mostró su puntuación individual al final del cuestionario. Tras cada
dificultad):
cuestionario de Socrative, los profesores mostraron a los estudiantes las respuestas
correctas y explicaciones sobre cada uno. Los estudiantes pudieron plantear sus
• Bloque I: Lecciones 1, 2 y 4. •
Bloque II: Lecciones 5 y 6. • preguntas y dudas tanto en las actividades de Socrative como en las de Moodle.

Bloque III: Lecciones 7 y 8. Los cuestionarios y exámenes no estaban destinados a que los estudiantes
evaluaran a los alumnos, ya que el profesorado decidió que sus puntuaciones no se
incluían en la nota final. Estas actividades se realizaron exclusivamente para ayudar
Cada año, aproximadamente 150 estudiantes se matriculan en la asignatura
a los estudiantes a desarrollar su autoevaluación, retroalimentación y autorregulación,
«Procesos Químicos Industriales», agrupados en tres grupos (A, B, C). Cada grupo
identificando sus fortalezas y debilidades, identificando áreas que requieren esfuerzo
tuvo un profesor diferente, pero todos aplicaron los mismos materiales, contenidos y
y planificando su trabajo futuro. La evaluación de estos objetivos se realizó
actividades, realizaron el mismo examen y obtuvieron las mismas calificaciones bajo
únicamente mediante encuestas y la evaluación de las notas finales de teoría.
las mismas normas de evaluación.
Los profesores se reunieron en numerosas ocasiones y colaboraron para garantizar
La aplicación de las tres 'herramientas' diferentes (una prueba 'Moodle', tres
estos datos. No se dividió a los estudiantes por grupo y todos fueron considerados
cuestionarios 'Socrative', 'Ninguno' cuestionario/prueba) se rotó entre las diferentes
similares en el estudio. Las posibles diferencias entre los grupos pueden compensarse
cohortes (A, B, C) en bloques sucesivos (Tabla 1). Como todas las cohortes
mediante una planificación adecuada del estudio (Sección 2.2).
recibieron las tres 'herramientas', esto evita posibles diferencias entre los grupos.

2.2. Herramientas
Los estudiantes que no realizaron las tres pruebas Socrative y la prueba Moodle
fueron rechazados. El propósito de esto es tener un número homogéneo de datos
entre las 'herramientas' para el análisis estadístico. Finalmente, el número de
Se diseñaron diferentes pruebas de evaluación según las dos herramientas
estudiantes que participaron en el estudio completo fue de 49 (de un total de 142) y
tecnológicas utilizadas. Las pruebas Moodle se prepararon para evaluar grupos de
estaban equilibrados (A: 16, B: 16, C: 17). El examen tuvo 16 preguntas abiertas. El
lecciones (bloques). Si bien las pruebas Moodle al final de un bloque de lecciones
efecto de la aplicación o no de las herramientas en los resultados del examen teórico
son un ejemplo típico de evaluación sumativa, se utilizaron únicamente con fines
(puntuaciones) se llevó a cabo tomando la media de la puntuación de cada bloque
formativos, ya que permitían a los estudiantes conocer las habilidades de su bloque
para cada estudiante.
y prepararse mejor para el examen final. Su objetivo era que los estudiantes
autoevaluaran sus conocimientos y trabajo, y consolidaran los conceptos tras un
Como ejemplo de las actividades realizadas en este estudio, la Tabla 2 muestra
bloque teórico. Posteriormente, los estudiantes podían comprobar su nivel de
uno de los cuestionarios Socrative, incluyendo las preguntas realizadas y las
comprensión y trabajar para mejorarlo o mantenerlo de cara al examen final de
respuestas de opción múltiple.
teoría. Las pruebas se realizaron al finalizar el bloque. Se concedió a los estudiantes
un plazo de una a dos semanas antes de la prueba para su preparación. La prueba
2.3. Índice de instalaciones
contenía 10 preguntas de opción múltiple. Socrative se configura perfectamente en
cualquier dispositivo (portátil o no) y tiene una interfaz intuitiva, directa, rápida y fácil
de usar. Los cuestionarios Socrative permiten evaluar a los estudiantes mediante Para que el estudio sea estable, se requiere una distribución similar de preguntas
pruebas directas (en tiempo real) durante la clase o justo después. Es una fáciles, intermedias y difíciles entre los bloques. Para garantizar esto, se realizó un
herramienta útil que proporciona a los estudiantes una retroalimentación rápida análisis del Índice de Facilidad (IF). El IF representa la proporción de estudiantes
sobre su nivel de comprensión y les permite concentrarse en los aspectos menos que responden correctamente a una pregunta y puede asociarse con la dificultad
relevantes después de la clase. Esta segunda técnica también tiene como objetivo general de la misma (Gamage et al., 2019). El IF se puede calcular mediante una
fomentar la participación activa de los estudiantes en el aula y mejorar su motivación. ecuación ([Link], 2013), simplificada como la ecuación (1):
Por lo tanto, Socrative se ha utilizado en este trabajo como método de aprendizaje
formativo, para realizar pruebas rápidas en el aula con los dispositivos de los xi − xi(mín)
estudiantes (smartphones, tablets y portátiles). Se han realizado hasta tres pruebas Fi = 100 ∙ (1)
xi(máx) − xi(mín)
en clases teóricas tradicionales dentro de un bloque, cada una con 4­5 preguntas de
opción múltiple. El método de trabajo específico ha sido realizar las pruebas al final Donde Fi es el Índice de Facilidad de la pregunta i, xi(mín) es la puntuación mínima
de las clases. El objetivo era determinar el grado de asimilación de los contenidos en la pregunta i, xi(máx) es la puntuación máxima en la pregunta i y xi es el valor
expuestos durante la misma clase o, como máximo, dos clases consecutivas. Las medio de la puntuación en la pregunta i. xi(mín)=0 porque no hay calificación
pruebas se anunciaron previamente (al inicio de la clase) a los estudiantes para que negativa. Cuanto mayor sea el Índice de Facilidad, más fácil será la pregunta. Los
prestaran más atención al profesor. Las pruebas de Moodle proporcionaban valores FI se interpretan en diferentes rangos ([Link], 2019) (Tabla 3).
automáticamente a los estudiantes las respuestas correctas al final del examen.
Socrative les mostraba si una respuesta era correcta o no después de cada pregunta.
2.4. Estadísticas

El ANOVA se utiliza ampliamente en el análisis estadístico para determinar si

tres o más medias poblacionales son diferentes. Algunos

57
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Tabla 2
Cuestionario Socrative para la cohorte A, utilizado en el Bloque II, correspondiente a la lección 5. Las respuestas correctas están subrayadas.

No. Pregunta Respuestas

1 En la producción de ácido sulfúrico, H2SO4, por el método de contacto la reacción a) altas temperaturas
1
La reacción se lleva a cabo de la 2 O2 (g) SO3 (g), H0 = ­98,3 kJ/mol, exotérmico b) alta presión
siguiente manera: SO2 (g) + equilibrio. ¿Qué condiciones de operación se utilizan para aumentar el SO2? c) baja presión
¿Conversión? Marque la(s) respuesta(s) correcta(s). d) bajas temperaturas

2 En una planta moderna de ácido sulfúrico, la absorción de SO3 en concentrado a) verdadero

El ácido sulfúrico utiliza dos torres de absorción. La ventaja de la doble b) falso

El proceso de absorción es que, dado que la absorción de SO3 se lleva a cabo a diferentes
A medida que aumenta la temperatura, aumenta la conversión de SO2 .

3 1
¿Por qué se utiliza un catalizador en la reacción: SO (g) + 2 O2 (g) SO3 (g), H = ­98,3 a) lograr una alta conversión de SO2
kJ/mol? Marque la respuesta más adecuada. b) para lograr una alta velocidad de reacción, porque
La reacción se lleva a cabo a bajas temperaturas.
c) evitar la reacción inversa, es decir, el desplazamiento de
SO3 hacia SO2

4 En una planta moderna de ácido sulfúrico, un reactor contiene cuatro lechos fijos adiabáticos a) verdadero
1
con catalizador V2O5 para llevar a cabo la reacción: SO2 (g) + O2 (g) SO3
2 (g), H = b) falso
­98,3 kJ/mol. Se utilizan cuatro lechos para enfriar los gases de escape de un lecho antes
entrando en el siguiente lecho. Es un equilibrio exotérmico y se favorece a bajas
temperaturas.

Tabla 3
Los docentes sobre el uso de estas técnicas y metodologías han
Rangos de valores del Índice de Facilidad (FI) y su interpretación.
Se ha llevado a cabo mediante encuestas. Se pretendía recopilar ambas opiniones.
SI (%) Interpretación Para concluir si estas herramientas son fáciles de usar, fáciles de preparar,

<5 si mejoran la motivación, el compromiso y otras cuestiones prácticas. La encuesta de los

Extremadamente difícil o algo anda mal con el
pregunta estudiantes estaba abierta a todos los estudiantes y
6–10 Muy difícil También estuvo lleno de estudiantes que realizaron parcialmente los exámenes y cuestionarios.
11–20 Difícil
programa y que fueron rechazados para el estudio estadístico (Sección
21–34 Moderadamente difícil
35–65
2.4) Estos eran estudiantes que normalmente hacían la prueba de Moodle pero solo
Apropiado para el estudiante promedio
66–80 Bastante fácil Hicimos uno de los cuestionarios de Socrative. Las opiniones de estos estudiantes fueron...
81–89 Fácil También se consideraban valiosos porque estaban en contacto con las herramientas.
90–94 Muy fácil La Tabla 4 muestra las preguntas. El número total de participantes en la encuesta estudiantil
95–100 Extremadamente fácil
fue n=89. Las respuestas de los estudiantes siguieron un modelo de Likert.
escala numérica del 1 (el valor más bajo) al 7 (el valor más alto),
excepto las preguntas 3 y 4 que consisten en la selección de una
Los autores han incluido el análisis estadístico de los resultados.
Técnica específica, Pregunta 7, que estaba destinada a los instructores.
respaldan sus hallazgos en la aplicación de las nuevas TIC (Zainuddin et al., 2020),
organización y las preguntas 9 y 14, que eran abiertas.
including ANOVA (Molin et al., 2020; González et al., 2019). Thus, it
Se realizaron encuestas al final del semestre. También se realizó una encuesta.
Se utiliza para comparar los grupos para ver si hay una diferencia significativa.
preparado para que los profesores comenten sobre la experiencia de usar las pruebas
Entre ellos. En este trabajo se utilizó ANOVA para obtener más información.
En Moodle y cuestionarios con Socrative (Tabla 5). Algunas preguntas
en las diferencias entre las tres herramientas de tratamiento ('Moodle' =
Se involucraron ambas herramientas y otras preguntas fueron específicas para cada una.
enseñanza tradicional, incluidas las pruebas Moodle, 'Socrative' = tradicional
Los instructores prepararon y propusieron las diferentes preguntas para ambos
Enseñanza que incluye cuestionarios Socrative, y 'Ninguno' = enseñanza tradicional sin TIC.
encuestas que abordan temas comunes sobre las impresiones de los participantes
Es decir, el efecto real de incorporar la prueba Moodle
y opiniones.
o cuestionarios socrativos a la enseñanza de la teoría tradicional o no. El
Se calculó la media de las puntuaciones por individuo en cada cohorte y cada
bloque. El parámetro comparado en la prueba ANOVA fue la herramienta 3. Resultados y discusión
media de notas en el examen final teórico por bloque.
El estudio estadístico de los datos debe considerar que la aplicación de las herramientas 3.1. Índice de preguntas de la instalación
se ha realizado de forma rotatoria en
cada cohorte, en diferentes bloques de lecciones. Por lo tanto, cada estudiante El FI se calculó para cada pregunta del examen para los diferentes
Tendrá una puntuación media para cada herramienta. Esto implica tener datos no cohortes (Tabla 6) utilizando las puntuaciones de los estudiantes. Los instructores también valoraron
independientes, es decir, emparejados. Por lo tanto, la prueba que debería... la dificultad de cada pregunta y la marcó como Fácil, Intermedio
Se utiliza para estudiar si existen diferencias estadísticamente significativas. o Difícil. Estos valores se convirtieron a valores FI para compararlos con los valores FI de los
La aplicación de herramientas es una prueba típica de análisis de varianza (ANOVA) estudiantes. Las evaluaciones de los instructores y de los estudiantes
con datos pareados (intervalo de confianza del 95%). Para verificar que lo habitual Los valores de las puntuaciones FI fueron mayoritariamente consensuados. Sin embargo, en las últimas preguntas...
Las condiciones para la aplicación de la prueba ANOVA eran las adecuadas, se realizaron varias pruebas Se pueden encontrar algunas diferencias (Preguntas 13 y 16). Valores medios de los valores
Se realizaron pruebas como la prueba de Shapiro­Wilk (normalidad) y la y la media de los instructores equivalentes a FI (considerando la
Prueba de Mauchly (esfericidad) y su representación gráfica mediante tres cohortes) Los valores de FI a partir de las puntuaciones de los exámenes también se calcularon mediante
Histograma (normalidad) y diagrama de caja (datos extremos). Software libre 'R' bloque. Todos estos números están en el rango de 35 a 65, lo que indica
(R Core Team, 2020) se utilizó para todas las pruebas. Las preguntas por bloque fueron 'aptas para el estudiante promedio'
(Tabla 2). Esto significa que el examen promedio no fue ni difícil ni fácil.
2.5. Encuestas Para los estudiantes. Esto es importante para comprobar la estabilidad del estudio estadístico,
ya que se puede asumir una dificultad similar en cada bloque.
Además de la influencia del uso de las herramientas TIC sobre el rendimiento académico, Valores equivalentes de FI de los instructores (el bloque I parece un poco más fácil)
resultados (puntuaciones), un análisis de la percepción de los estudiantes y que otros). Sin embargo, aparecen algunas diferencias entre bloques.

58
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Tabla 4
Encuesta a estudiantes.

Pregunta n.º Pregunta/afirmación

Completar los cuestionarios de Moodle y Socrative te ha ayudado a crear interés y motivación por el tema.
1 Completar los cuestionarios de Moodle y Socrative te ha ayudado a preparar la teoría de la materia.
23 ¿Qué herramienta consideras más fácil de utilizar?
4 ¿Qué herramienta te ha resultado más útil para adquirir conocimientos?
5 El examen Moodle te ha permitido preparar mejor (una parte de) la asignatura.
6 La prueba Moodle te ha permitido realizar un estudio más continuo de (una parte de) la asignatura.
7 ¿Consideras adecuada la aplicación del test Moodle para 15 minutos de clase de problemas?
8 En general, ¿considera usted que el uso de tests en Moodle es útil para la docencia?
9 Proponer mejoras en la prueba de Moodle. Comentarios.
10 Los cuestionarios Socrative han contribuido a hacer las clases teóricas más amenas.
11 Los cuestionarios Socrative te han ayudado a prestar más atención a las explicaciones del instructor.
12 Los cuestionarios Socrative te han ayudado a consolidar tus conocimientos.
13 En general, ¿considera que el uso de cuestionarios en Socrative es útil para la enseñanza?
14 Proponer mejoras en los cuestionarios de Socrative. Comentarios.

Tabla 5
Encuesta a instructores.

Pregunta n.º Pregunta/afirmación Posibles respuestas

¿Qué herramienta requiere más tiempo de preparación? Haz un cálculo.

12 ¿Qué herramienta influye más en la planificación de la asignatura? Moodle (tiempo)
3 ¿Qué herramienta requiere más tiempo para analizar los resultados? Socrativo (tiempo)
4 ¿Qué herramienta es más fácil de aplicar? Ambos son iguales
5 ¿Qué herramienta crees que (a priori, antes de analizar los resultados) influye más en los resultados de
¿Los estudiantes de la asignatura? ¿Por qué?

6 Desventajas de utilizar los tests de Moodle.

7 Desventajas de utilizar los cuestionarios Socrative.
8 Ventajas de utilizar pruebas de Moodle
9 Ventajas de utilizar los cuestionarios Socrative.
10 ¿Has utilizado alguna de estas herramientas libremente en la asignatura de este curso? Explica por qué.

Tabla 6
Análisis del Índice de Facilidad (IF) de las preguntas del examen teórico. Los instructores clasificaron las preguntas como fáciles (E), intermedias (I) o difíciles (D). Se consideraron las equivalencias con los valores del IF.
Como E: 66–100%, I: 33–65%, D: 0–32%. El FI (%) de los estudiantes se calculó a partir de las puntuaciones de los exámenes.

Pregunta n.º Evaluación de los instructores FI de los estudiantes por cohorte Bloquear Instructores equivalentes. FI promedio por bloque Promedio de FI de los estudiantes por bloque

A B do

1 Y 99 73 73
2 I 85 62 65
3 D 64 57 61
I 61 63
4 I 37 22 38
5 Y 75 47 68
6 Y 78 66 62

7 I 58 49 54
8 I 35 27 39
9 D 36 27 10 II 50 43
10 Y 63 52 42
11 I 63 49 41

12 Y 82 62 73
13 I 15 21
14 D 15 9 10 III 50 35
15 I 46 14 44
16 I 35 37 22 35

al estudiar los valores FI de los estudiantes. A medida que aumenta el número de bloques, Resultado promedio de estas preguntas en cada bloque: «Moodle», «Socra­tive» y
El valor medio de FI disminuye. Esto no concuerda con la evaluación de los instructores. «Ninguno». Tenga en cuenta que las puntuaciones (notas) corresponden
En el Bloque I, ambos resultados de FI fueron muy similares. a partes del examen (bloques). Por ejemplo, para la herramienta Moodle,
El valor FI medio del Bloque II de las puntuaciones de los estudiantes en el examen fue Las puntuaciones de los estudiantes de la cohorte A corresponden a las medias del Bloque
Un poco más abajo. Y en el Bloque III la diferencia es mayor. Las preguntas del examen son I, mientras que los puntajes de los estudiantes de la cohorte B son
Las notas de los alumnos del Bloque III y de la cohorte C son del Bloque II.
Esto no es necesariamente un problema, ya que las tres cohortes rotan.
3.2. Estadísticas
En la aplicación "herramientas". Si existiera alguna influencia de cohorte, teóricamente se
distribuiría equitativamente entre las herramientas. El estudio...
Las puntuaciones de cada alumno en las preguntas del examen correspondientes consideró que cualquiera de los Bloques era un objetivo potencial equivalente
al bloque en el que el alumno había realizado ya sea el Moodle Para las herramientas utilizadas. El conjunto de datos asociados a cada una de las herramientas.
prueba, los cuestionarios Socrative o no hicieron ninguna prueba se promediaron, ('Moodle', 'Socrative', 'Ninguno') se evaluaron estadísticamente (Tabla 7).
resultando en una pieza de información estadística para cada estudiante Se puede observar cómo no hay diferencias importantes entre
en cada bloque. Por lo tanto, hay 3 grupos que pueden influir en el

59
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Tabla 7
Parámetros estadísticos para cada grupo de datos para análisis pareado.

Herramienta Número de puntuaciones Significar intervalo de confianza del 95% desviación estándar Diferencia

Moodle 49 4.793 [4.07, 5.52] 2,52 6.33

Socrativo 49 4.867 [4.32, 5.41] 1,89 3.60
Ninguno 49 5.201 [4.54, 5.86] 2,31 5.32

Tabla 8 Tabla 9
Resultados de la prueba de normalidad Shapiro­Wilk para cada grupo de datos ('herramienta'). Resultados de la prueba ANOVA de un factor de datos pareados.

Herramienta EN valor p Suma de cuadrados F Núm. df Denominación. df valor p

Moodle 0,94363 0.0205 4.6 0.4178 2 96 0.6597

Socrativo 0,95809 0.6797
Ninguno 0,98265 0.0791
Tabla 10
Valores promedio (medias) en cada herramienta por bloque. Cohortes (A, B, C) involucradas en cada bloque.
los medios. En realidad, las notas medias de las herramientas aplicadas (prueba y cada herramienta está incluida (entre paréntesis).
en Moodle o cuestionarios en Socrative) son ligeramente inferiores a los Bloquear Moodle Socrativo Ninguno
correspondiente a la enseñanza tradicional (sin aplicación de herramientas). Esto
I 7.48(A) 5.54(B) 7.26(C)
A priori significa que no hay una influencia positiva en la aplicación de las diferentes
II 4.02(C) 5.48(A) 4.70(B)
pruebas con herramientas tecnológicas. Incluso podría ser III 2.93(B) 3.65(C) 3.52(A)
Se infiere que la influencia de su aplicación es negativa. Para comprobar
si existen diferencias estadísticamente significativas entre las medias,
Se realizó un análisis de varianza (ANOVA de un factor). La prueba de esfericidad arrojó un valor p = 0,182, la prueba ANOVA utilizó
Para ejecutar una prueba ANOVA de datos pareados, la suposición sobre fue aprobado y sus resultados deben tomarse como significativos.
La normalidad de los datos es común. La figura 1 muestra un histograma de los datos. La prueba ANOVA de datos pareados no observó ninguna diferencia estadística.
Los grupos de datos Socrative y None aparecen normales mientras que Moodle puede Diferencia significativa entre los tres grupos Moodle, Socrative
desviarse de la normalidad. Los resultados de la prueba Shapiro­Wilk muestran una desviación y Ninguno (Tabla 9, valor p = 0,66). Por lo tanto, se considera que
de normalidad solo para los datos de puntuaciones de Moodle (Tabla 8). Este tipo El uso de herramientas Moodle o Socrative no tiene ningún efecto positivo.
Se utilizó el tipo de prueba recomendado con tamaños de muestra inferiores a ni efecto negativo en los resultados académicos de los estudiantes (calificaciones)
50 porque en tamaños de muestra mayores la prueba de Shapiro­Wilk se vuelve El examen teórico. Las diferencias entre las dos herramientas también deben ser...
muy sensible incluso a una pequeña desviación de la normalidad. Aunque despedido.
La prueba ANOVA es muy robusta incluso cuando hay cierta falta de Los valores promedio de las puntuaciones utilizadas en este estudio corresponden
normalidad y este requisito se vuelve más relajado cuanto mayor sea el tamaño. a diferentes bloques de lecciones y en cada bloque a diferentes grupos
La población es, es cierto que datos muy extremos pueden completamente de estudiantes. La Tabla 9 muestra los valores en función de los bloques.
invalidar las conclusiones de un [Link] las distribuciones son Al considerar la puntuación media bloque por bloque, no hay influencia positiva de la
lejos de lo normal, una prueba no paramétrica como la de Kruskal­Wallis aplicación Moodle o Socrative en ambos.
Se puede utilizar la prueba H (Kvam y Vidakovic, 2007), que requiere Bloque I y bloque III. En el bloque II, aparentemente Socrativo podría significar
homocedasticidad. Para comprobar si hay datos extremos (valores atípicos), una mejora con respecto a la enseñanza tradicional (grupo 'Ninguno'). De hecho,
datos estadísticos de los grupos estudiados ('Moodle', 'Socrative', 'Ninguno') Este grado corresponde a la cohorte A, que obtuvo una puntuación ligeramente superior.
se graficaron en un diagrama de caja (Fig. 2). Solo se identificó un valor atípico. calificaciones promedio que los otros grupos (A: 5.49, B: 4.39, C: 4.98). Si todos
Pero esto se puede asumir para la prueba. Se sabe que la hipótesis nula... Se consideran las puntuaciones (Tabla 9), el estudio es más representativo y teóricamente
Las pruebas de significancia estadística (NHST) como ANOVA se utilizan ampliamente en este tipo de compensa los efectos entre grupos.
Estudios donde se comparan medias (Cumming et al., 2007). El ANOVA unidireccional (de de estudiantes (cohortes) y, como ya se ha demostrado, no hubo un efecto significativo
un factor) puede ser muy robusto incluso cuando se utilizan ambos métodos. con el uso de las herramientas. Cabe mencionar que
Los requisitos de normalidad y homocedasticidad no se ajustan, especialmente la Los valores disminuyen con el número de bloque en los tres grupos. Los valores calculados
normalidad (Sahai et al., 2011; Blanca et al., 2017; Laerd, 2018). del índice de facilidad (Tabla 6) mostraron una diferencia entre
De hecho, el ANOVA unidireccional no es muy sensible a las desviaciones de Datos basados en los instructores y las puntuaciones de los estudiantes en los bloques II y III. Esto

normalidad: simulaciones con una variedad de distribuciones no normales La brecha es más evidente en el último bloque. Todos estos hechos probablemente apuntan
(incluyendo planos, muy puntiagudos, muy sesgados y bimodales) encontrados Se observó que los estudiantes estudiaron las lecciones sucesivas de más a
La proporción de falsos positivos siempre ronda el 5% o un poco menos, menos. En otras palabras, parece que los estudiantes no tenían mucho
tal como debe ser (McDonald, 2014). Este autor recomienda tiempo para estudiar la parte teórica completa de la materia y tuvieron
permanecer en ANOVA a menos que la falta de normalidad sea muy extrema, una Tiempo suficiente solo para estudiar las primeras lecciones. Para las últimas lecciones
hecho que no ocurre en este estudio. La prueba ANOVA también es robusta. (bloque II y especialmente bloque III) probablemente no tenían la
Cuando las poblaciones son altas, incluso el supuesto de varianza igual tiempo necesario para fijar bien el conocimiento. Esto puede representar una
se viola (Coombs et al., 1996) o se desvía la normalidad (Cody, Error inesperado en el estudio. Además, las calificaciones promedio de todos los
2011). En este estudio n=49 para cada grupo (cohorte) por lo que esto puede ser estudiantes son ligeramente diferentes según el
considerado suficientemente alto. grupo (Tabla 10). Las preguntas del examen teórico no eran de opción múltiple, sino de
Vale la pena mencionar que las variaciones en este trabajo no son respuesta corta. En teoría, el efecto de tomar
Igual, especialmente para la herramienta Socrative (Tabla 7). En los casos en que Las puntuaciones de los diferentes grupos se compensan al considerar todos los grupos y
Si no se cumple la homocedasticidad, se puede utilizar la prueba ANOVA con todos los bloques. Sin embargo, si añadimos diferencias entre grupos a la
Corrección de Welch (Welch, 1951). Sin embargo, existe otro factor favorable para el uso efecto del menor tiempo dedicado al estudio en el bloque II y especialmente en el bloque
equitativo del ANOVA: el número igual de poblaciones. III. Esto también puede incorporar algún margen de error en los datos y
entre cohortes que compensa algunas diferencias en la varianza el estudio estadístico. Sin embargo, las puntuaciones medias en el Bloque I para 'Moodle'
(Zimmerman, 2004). También existe una segunda condición, y (cohorte A) y 'Ninguno' (cohorte C) fueron muy similares y la puntuación para
Probablemente el más importante, que se debe cumplir al correr 'Socrative' (cohorte B) fue más bajo, lo que no muestra influencia de las herramientas
Prueba ANOVA de datos pareados de un factor: esfericidad. Como la de Mauchly También en el Bloque I.

60
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Fig. 1. Histograma de datos: distribución de puntuaciones en las diferentes herramientas.

3.3. Encuesta a estudiantes Tabla 11

Resultados de la encuesta a estudiantes. Las puntuaciones siguen una escala Likert entre 1 (mínimo) y 7.
(máximo).
Los resultados de la encuesta a los estudiantes se muestran en la Tabla 11. Estudiantes
Evaluaron positivamente las pruebas de Moodle y los cuestionarios de Socrative para crear Cohorte A B do Puntuación media

Interés y motivación por la asignatura (Pregunta 1 punto: 4,3/7) 10/05/2019 28/05/2019 16/05/2019
Fecha
y también en la preparación de los materiales teóricos de la asignatura (Puntuación 2: 23/05/2019
4.2/7). La comparación de dos técnicas ha sido 30 19 40
Número de 89 (en total)
Se realizó brevemente la encuesta. Los estudiantes han preferido Moodle. encuestas Asistentes (%) 100 100 100
pruebas que los cuestionarios Socrative debido a su facilidad de uso y tienen Matriculados (%) 60 46.3 63.5

la percepción de ser más útil en la adquisición de conocimientos 4.7 4.8 3.8 4.3
Pregunta 1
(69,7%). La valoración positiva de las pruebas de Moodle se reflejó en Pregunta 2 4.63 4.7 3.7 4.2
Preguntas 5 (4.2/7), 6 (4.0/7) y 8 (5.0/7). La pregunta 8 mostró la Pregunta 5 4.43 4.9 3.7 4.2
Pregunta 6 4.0 4.8 3.6 4.0
Puntuación más alta de toda la encuesta. Algunos comentarios en la pregunta 7.
Pregunta 8 4.97 5.7 4.6 5.0
(Las pruebas de Moodle) fueron las siguientes: 'Te obliga a estudiar la teoría'; 'Te
Pregunta 10 5.48 4.6 4.6 4.9
'te ayuda a fijar los conocimientos'; 'fomenta la atención en clases'; Pregunta 11 5.29 4.6 4.4 4.7
'La puntuación obtenida en la prueba debe ser considerada en el proceso de selección del sujeto. Pregunta 12 4.64 4.5 3.8 4.2
nota final'. Pregunta 13 4.96 4.6 4.5 4.7

El uso de cuestionarios Socrative tiene como objetivo realizar pruebas rápidas Pregunta 3 60% 73,7% 60,5% 63,1%
Pruebas en el aula para hacer más amenas las clases tradicionales (Moodle)
Pregunta 4 63% 89,5% 64,8% 69,7%
(Pregunta 10 punto: 4.9/7) y también para lograr que los estudiantes presten más atención
(Moodle)
a las explicaciones del profesor (Pregunta 11 punto:

61
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Fig. 2. Diagrama de caja con valores estadísticos para las tres "herramientas" en datos pareados.

4.7/7). Esto aparentemente no se corresponde con una evaluación más positiva de los Estudios (Munusamy et al., 2019; Guarascio et al., 2017) concluyen que la aplicación
exámenes de Moodle (Pregunta 4). Los estudiantes consideran los cuestionarios de Socrative promueve la participación del alumnado en el aula y enriquece su experiencia
Socrative divertidos, atractivos y útiles para mejorar la atención al instructor. Los de aprendizaje. La preferencia por Socrative, en comparación con el sistema tradicional
valoraron como útiles para la enseñanza (Pregunta 13: 4.7/7). Sin embargo, la misma de respuesta al alumnado (SRS), se basa en la participación en clase, la facilidad para
pregunta obtuvo una puntuación más alta para Moodle (Pregunta 8: 5.0/7) y la mayoría de responder a las preguntas del aula, su facilidad de uso y la experiencia de uso del formato.
los estudiantes prefiere Moodle a Socrative por ser más útil para la adquisición de Socrative mejora la participación, probablemente debido al anonimato, y favorece la
conocimientos (Pregunta 4: 69.7%). El aspecto más relevante para los estudiantes sobre participación activa del alumnado en clase (McKenzie y Ziemann, 2020). La combinación
los exámenes de Moodle fue que las preguntas y respuestas (soluciones) estuvieron de la enseñanza/aprendizaje tradicional y digital (TIC), como en el enfoque de aprendizaje
disponibles durante todo el semestre. Los comentarios de estos estudiantes pueden combinado, ha mostrado efectos positivos en los resultados del alumnado (Means et al.,
explicar los resultados favorables hacia Moodle, ya que algunos estudiantes no retuvieron 2010), también en la educación superior (Smith y Kurthen, 2007). También se ha informado
o no revisaron los resultados de los exámenes de Socrative para estudiar la materia al que Socrative mejora las calificaciones del alumnado (González et al., 2019; Remon et
momento del examen. Los profesores mantuvieron accesibles a los estudiantes los al., 2017).
resultados (todas las preguntas y las respuestas correctas) de los exámenes Moodle a
través del sistema durante el semestre. Sin embargo, los resultados de los exámenes
Socrative se mostraron al final de las clases presenciales, pero no estaban disponibles La encuesta a los estudiantes mostró una percepción positiva sobre la utilidad que los
para su posterior estudio. De hecho, varios estudiantes pidieron a los profesores que les exámenes Moodle (especialmente) y los cuestionarios Socrative podrían tener en la
proporcionaran las preguntas y las respuestas correctas del examen Socrative para adquisición de conocimientos en la materia. Sin embargo, no fue consistente con los
estudiar antes del examen. Este problema se resolvió en cuanto los profesores lo supieron, resultados reales de los exámenes (calificaciones) (Sección 3.2). La falta de efectos
pero probablemente fue relevante posteriormente. Por lo tanto, es posible que las positivos del aprendizaje electrónico en las calificaciones no es nueva. En la aplicación
opiniones de los estudiantes, menos favorables hacia el uso de Socrative, estuvieran de la estrategia de enseñanza Flipped Classroom, por ejemplo, se ha observado que, si
relacionadas con la información disponible sobre los resultados de los respectivos bien los estudiantes mejoraron significativamente las habilidades y destrezas no técnicas
exámenes. Esto demuestra su preocupación por la falta de este material de estudio y su (capacidad de acción e independencia, asunción de responsabilidad, habilidades
posible influencia en las opiniones de al menos algunos estudiantes sobre el uso de sociales, autorreflexión, participación en clase), esto no condujo a una mejora en las
Socrative. calificaciones finales de los estudiantes (habilidades técnicas) (Cieliebak y Frei, 2016).

Sin embargo, como se mencionó anteriormente, Socrative y el aprendizaje combinado

Un comentario que se repite varias veces en las encuestas de los estudiantes, tanto han demostrado ser herramientas positivas para mejorar los resultados de los estudiantes.
para los tests/exámenes de Moodle como de Socrative, se refiere al deseo de los En este trabajo, podría haber causas específicas que expliquen por qué los cuestionarios/
estudiantes de incluir las calificaciones de los tests en la puntuación final de su asignatura. exámenes no muestran ningún efecto en las calificaciones de los estudiantes. Quizás,
Además, a algunos estudiantes les gustaría realizar pruebas de Moodle con más para algunos estudiantes, el momento en que usaron las herramientas estaba demasiado
frecuencia, por ejemplo una al final de cada lección. lejos del examen como para recordarlas. Para otros estudiantes, quizás la fecha de uso
Los hallazgos generales de este trabajo, derivados de las encuestas a estudiantes de las herramientas estaba demasiado cerca del examen como para repasar
sobre el efecto positivo de Socrative y sus opiniones, concuerdan con la literatura. Algunos adecuadamente los contenidos relacionados. De hecho, los datos estadísticos y de IF mostraron una fa

62
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Estudio para las últimas lecciones (Sección 3.2). Además, la influencia de los La evaluación aparentemente contrasta con los resultados de la comparación de
cuestionarios y exámenes en las calificaciones no se pudo relacionar con una datos estadísticos. Este trabajo es posiblemente otro ejemplo de que las
implementación discreta. Debido a la rotación de herramientas entre cohortes, solo percepciones previas de los estudiantes sobre la utilidad y la facilidad de uso
se realizaron tres cuestionarios Socrative y un examen Moodle por separado. condicionan sus percepciones finales (al final del semestre) de la ayuda real para el
Probablemente se requiera un mayor número de cuestionarios/exámenes para aprendizaje, la participación y la motivación. Por lo tanto, la opinión de los
percibir un efecto positivo en las calificaciones finales. Esto se sustenta en algunos estudiantes sobre sus futuros resultados académicos se ve influenciada por su
comentarios de la encuesta a los estudiantes (véase más arriba). En el trabajo de impresión inicial sobre herramientas como las pruebas de Moodle y los cuestionarios
Remon et al. (2017), los cuestionarios Socrative se integraron en un método de de Socrative.
enseñanza interactivo específico de aprendizaje en línea mediante una tableta. Los estudiantes han valorado positivamente las dos herramientas utilizadas
Un posible efecto sinérgico podría aumentar los resultados positivos de los individualmente, siendo Moodle ligeramente mejor que Socrative. Al comparar
cuestionarios electrónicos. Además, el número de preguntas interactivas (Socrative) ambas, Moodle obtuvo una calificación claramente superior. Es posible que la
(62 preguntas durante dos cursos académicos) fue mucho mayor en el trabajo de opinión menos favorable hacia el uso de Socrative se debiera probablemente a la
Remo et al. (2017) que en el presente estudio (12­13 preguntas en un semestre). falta de información (preguntas y soluciones) disponible antes del examen, lo cual
no ocurrió con Moodle.
De todos modos, aunque las dos herramientas no mostraron un efecto significativo
en las calificaciones finales de los estudiantes, fueron evaluadas favorablemente
3.4. Encuesta a instructores
tanto por estudiantes como por profesores en términos de su interés en aplicarlas
como apoyo a las clases teóricas tradicionales. Los estudiantes reportaron un
Considerando la Pregunta 1 (Tabla 5), dos profesores (67%) respondieron que
aumento en la motivación e interés hacia la materia con la aplicación de las dos
la preparación de las pruebas Moodle requería más tiempo que los cuestionarios
herramientas. Señalaron como un efecto positivo en el uso de Moodle que las
Socrative, mientras que un profesor (33%) respondió que las dos técnicas
preguntas y respuestas fueron accesibles durante todo el semestre para estudiar.
necesitaban un tiempo de preparación similar. Las respuestas de la Pregunta 2
Los estudiantes consideraron Moodle más fácil de usar y tienen la percepción de
muestran un amplio rango. Un profesor señaló que las dos herramientas influyeron
ser más útil en la adquisición de conocimientos. Probablemente sería necesario
de manera similar en la planificación de la asignatura, otro profesor respondió que
estudiar en el futuro la incorporación de más pruebas Socrative a cada bloque de
los cuestionarios Socrative influyeron más en la planificación y el tercer profesor no
lecciones, porque las tres pruebas incluidas en este estudio no cubren el número
respondió. El tiempo requerido para analizar los resultados (Pregunta 3) fue igual
total de lecciones en cada bloque.
para las dos técnicas. La respuesta fue la misma para los tres instructores. También
estuvieron de acuerdo en la Pregunta 4: las pruebas Socrative eran más fáciles de
Sería una forma de compensar esta diferencia con la aplicación de la herramienta
aplicar que las pruebas Moodle. Considerando la Pregunta 5, dos instructores (67%)
Moodle. Por lo tanto, una estrategia futura podría ser realizar una prueba con
respondieron que las pruebas Moodle podrían influir más en las calificaciones
Socrative cada dos horas de clase tradicional para cualquier bloque.
académicas, porque ayudan al estudio de la asignatura. El tercer profesor respondió
Esto podría tener un posible efecto positivo tanto en la percepción de los
que las dos técnicas deberían influir por igual. Este último instructor concluyó que
estudiantes sobre la utilidad de los cuestionarios Socrative como en sus
ambas herramientas eran complementarias y permitían su uso simultáneo. En
calificaciones. Los estudiantes también apoyaron la realización de más pruebas con
cuanto a las desventajas de las pruebas Moodle (Pregunta 6), todos los docentes
Moodle, probablemente al final de cada lección, lo que refuerza la valoración
coincidieron en que era una herramienta más difícil de usar y menos atractiva que
positiva de la herramienta Moodle. La encuesta a los instructores indicó que las
las pruebas Socrative. Cabe mencionar que las pruebas Moodle requirieron mayor
pruebas de Moodle eran más difíciles de implementar y requerían más tiempo, pero
capacitación para su implementación.
ambas herramientas se valoraron como interesantes para aumentar la motivación,
el compromiso y la autorregulación de los estudiantes.
También se destacó el mayor tiempo de preparación para las pruebas Moodle.
Las desventajas de los cuestionarios Socrative (Pregunta 7) fueron la dificultad
para aplicarlos durante largos periodos de clase (más de dos horas) y la dificultad Declaración de intereses en conflicto
de algunos estudiantes para identificar las respuestas correctas al realizar el
examen. Las ventajas de los exámenes Moodle (Pregunta 8) fueron: «Es un sistema Los autores no declaran ningún interés.
de gestión del aprendizaje ya conocido por estudiantes y profesores»; «Ayuda a
continuar el estudio de la materia»; «Es fácil de corregir». Las ventajas de los Expresiones de gratitud
cuestionarios Socrative (Pregunta 9) fueron: «Hace que las clases sean amenas y
los estudiantes presten más atención»; «Es rápido de preparar y ejecutar, y se The authors wish to thank ‘Vicerrectorado de Política
obtiene una retroalimentación rápida sobre la comprensión de los estudiantes»; «Es Académica' de la Universidad de Zaragoza, al apoyo económico a través de los
fácil de corregir». proyectos de innovación docente PIIDUZ 18 327 y PIIDUZ 19 404.

4. Conclusiones Referencias

El estudio de los datos (puntuación media de cada estudiante en cada bloque, Allen, EI, Seaman, J., 2010. Aprendizaje a demanda. Educación en línea en Estados Unidos, 2009. Babson
Survey Research Group [Link]
según la herramienta) no mostró una influencia estadísticamente significativa de las
Alvarez, A., Martin, M., Fernandez­Castro, I., Urretavizcaya, M., 2013. Métodos de enseñanza tradicionales
pruebas Moodle ni de los cuestionarios Socrative en las calificaciones del examen combinados con entornos de aprendizaje : experiencia, proceso de evaluación cíclica e impacto con
teórico. Los datos sugirieron que los estudiantes trabajaron más en las primeras MAgAdI. Comput. Educ. 68, 129–140.
Artal­Sevil, JS, Romero, E., Artacho, JM, 2017. Encuestas rápidas en el aula. El teléfono móvil , una
lecciones que en las últimas durante el examen teórico. Este hecho y las posibles
herramienta de enseñanza poderosa . Actas de la Conferencia Internacional de Tecnología, Educación
diferencias entre los grupos de estudiantes podrían afectar negativamente los datos y Desarrollo INTED2017 , 9282–9291.
y el estudio estadístico. Sin embargo, este posible error probablemente no fue Azevedo, R., Cromley, JG, Fielding, I., Winters, FI, Moos, DC, Green, JA, 2005.
El andamiaje humano adaptativo facilita el aprendizaje autorregulado de adolescentes
determinante, ya que las puntuaciones medias de las herramientas no mostraron
con hipermedia. Instr. Sci. 33, 381–412.
diferencias positivas en el Bloque I. La encuesta a los estudiantes reveló que las Azevedo, R., Cromley, JG, Seibert, D., 2004. ¿ Facilita el andamiaje adaptativo la capacidad de los estudiantes
pruebas Moodle y los cuestionarios Socrative les ayudaron en la preparación del para regular su aprendizaje con hipermedia? Contemp. Educ.
Psicología. 29, 344–370.
material teórico de la asignatura. Este hecho implica un efecto positivo de estas
Ben­Av, MB, Ben­Av, R., 2015. ¿Ha desaparecido la estructura clásica de la conferencia ?
herramientas en la autorregulación. Los estudiantes valoraron la retroalimentación Actas de la Conferencia Internacional de Tecnología, Educación y Desarrollo INTED2015 ,
1614.
que las herramientas aportan a su proceso de aprendizaje. Sin embargo, el valor de estos estudiantes...

63
Machine Translated by Google

E. Romero y otros. Educación para Ingenieros Químicos 36 (2021) 54–64

Blanca, M.J., Alarcón, R., Arnau, J., Bono, R., Bendayan, R., 2017. Datos no normales : es Munusamy, S., Osman, A., Riaz, S., Ali, S., Mraiche, F., 2019. El uso de herramientas en línea Socrative y Yammer
¿ Sigue siendo válido el ANOVA ? Psicothema 29, 552–557. para promover el aprendizaje interactivo en la educación farmacéutica .
Chou, PN, Chang, CC, Lin, CH, 2017. BYOD o no: una comparación de dos estrategias de evaluación para el Curr. Farmacia. Enseñar. Aprender. 11, 76–80.
aprendizaje estudiantil . Comput. Hum. Behav. 74, 63–71. Namyssova, G., Tussupbekova, G., Helmer, J., Malone, K., Afzal, M., Jonbekova, D., 2019. Desafíos y beneficios
Cieliebak, M., Frei, AK, 2016. Influencia del aula invertida en las habilidades técnicas y competencias no técnicas del aprendizaje combinado en la educación superior . Int. J.
de los estudiantes de TI. Conferencia Global de Educación en Ingeniería IEEE 2016 (EDUCON2016), 1012– Tecnología Educ. 2, 22–31.
1016. Norberg, A., Dziuban, CD, Moskal, PD, 2011. Un modelo de aprendizaje combinado basado en el tiempo .
Cody, R., 2011. SAS® Estadística por ejemplo. SAS Institute Inc., Cary, NC. En el horizonte 19, 207–216.
Cohen, D., Sasson, I., 2016. Cuestionarios en línea en un entorno de aprendizaje virtual como herramienta de Novo­Corti, I., Varela­Candamio, L., Ramil­Diaz, M., 2013. Metodología mixta e­learning y presencial : evaluación
evaluación formativa . J. Technol. Sci. Educ. 6, 188–208. de la efectividad del e­learning y la satisfacción percibida para un curso de microeconomía utilizando la
Coombs, WT, Algina, J., Oltman, DO, 1996. Pruebas de hipótesis ómnibus univariadas y multivariadas seleccionadas plataforma Moodle . Comput. Hum.
para controlar las tasas de error de tipo I cuando las varianzas poblacionales no son necesariamente iguales. Conducta. 29, 410–415.
Rev. Educ. Res. 66, 137–179. Núñez, JC, Cerezo, R., Bernardo, A., Rosario, P., Valle, A., Fernández, E., Suárez, N., 2011. Implementación
Cumming, G., Fidler, F., Leonard, M., Kalinowski, P., Christiansen, A., Kleinig, A., Lo, J., McMenamin, N., Wilson, de programas de formación en estrategias de aprendizaje autorregulado en formato Moodle : resultados
S., 2007. Reforma estadística en psicología. ¿Está cambiando algo ? Psychol. Sci. 18, 230–232. de una experiencia en educación superior. Psicothema 23, 274–281.

Drysdale, JS, Graham, CR, Halverson, LR, Spring, KJ, 2013. Análisis de las tendencias de investigación en Oliver, M., Trigwell, K., 2005. ¿ Es posible rescatar el aprendizaje combinado ? E­learning 2,
disertaciones y tesis sobre aprendizaje combinado . Internet High. 17–26.
Educ. 17, 90–100. Pentalog, 2020. Caso de éxito. Socrative. Desarrollo de una plataforma de aprendizaje electrónico (Consultado
Ferrandiz, E., Puentes, C., Moreno, PJ, 2016. Involucrar y evaluar a los estudiantes a través de sus dispositivos el 16 de agosto de 2020) [Link]
electrónicos y cuestionarios en tiempo real . Multidisc. J. Educ. Soc. platform .
Tecnología. Ciencias 3, 173–184. Perry, NE, Hutchinson, L., Thauberger, C., 2008. Hablando sobre la enseñanza del aprendizaje autorregulado :
Frias, MV , Arce , C. , Flores ­ Morales , P. , 2016. Uso de la plataforma [Link] para estudiantes de química Andamiaje para el desarrollo de los estudiantes de magisterio y el uso de prácticas que promuevan el
general . Educación. Química. 27, 59–66. aprendizaje autorregulado . Int. J. Educ. Res. 47, 97–108.
Pituch, KA, Lee, YK, 2006. La influencia de las características del sistema en el uso del aprendizaje electrónico .
Gamage, SHPE, Ayres, JR, Behrend, MB, Smith, EJ, 2019. Optimización de los cuestionarios de Moodle para Comput. Educ. 47, 222–244.
evaluaciones en línea . Int. J. STEM Educ. 6, art. n.° 27. Pryke, S., 2020. El uso de Socrative en la enseñanza universitaria de las ciencias sociales . Aprender.
Glazer, JS, 2012. Aprendizaje combinado : entre disciplinas y en el ámbito académico. Stylus, Sterling, VA. Enseñanza. 13, 67–86.
Quintana, C., Zhang, M., Krajcik, J., 2005. Un marco para apoyar los aspectos metacognitivos de la indagación en
González, AG, Salgado, DR, García Sanz­Calcedo, J., Cruz García, C., Barrios Muriel, J., López Pérez, O., Álvarez línea mediante un andamiaje basado en software . Educ. Psychol. 40,
García, FJ, 2019. Una metodología de enseñanza para la evaluación en tiempo real de las habilidades de 235–244.
los estudiantes relacionadas con la fabricación de materias utilizando dispositivos electrónicos de base Equipo central de R, 2020. R: Un lenguaje y entorno para la computación estadística. Fundación R para la
tecnológica . Procedimiento. Fabricante. 41, 579–586. computación estadística, Viena, Austria [Link]
Graesser, AC, McNamara, DS, VanLehn, K., 2005. Andamiaje de estrategias de comprensión profunda
mediante Point&Query, AutoTutor e iSTART. Educ. Psychol. 40, 225–234. Remon, J., Sebastian, V., Romero, E., Arauzo, J., 2017. Efecto del uso de teléfonos inteligentes como controles
remotos y tabletas como pizarras digitales en la participación y el aprendizaje de los estudiantes . Act.
Guarascio, AJ, Nemececk, BD, Zimmerman, DE, 2017. Evaluación de las percepciones de los estudiantes Learn. High. Educ. 18, 173–187.
sobre la aplicación Socrative en comparación con un sistema tradicional de respuesta estudiantil y su Roca, JC, Chiu, CM, Martinez, FJ, 2006. Entendiendo la intención de continuidad del e­learning : una extensión del
impacto en la participación en el aula. Curr. Pharm. Teach. Learn. 9, 808–812. modelo de aceptación de la tecnología . Int.J. [Link].
Estudio. 64, 683–696.
Guerrero, C., Jaume, A., Juiz, C., Lera, I., 2016. Uso de dispositivos móviles en el aula para aumentar la Romero, C., Espejo, PG, Zafra, A., Romero, JR, Ventura, S., 2013. Minería de datos de uso web para predecir las
motivación y la participación de estudiantes universitarios de ingeniería . IEEE Latin American Trans. 14, calificaciones finales de estudiantes que utilizan cursos Moodle . Comput. Appl.
411–416. Inglés. Educación. 21, 135–146.
Halverson, LR, Graham, CR, Spring, KJ, Drysdale, JS, Henrie, CR, 2014. Un análisis temático de los trabajos Romero, E., Artal­Sevil, JS, Artacho, JM, 2019. Clases magistrales tradicionales en educación superior: cómo
académicos más citados en la primera década de investigación sobre aprendizaje combinado . Internet High. potenciar la participación mediante el aprendizaje inverso y las TIC. 13.ª Conferencia Internacional de
Educ . 20, 20–34. Tecnología, Educación y Desarrollo (INTED2019), 4188–4197.
Islam, AKMN, 2012. El papel de la calidad percibida del sistema como motivación de los educadores para
continuar utilizando el sistema de aprendizaje electrónico . AIS Trans. Hum. Comput. Interact. 4, 25–44. Sahai, H., Ageel, MI, Khurshid, A., 2011. Modelo de análisis de varianza , efectos de las desviaciones de los
supuestos subyacentes. En: Lovric, M. (Ed.), Enciclopedia Internacional de Ciencias Estadísticas .
Islam, AKMN, 2013. Investigación de los resultados del uso del sistema de aprendizaje electrónico en la universidad. Springer, Berlín, Heidelberg.
contexto universitario . Comput. Educ. 69, 387–399. Schunk, DH, Zimmerman, BJ, 2008. Motivación y aprendizaje autorregulado : teoría, investigación y aplicaciones.
Kaleta, R., Skibba, K., Joosten, T., 2007. Descubrimiento, diseño e impartición de cursos híbridos . En: Picciano, Lawrence Erlbaum Associates Publishers, Mahwah, NJ.
AG, Dziuban, CD (Eds.), Aprendizaje combinado : perspectivas de investigación . Sloan Consortium,
Needham, MA, págs. 109­143. Smith, GG, Kurthen, H., 2007. Escenario frontal y trasero en el aprendizaje electrónico híbrido presencial .
Kennedy, GE, Cutts, QI, 2005. La asociación entre el uso de un sistema de votación electrónica por parte de Cursos presenciales . Int. J. e­Learn. 6, 455–474.
los estudiantes y sus resultados de aprendizaje . J. Comput. Assist. Learn. 21, 260–268. Smith, K., Hill, J., 2019. Definición de la naturaleza del aprendizaje combinado a través de su descripción
en la investigación actual . High. Educ. Res. Dev. 38, 383–397.
Kvam, PH, Vidakovic, B., 2007. Estadística no paramétrica con aplicaciones en ciencia e ingeniería. Wiley, Spanjers, IA, Könings, KD, Leppink, J., Verstegen, DM, de Jong, N., Czabanowska, K., van Merriënboer, JG,
Hoboken, NJ. 2015. La tierra prometida del aprendizaje combinado : cuestionarios como moderador. Educación.
Laerd, 2018. ANOVA unidireccional (consultado el 15 de enero de 2021) [Link] Descansar. Apocalipsis 15, 59–74.
guides/one­way­anova­statistical­guide­[Link] . Stowell, JR, Nelson, JM, 2007. Beneficios de los sistemas electrónicos de respuesta de audiencia en la
Larsen, TJ, Sorebo, AM, Sorebo, O., 2009. El rol del ajuste entre tareas y tecnología como motivación de los participación, el aprendizaje y la emoción estudiantil . Teach. Psychol. 34, 253–258.
usuarios para continuar usando los sistemas de información . Comput. Hum. Behav. 25, Sumak, B., Hericko, M., Pusnik, M., 2011. Un metaanálisis de la aceptación de la tecnología de aprendizaje
778–784. electrónico : el papel de los tipos de usuarios y los tipos de tecnología de aprendizaje electrónico . Comput.
Lim, WN, 2017. Mejora de la participación estudiantil en la educación superior mediante la enseñanza interactiva Tararear. Comportarse. 27, 2067–2077.
móvil con Socrative. Actas de la Conferencia Global de Educación en Ingeniería del IEEE de 2017 Sumak, B., Polancic, G., Hericko, M., 2010. Un estudio empírico sobre la adopción de entornos virtuales de
(EDUCON2017), 404–412. aprendizaje mediante UTAUT. Actas de la Segunda Conferencia Internacional sobre Aprendizaje Móvil,
McDonald, JH, 2014. Manual de Estadística Biológica, 3.ª edición. Sparky House Híbrido y en Línea (ELML 2010), 17–22.
Publicaciones, Baltimore, MD. Teo, T., 2009. Modelado de la aceptación de la tecnología en la educación: un estudio de docentes en prácticas .
McKenzie, M., Ziemann, M., 2020. Evaluación del sistema de respuesta de audiencia en línea Socrative para Comput. Educ. 52, 302–312.
clases de repaso de ciencias biomédicas . Int. J. Educ. Res. Open 1, 100008. Van Laer, S., Elen, J., 2020. Perfiles de comportamiento autorregulador de adultos en entornos de aprendizaje
combinado y sus implicaciones para el diseño. Technol. Knowl. Learn. 25, 509–539.
Means, B., Toyama, Y., Murphy, R., Bakia, M., Jones, K., 2010. Evaluación de prácticas basadas en la evidencia
en el aprendizaje en línea: un metaanálisis y una revisión de estudios sobre aprendizaje en línea. Welch, BL, 1951. Sobre la comparación de varios valores medios : un enfoque alternativo . Biometrika 38, 330–336.
Departamento de Educación de EE. UU., Washington, D. C. [Link]
evidence­based­practices/[Link] . Yang, YTC, Chuang, YC, Li, LY, Tseng, SS, 2013. Un entorno de aprendizaje combinado para escuchar y hablar
Mirriahi, N., Alonzo, D., Fox, B., 2015. Un marco de aprendizaje combinado para el diseño curricular y el en inglés individualizado integrando el pensamiento crítico .
desarrollo profesional . Res. Learn. Technol. 23, 28451. Comput. Educ. 63, 285–305.
Molin, F., Haelermans, C., Cabus, S., Groot, W., 2020. El efecto de la retroalimentación en la metacognición : un Zainuddin, Z., Shujarat, M., Haruna, H., Chu, SKW, 2020. El papel de los cuestionarios electrónicos gamificados
experimento aleatorio con tecnología de sondeo . Comput. en el aprendizaje y la participación estudiantil : una solución de gamificación interactiva para un sistema de
Educ. 152, 103885. evaluación formativa . Comput. Educ. 145, 103729.
[Link], 2013. Cálculos estadísticos de exámenes (consultado el 25 de mayo de 2020) [Link] Zimmerman, DW, 2004. Una nota sobre pruebas preliminares de igualdad de varianzas. Br. J.
dev/Quiz statistical calculates#Introduction. Matemáticas. Estadísticas. Psicología. 57, 173–181.
[Link], 2019. Estadísticas del informe de cuestionarios (consultado el 25 de mayo de 2020) https://
[Link]/dev/Quiz report statistical .

64