ICT and 360º evaluationImproving professional skills in higher education in Spain

  1. Martínez-Romera, Daniel David 1
  2. Cortés-Dumont, Sara 2
  1. 1 University of Málaga, Spain
  2. 2 University of Jaén, Spain
Revista:
Tuning journal for higher education

ISSN: 2340-8170

Año de publicación: 2022

Título del ejemplar: Perspectives, stakeholders, and competences

Volumen: 10

Número: 1

Páginas: 89-111

Tipo: Artículo

DOI: 10.18543/TJHE.2361 DIALNET GOOGLE SCHOLAR lock_openAcceso abierto editor

Otras publicaciones en: Tuning journal for higher education

Resumen

The current dynamics of knowledge and innovation generation are faced with, sometimes, incompatible social and cultural trends. Something to which the University is not oblivious. Based on contemporary studies and our own experience, one of the clearest tensions has to do with the ability to judging based on reasons and not emotions. To help with this, in the educational context, the 360-degree evaluation can be a useful instrument in terms of the strengthening of their objective judgment. It is a technique that was conceived to exercise objective evaluation, in several and concurrent ways, which also allows to know their degree of objectivity. To demonstrate its potential, a sample of 56 students was used, taking the teacher’s grading as a reference. The task involved self, peer and inter-group assessment. The methodology was mixed, with support in descriptive statistics for quantitative grades and natural language processing for comments and clarifications. It was possible to detect differences in behavior depending on the type of analysis (self-assessment, peers, and groups), as well as determining which students were most qualified to assess objectively. Another issue was the general reluctance to explain numerical grades through notes. Here we consider several factors to explore, among which we highlight: the digital tool used and the time available; the phase of the academic course and the characteristics of the task; and subjective bias, especially in cases of low score. About the experience, it has also been possible to detect some difficulties derived from the application of a methodology, as complex and demanding as the one used, which generated more than 3000 evaluations. In any case, and in view of the data obtained, we consider that the results corroborate the practical utility of this approach and invite to explore additional aspects within this area. Received: 24 February 2022Accepted: 12 September 2022

Referencias bibliográficas

  • Álvarez-López, Gabriel, and María Matarranz. 2020. “Calidad y evaluación como tendencias globales en política educativa: estudio comparado de agencias nacionales de evaluación en educación obligatoria en Europa.” Revista Complutense de Educación 31 (1): 83-93. https://doi.org/10.5209/rced.61865 .
  • Andrade, G. 2019. Standing up for science against postmodernism and relativism. Philosophia (Philippines), 20, 197-211.
  • Arancibia Herrera, M. 2016. “Uso educativo de las TIC y su relación con las concepciones del profesor de historia sobre aprender y enseñar.” Revista Infancia, Educación y Aprendizaje 2 (2): 76-93.
  • Arreola Rico, Roxana Lilian. 2019. “Formación y evaluación docente basada en un perfil por competencias. Una propuesta desde la práctica reflexiva.” Revista Educación 43 (2): 239-58. https://doi.org/10.15517/revedu.v43i2.30898.
  • Báez-Rojas, Claudio, Karen Córdova-León, Lincoyán Fernández-Huerta, Ricardo Villagra-Astudillo, Laura Aravena-Canese, Claudio Báez-Rojas, Karen Córdova-León, Lincoyán Fernández-Huerta, Ricardo Villagra-Astudillo, and Laura Aravena-Canese. 2021. “Modelo de retroalimentación mediante evaluación de 360o para la docencia de pregrado en ciencias de la salud.” FEM: Revista de la Fundación Educación Médica 24 (4): 173-81. https://doi.org/10.33588/fem.244.1133.
  • Barba Aragón, María Isabel. 2020. “La satisfacción del alumnado con la evaluación 360o.” In CIVINEDU 2020. 4th International Virtual Conference on Educational Research and Innovation, REDINE, Red de Investigación e Innovación Educativa, 148-50. Madrid: Adaya Press.
  • Barbera, J., Naibert, N., Komperda, R., and Pentecost, T. C. 2020. Clarity on Cronbach’s Alpha Use. Journal of Chemical Education, 98(2): 257-258. https://doi.org/10.1021/acs.jchemed.0c00183.
  • Bujang, M. A., Omar, E. D., and Baharum, N. A. 2018. A Review on Sample Size Determination for Cronbach’s Alpha Test: A Simple Guide for Researchers. The Malaysian journal of medical sciences: MJMS, 25(6): 85–99. https://doi.org/10.21315/mjms2018.25.6.9.
  • Cebrián Robles, D. 2019. Evaluación formativa para los aprendizajes del prácticum con Corubric. In XV Symposium Internacional sobre el Prácticum y las Prácticas Externas:” Presente y retos de futuro”: actas, Poio (Pontevedra), 10, 11 y 12 de julio de 2019 (23). Asociación para el Desarrollo del Prácticum y de las Prácticas Externas.
  • Cebrián-de-la-Serna, Manuel, and M.E. Bergman. 2014. “Evaluación formativa con e-rúbrica: aproximación al estado del arte.” REDU : Revista de Docencia Universitaria 12 (1): 15-22.
  • Cubillos-Veja, Carla, and Magdalena Ferrán-Aranaz. 2018. “Diseño y Validación de una Rúbrica para Valorar la Resolución de Casos Prácticos Relativos a Derechos Humanos.” Revista Iberoamericana de Evaluación Educativa 11 (2). https://doi.org/10.15366/riee2018.11.2.002.
  • Curcu, Antonio. 2008. “Sujeto, subjetividad y formación en educación para pensar en otra visión pedagógica de la evaluación.” Revista de Teoría y Didáctica de las ciencias sociales 13: 195-216.
  • Dagal, Asude Balaban, and Rengin Zembat. 2017. “A Developmental Study on Evaluating the Performance of Preschool Education Institution Teachers with 360 Degree Feedback.” Journal of Education and Training Studies 5 (6): 22031. https://doi.org/10.11114/jets.v5i6.2365.
  • Das, K. 2019. “The role and impact of ICT in improving the quality of education: An overview.” International Journal of Innovative Studies in Sociology and Humanities, 4(6): 97-103.
  • Elías, Rudy. 2017. “Los programas internacionales de evaluación de logros académicos y su influencia en las políticas educativas en América Latina.” Población y Desarrollo 45: 74-82.
  • Emerson, R. W. 2019. “Cronbach’s Alpha Explained.” Journal of Visual Impairment and Blindness, 113(3): 327.
  • Fernández-Quero, Juan Luis. 2021. “El uso de las TIC como paliativo de las dificultades del aprendizaje en las ciencias sociales.” Digital Education Review, n.o 39 (julio): 213-37. https://doi.org/10.1344/der.2021.39.213-237.
  • Ferreiro Concepción, Jasiel Félix, and Carlos Rafael Fernández Medina. 2020. “Una mirada a la evaluación por rúbricas a través de las TIC.” Mendive. Revista de Educación 18 (1): 92-104.
  • Frías-Navarro, Dolores, and Marcos Pascual-Soler. 2021. “Recomendaciones para elaborar y redactar el informe de investigación.” In Research design, analysis and writing of results, Frías-Navarro, Dolores y Pascual-Soler, Marcos. Valencia: OSF. https://doi.org/10.17605/osf.io/kngtp.
  • Furedi, F. 2018. Qué le está pasando a la Universidad: Un Análisis Sociológico de su Infantilización. Madrid: Narcea Ediciones.
  • Galaz, Alberto, and Sergio Toro Arévalo. 2019. “Estrategias identitarias. La subjetividad del profesor ante la política de evaluación.” Andamios 16 (39): 35378. https://doi.org/10.29092/uacm.v16i39.687.
  • García-Valcárcel Muñoz-Repiso, Ana, Azucena Hernández Martín, Marta Martín del Pozo, and Susana Olmos Migueláñez. 2020. “Validación de una rúbrica para la evaluación de trabajos fin de máster.” Profesorado, Revista de Currículum y Formación del Profesorado 24 (2): 72-96. https://doi.org/10.30827/profesorado.v24i2.15151.
  • Gatica-Lara, Fiorina, and Teresita del Niño Jesús Uribarren-Berrueta. 2013. “¿Cómo elaborar una rúbrica?” Investigación en Educación Médica 2 (5): 61-65. https://doi.org/10.1016/S2007-5057(13)72684-X.
  • González-Such, José, Jesús Miguel Jornet-Meliá, María Jesús Perales Montolío, Margarita Bakieva-Karimova, Carlos Sancho-Álvarez, Purificación SánchezDelgado, and Sonia Ortega Gaite. 2021. “Evaluación de titulaciones universitarias según su aportación a la cohesión social (UNIVECS). Resultados de un análisis de validación cualitativa a través de grupos focales en dos titulaciones de máster de la Universitat de València.” New Trends in Qualitative Research 7 (julio): 278-95. https://doi.org/10.36367/ntqr.7.2021.278-295.
  • Grande de Prado, Mario, Francisco José García Peñalvo, A. Corell, and V. AbellaGarcía. 2021. “Evaluación en Educación Superior durante la pandemia de la COVID-19.” Campus Virtuales 1 (10): 49-58.
  • Hussen Maulud, D., Zeebaree, S. R. M., Jacksi, K., Mohammed Sadeeq, M. A., and Hussein Sharif, K. 2021. State of Art for Semantic Analysis of Natural Language Processing. Qubahan Academic Journal, 1(2), 21–28. https://doi.org/10.48161/qaj.v1n2a44.
  • Jogezai, N. A., Baloch, F. A. and Ismail, S. A. M. M. 2020. Hindering and enabling factors towards ICT integration in schools: A developing country perspective. İlköğretim Online – Elementary Education Online, 19(3): 1537-1547. https://doi.org/10.17051/ilkonline.2020.733176.
  • Jornet, José María, María Jesús Perales, and Purificación Sánchez-Delgado. 2011. “El valor social de la educación: entre la subjetividad y la objetividad. Consideraciones teórico-metodológicas para su evaluación.” RIEE 4: 51-77.
  • Jornet Meliá, Jesús Miguel, María Jesús Perales Montolío, and José González-Such. 2020. “El concepto de validez de los procesos de evaluación de la docencia: The concept of validity of teaching evaluation processes.” Revista Española de Pedagogía 78 (276): 233-52.
  • Kestel, M. and Korkmaz, I. 2019. The impact of Modernism and Postmodernism on Teachers. Turquoise International Journal of Educational Research and Social Studies, 1(1): 28-33.
  • Liu, Lili, Yilin Zhong, Gou Yu, Xinlin Hou, and Jianguang Qi. 2021. “Application of 360-degree assessment in the competency-oriented standardized training of pediatric residents.” Chinese Journal of Medical Education.
  • López Aguilar, G. R., M. V. A. Lara Andrade, E. Montiel Piña, M. A. Cruz Gómez, and S. Flores González. 2020. “Evaluación Diagnóstica en la Educación Superior con Prospectiva Educativa para Una Sociedad Incluyente.” In Agenda pública, gobernanza metropolitana y planeación prospectiva para un desarrollo sostenible, incluyente y solidario, Vázquez Guzmán, O. y Carrillo Huerta, M. M., 90-100. Puebla (México): Benemérita Universidad Autónoma de Puebla. https://bit.ly/3iwVrw8.
  • López-de-Arana Prado, Elena, Pilar Aramburuzabala Higuera, and Héctor Opazo Carvajal. 2019. “Diseño y validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario.” Educación XX1 23 (1). https://doi.org/10.5944/educxx1.23834.
  • Mano, R. 2021. The institutionalization of ICT and civic participation: Evidence from eight European nations. Technology in Society, 64, 101518. https://doi.org/10.1016/j.techsoc.2020.101518.
  • Martínez Romera, Daniel. 2017. “La evaluación de diseños de intervención para el Prácticum como instrumento de formación e investigación en el Máster de Profesorado de Ciencias Sociales.” Revista Practicum 2 (diciembre): 32-49. https://doi.org/10.24310/RevPracticumrep.v2i2.9857.
  • . 2019. “Recursos para innovar en geografía e historia: un camino hacia las TAC.” In Tecnologías para la formación de profesionales en educación, Alías Garcia, Antonio, Cebrián Robles, Daniel, Ruiz Rey, Francisco José y Caraballo Vidal, Israel. Dykinson. https://doi.org/10.2307/j.ctv105bcxd.18.
  • Martínez Romera, Daniel, Daniel Cebrián Robles, and Rafael Pérez Galán. 2020. “Practical Training of Secondary School Teachers in Spain: Tutoring and Assessment Using ICT.” Turkish Online Journal of Distance Education 21 (abril): 153-66. https://doi.org/10.17718/tojde.728148.
  • Meghdad, Rahati, Rohollahi Nayereh, Sakeni Zahra, Zahed Houriye, and Nanakar Reza. 2020. “Assessment of the performance of nurses based on the 360-degree model and fuzzy multi-criteria decision-making method (FMCDM) and selecting qualified nurses.” Heliyon 6 (1): e03257. https://doi.org/10.1016/j.heliyon.2020.e03257.
  • Milliken, J. 2004. Thematic reflections on higher education. Higher Education in Europe, 29(1): 9-18. https://doi.org/10.1080/03797720410001673265.
  • Oliveras Boté, Isabel. 2019. Evaluación e incorporación del riesgo de sesgo de estudios no experimentales en revisiones sistemáticas y metaanálisis. Universidad Autónoma de Barcelona. https://ddd.uab.cat/record/207913.
  • Ortega-Quevedo, Vanessa, Cristina Gil-Puente, Cristina Vallés-Rapp, and María Antonia López-Luengo. 2020. “Diseño y validación de instrumentos de evaluación de pensamiento crítico en Educación Primaria.” Tecné, Episteme y Didaxis: TED 48 (diciembre): 91-110. https://doi.org/10.17227/ted.num4812383.
  • Ortiz-Revilla, Jairo, Ileana María Greca, and Agustín Adúriz-Bravo. 2021. “Conceptualización de las competencias: Revisión sistemática de su investigación en Educación Primaria.” Profesorado, Revista de Currículum y Formación del Profesorado 25 (1): 223-50. https://doi.org/10.30827/profesorado.v25i1.8304.
  • Pedregosa, F., G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, et al. 2011. “Scikit-learn: Machine Learning in Python.” Journal of Machine Learning Research 12: 2825-30.
  • Perales-Montolío, M.J., J.M. Jornet-Meliá, and J. González-Such. 2014. Tendencias en las políticas de formación y evaluación del profesorado en la educación superior en España. Revista Iberoamericana de Evaluación Educativa, 7(2e): 53-64. https://goo.gl/qUxOKT.
  • Pozuelos Estrada, Francisco José, Francisco Javier García Prieto, and Sara Conde Vélez. 2020. “Evaluar prácticas innovadoras en la enseñanza universitaria. Validación de instrumento.” Educación XX1 24 (1). https://doi.org/10.5944/educxx1.26300.
  • Rodríguez-Gómez, David, Carme Armengol, and Julio Meneses. 2017. “La adquisición de las competencias profesionales a través de las prácticas curriculares de la formación inicial de maestros.” Revista de Educación 376: 229-51. https://doi.org/10.4438/1988-592X-RE-2017-376-350.
  • Sarceda-Gorgoso, M. Carmen, and María Luisa Rodicio-García. 2018. “Escenarios formativos y competencias profesionales en la formación inicial del profesorado.” Revista Complutense de Educación 29 (1): 147-63. https://doi.org/10.5209/RCED.52160.
  • Searle, J. R. 1995. Posmodernism and the Western Rationalist Tradition. Routledge.
  • Shafait, Z., Khan, M.A., Sahibzada, U.F., Dacko-Pikiewicz, Z., Popp, J. (2021). An assessment of students’ emotional intelligence, learning outcomes, and academic efficacy: A correlational study in higher education. PLoS ONE 16(8): e0255428. https://doi.org/10.1371/journal.pone.0255428.
  • Taber, Keith S. 2018. “The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education.” Research in Science Education 48 (6): 1273-96. https://doi.org/10.1007/s11165-016-9602-2.
  • Tejada-Fernández, J., J. Serrano-Angulo, C. Ruiz-Bueno, and D. Cebrián-Robles. 2015. “El proceso de construcción y validación de los instrumentos de recogida de información sobre el practicum y su evaluación a través de herramientas tecnológicas.” In Building and Validation of Instruments to Collect Information on the Practicum and their Evaluation Based on ICT Tools, editado por M. Rapos-Rivas, Muñoz-Carril, M.E.Martínez Figueira Zabalza Cerdeiriña, A., y Pérez Abellas, 261-72. Poio, España: Andavira Editora.
  • Urquidi Martin, Ana Cristina, María Sol Calabor Prieto, and Carmen Tamarit Aznar. 2019. “Entornos virtuales de aprendizaje: modelo ampliado de aceptación de la tecnología.” Revista Electrónica de Investigación Educativa 21 (junio): 1-12. https://doi.org/10.24320/redie.2019.21.e22.1866.
  • US Office of Personnel Management. 1997. 360-Degree assessment: An overview. United States Office of Personnel Management. https://bit.ly/3RbsR2j.
  • Usart Rodríguez, Mireia, José Luis Lázaro Cantabrana, and Mercè Gisbert Cervera. 2020. “Validación de una herramienta para autoevaluar la competencia digital docente.” Educación XX1 24 (1). https://doi.org/10.5944/educxx1.27080.
  • Vendrell i Morancho, Mireia, and Jesús Miguel Rodríguez Mantilla. 2020. “Pensamiento Crítico: conceptualización y relevancia en el seno de la educación superior.” Revista de la educación superior 49 (194): 9-25. https://doi.org/10.36857/resu.2020.194.1121.
  • Zhoc, K.C.H., King, R.B., Chung, T.S.H. and Junjun, C. 2020. Emotionally intelligent students are more engaged and successful: examining the role of emotional intelligence in higher education. European Journal of Psychology Education 35: 839–863. https://doi.org/10.1007/s10212-019-00458-0.
  • Zweekhorst, M.B.M. and Maas, J. 2015. ICT in higher education: students perceive increased engagement. Journal of Applied Research in Higher Education, 7(1): 2-18. https://doi.org/10.1108/JARHE-02-2014-0022.
Fuente de los datos: Dialnet