Propuesta metodológica de evaluación para evaluar competencias a través de tareas complejas en entornos virtuales de aprendizaje

  1. Cubero Ibáñez, Jaione 1
  2. Ibarra Sáiz, María Soledad 1
  3. Rodríguez Gómez, Gregorio 1
  1. 1 Universidad de Cádiz
    info

    Universidad de Cádiz

    Cádiz, España

    ROR https://ror.org/04mxxkb11

Zeitschrift:
Revista de investigación educativa, RIE

ISSN: 0212-4068 1989-9106

Datum der Publikation: 2018

Ausgabe: 36

Nummer: 1

Seiten: 159-184

Art: Artikel

DOI: 10.6018/RIE.36.1.278301 DIALNET GOOGLE SCHOLAR lock_openDIGITUM editor

Andere Publikationen in: Revista de investigación educativa, RIE

Zusammenfassung

This article presents a methodology to assess the skill level of university students in five skills: analytical and critical thought, problem solving, sense of Ethics, decision making and teamwork. The introduction focuses on two conceptuals foci in which the study is based, skills assessment through complex tasks and a digital context with e-rubrics. In the second section the proposal is contextualized in the DevalsimWeb Project in which it arises, skills are defined and a description of the fundamental aspects of APREVAL-DevalSimWeb Training Course is offered. In method are specified the questions that guide the proposal, the procedure and the methodological design of the evaluation proposal, according to Expert Desing Method. The results reflect the methodological proposal made on the basis of complex tasks and applying e-rubrics before and after the completion of the training course to assess the skill level of first year university students. The article ends with conclusions and research associated with the proposal. An annex is provided for the description of complex tasks specifying the situations/problems raised, the resources used and the specific evaluation activities for each skill, before and after implementation of the training course together with the five e-rubrics for each skill.

Informationen zur Finanzierung

Geldgeber

Bibliographische Referenzen

  • Álvarez-Rojo, V. (1998). Diseño de programas de orientación. En X. Salvador & M.L. Rodicio (Eds.), Actas del Simposium sobre Orientación: ¿Para onde camiña a orientación? (pp. 142-168). A Coruña: Universidade de A Coruña
  • Andreu-Andrés, M. A., & García-Casas, M. (2014). Evaluación del pensamiento crítico en el trabajo en grupo. Revista de Investigación Educativa, 32(1), 203-222. http://dx.doi.org/10.6018/rie.32.1.157631
  • Ashford-Rowe, K., Herrington, J., & Brown, C. (2014). Establishing the critical elements that determine authentic assessment. Assessment & Evaluation in Higher Education, 39(2), 205-222. http://dx.doi.org/10.1080/02602938.2013.819566
  • Baartman, L., & Ruijs, L. (2011). Comparing students’ perceived and actual competence in higher vocational education. Assessment & Evaluation in Higher Education, 36(4), 385-398. http://dx.doi.org/10.1080/02602938.2011.553274
  • Belloch, C. (2012). Entornos virtuales de aprendizaje. Unidad de Tecnología Educativa (UTE). Universidad de Valencia. https://goo.gl/TaUViS
  • Bennett, R.E. (2002). Inexorable and inevitable: The continuing story of technology and assessment. Journal of Technology, Learning and Assessment 1(1). https://goo.gl/52v5ja
  • Boneu, J.M. (2007). Plataformas abiertas de e-learning para el soporte de contenidos educativos abiertos. Revista de Universidad y Sociedad del Conocimiento 4(1). https://goo.gl/SV0Ja
  • Bridgeman, B. (2009). Experiences from large-scale computer-based testing in the USA, in F. Scheuermann & J. Björnsson (Eds.), The Transition to Computer-Based Assessment. Luxembourg, Office for Official Publications of the European Communities.
  • Buján, K., Rekalde, I., & Aramendi, P. (2011). Las rúbricas de evaluación en formación de competencias. En K. Bujan; I. Rekalde & P. Aramendi (Coords.) La evaluación de competencias en la educación superior (pp. 75-97). Sevilla: MAD, S.L.
  • Corral, Y. (2009). Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. Revista de Ciencias de la Educación, 19(33), 228-247. https://es.scribd.com/doc/48628674/Validez-y-confiabilidad-de-instrumentos
  • De la Cruz, G., & Abreu, L.F. (2014). Rúbricas y autorregulación: pautas para promover una cultura de la autonomía en la formación profesional terciaria. REDU: Revista de Docencia Universitaria, 12, 31-48. https://dialnet.unirioja.es/ejemplar/365061
  • Delgado, A.M. (Dir.). (2005). Competencias y diseño de la evaluación continua y final en el Espacio Europeo de Educación Superior. Programa de Estudios y Análisis, Ministerio de Educación y Ciencia (MEC). https://goo.gl/BZgFzr
  • Delgado, A.M., & Oliver, R. (2006). La evaluación continua en un nuevo escenario docente. RUSC. Universities and Knowledge Society Journal, 3(1). https://goo.gl/rv2sCi
  • Dresel, M.G. (2015). Competencies for successful self-regulated learning in higher education: structural model and indications drawn from expert interviews. Studies in Higher Education, 40(3), 454-470. http://www.tandfonline.com/doi/abs/10.1080/03075079.2015.1004236
  • Eyal, L. (2012). Digital Assessment Literacy - the Core Role of the Teacher in a Digital Environment. Educational Technology & Society, 15, 37-49. http://www.ifets.info/journals/15_2/5.pdf
  • Fernández March, A. (2011). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la enseñanza universitaria. En K. Bujan, I. Rekalde & P. Aramendi (Coords.), La evaluación de competencias en la educación superior (pp. 37-57). Sevilla: MAD, S.L.
  • García, M.P. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista Electrónica Interuniversitaria de Formación del Profesorado 17(1), 87-106. http://dx.doi.org/10.6018/reifop.17.1.198861
  • Gómez-Ruiz, M.A., Rodríguez-Gómez, G., & Ibarra-Sáiz, M.S. (2013). Desarrollo de las competencias básicas de los estudiantes de Educación Superior mediante la e-Evaluación orientada al aprendizaje. RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, 1(19), 1-17. https://goo.gl/JMXbAx
  • Gulikers, J., Bastiaens, T., & Kirschner, P. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, 52(3), 67-86. https://racetothetopvolusia.wikispaces.com/file/view/A+Five+Dimensional+Framework+for+Authentic+Assessment.pdf
  • Hack, C. (2015). Analytical rubrics in higher education: A repository of empirical data. British Journal of Educational Technology, 46(5), 924-927. http://doi.org/10.1111/bjet.12304
  • Ibarra-Sáiz, M.S., & Rodríguez-Gómez, G. (2014a). Aportaciones para la formación del profesorado y estudiantes de Educación Superior en e-Evaluación: herramientas tecnológicas facilitadoras. En Proceedings of the VII International GUIDE Conference Cultura en la modernización global: El papel de la educación a distancia. https://goo.gl/btq09m
  • Ibarra-Sáiz, M.S., & Rodríguez-Gómez, G. (2014b). Formación del profesorado universitario en evaluación: análisis y prospectiva del Programa Formativo EVAPES- DevalSimWeb “Evaluación para el aprendizaje en la Educación Superior”. En Congreso Iberoamericano de Ciencia, Tecnología, Innovación y Educación. Buenos Aires. Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura. https://goo.gl/MFmbEa
  • Ibarra-Sáiz, M.S. & Rodríguez-Gómez, G. (2017). EvalCOMIX®: a Web-Based Programme to Support Collaboration in Assessment. En T. Issa, P. Kommers, T. Issa, P. Isaías, & T.B. Issa (Eds.), Smart Technology Applications in Business Environments (pp. 249-275). Hershey, PA: IGI Global.
  • Ibarra-Sáiz, M.S., Rodríguez-Gómez, G., & García-Jiménez, E. (2013). DevalSimWeb_ Catalogue of transversal assessment skills. Cadiz: EVALfor Research Group.
  • Ibarra-Sáiz, M.S., Rodríguez-Gómez, G., & García-Jiménez, E. (2016). Tareas de calidad: Caracterización I. [Microvídeo]. Cádiz: EVALfor - Grupo de Investigación. https://goo.gl/f5hP58
  • Joint Committee on Standards for Educational Evaluation. (2002). The student evaluation standard: How to improve evaluations of students. Thousands Oaks, CA: Corwin.
  • Jonsson, A., & Svingby, G. (2007). The Use of Scoring Rubrics: Reliability, Validity and Educational Consequences. Educational Research Review, (2), 130-144. http://dx.dx.doi.org/10.1016/j.edurev.2007.05.002
  • Kamphorst, J., Hofman, W., Jansen, E., & Terlouw, C. (2013). The relationship between perceived competence and earned credits in competence-based higher education. Assessment & Evaluation in Higher Education 38(6), 646-661. http://dx.doi.org/10.1080/02602938.2012.680015
  • Lester, S. (2014). Professional competence standards and frameworks in the United Kingdom. Assessment & Evaluation in Higher Education 39(1), 38-52. https://doi.org/10.1080/02602938.2013.792106
  • Litwin, M. S. (2003). How to Assess and Interpret Survey Psychometrics. Thousands Oaks, CA: SAGE Publications.
  • Liu, X., & Li, L. (2014). Assessment training effects on student assessment skills and task performance in a technology-facilitated peer assessment. Assessment & Evaluation in Higher Education, 39(3), 275-292. http://dx.doi.org/10.1080/02602938.2013.823540
  • Menéndez-Varela, J.L., & Gregori-Giralt, E. (2016). The contribution of rubrics to the validity of performance assessment: a study of the conservation–restoration and design undergraduate degrees. Assessment & Evaluation in Higher Education, 41(2), 228-244. http://doi.org/10.1080/02602938.2014.998169
  • Mueller, D., & Strohmeier, S. (2011). Design characteristics of virtual learning environments: state of research. Computers & Education 57(4), 2505-2516. http://dx.doi.org/10.1016/j.compedu.2011.06.017
  • Olmos Migueláñez, S., & Rodríguez Conde, M.J. (2011). Perspectiva tecnológica de la evaluación educativa en la universidad. Teoría de la Educación 23(1), 131-157. http://campus.usal.es/~revistas_trabajo/index.php/1130-3743/article/viewFile/8581/8813
  • Peris Ortiz, M., & Merigó Lindahl, J.M. (Eds.). (2015). Sustainable learning in higher education, innovation, technology, and knowledge management. London: Springer-Verlag. http://dx.doi.org/10.1007/978-3-319-10804-9_1
  • Poblete, M., & Villa, A. (2011). SEBSCO, una experiencia alternativa para evaluar competencias. Aula Abierta, 39(3), 15-30. https://dialnet.unirioja.es/servlet/articulo?codigo=3691465
  • Redecker, C., & Johannessen, O. (2013). Changing assessment—Towards a new assessment paradigm using ICT. European Journal of Education, 48(1), 79-96. http://dx.doi.org/10.1111/ejed.12018
  • Reddy, Y., & Andrade, H. (2010). A Review of Rubric Use in Higher Education. Assessment & Evaluation In Higher Education, 35(4), 435-448. http://dx.doi.org/10.1080/02602930902862859
  • Rodríguez-Gómez, G., & Ibarra-Sáiz, M.S. (Eds.) (2011). e-Evaluación orientada al e-Aprendizaje estratégico en la Universidad. Madrid: Narcea.
  • Rodríguez-Gómez, G., & Ibarra-Sáiz, M.S. (2015). Assessment as Learning and Empowerment: Towards Sustainable Learning in Higher Education. En M. Peris- Ortiz & J. M. Merigó Lindahl (Eds.), Sustainable Learning in Higher Education. Developing Competencies for the Global Marketplace (pp. 1-20). Springer International Publishing. http://dx.doi.org/10.1007/978-3-319-10804-9_1
  • Rodríguez-Gómez, G., Ibarra-Sáiz, M.S., & Cubero-Ibáñez, J. (2018). Competencias básicas relacionadas con la evaluación. Un estudio sobre la percepción de los estudiantes universitarios. Educación XXI, 21(1), 181-208. http://dx.doi.org/10.5944/educXX1.14457
  • Rubio, M.J., Tocaín Garzón, A.L., & Ruiz Quiranza, R. (2014). Programa formativo APREVAL DevalSimWeb: aprender evaluando en la Educación Superior: manual del formador. Ecuador: Ibarra.
  • Sliney, A., & Murphy, D. (2011). Using serious games for assessment. In M. Ma, A. Oikonomou, & L. C. Jain (Eds.), Serious Games and Edutainment Applications (pp. 225-243). Springer. https://doi.org/10.1007/978-1-4471-2161-9_12
  • Skjong, R. & Wentworth, B. (2000). Expert Judgement and Risk Perception. http://research.dnv.com/skj/Papers/SkjWen.pdf
  • Tejada, J., & Ruiz, C. (2016). Evaluación de competencias profesionales en Educacion Superior: Retos e implicaciones. Educación XXI, 19(1), 17-38. http://dx.doi.org/10.5944/educXX1.12175
  • Tomas, C., Borg, M., & McNeil, J. (2015). E-assessment: Institutional development strategies and the assessment life cycle. British Journal of Educational Technology, 46(3), 588-596. http://dx.doi.org/10.1111/bjet.12153
  • Villa, A., & Poblete, M. (2007). Aprendizaje Basado en Competencias. Una propuesta para la evaluación de las competencias genéricas. Bilbao: Mensajero.
  • Villa, A., & Poblete, M. (2011). Evaluación de competencias genéricas: principios, oportunidades y limitaciones. Bordón: Revista de Pedagogía, 63(1), 147-170. http://www.innova.deusto.es/images/archivos/evaluaci%C3%B3n_competencias_aurelio_bordon.pdf
  • Villardón, L. (2006). Evaluación del aprendizaje para promover el desarrollo de competencias. Educatio Siglo XXI, 24. http://revistas.um.es/educatio/article/view/153
  • Zabala, A., & Arnau, L. (2008). Evaluar competencias es evaluar procesos en la resolución de situaciones problema. En A. Zabala y L. Arnau, 11 Ideas clave: cómo aprender y enseñar competencias. Barcelona: Graó.
  • Zlatkin-Troitschanskaia, O., Shavelson, R.J., & Kuhn, C. (2015). The international state of research on measurement of competency in higher education. Studies in Higher Education 40(3), 393-411. http://dx.doi.org/10.1080/03075079.2015.1004241