Una propuesta para reportar replicaciones de experimentos en Ingeniería del Software

Resumen

En esta memoria, se presenta el trabajo de investigación llevado a cabo para aumentar el beneficio que se obtiene mediante la replicación de experimentos, desarrollando una propuesta que facilite la especificación sistemática de los cambios de las replicaciones y su documentación de forma homogénea. La importancia de especificar bien los cambios en las replicaciones viene dada por un doble motivo; por un lado, por el propio autor de la replicación; para tener una guía de cómo reportarla. Parte de los cambios que se propongan permitirán mitigar algunas limitaciones identificadas en el experimento base, o bien son consecuencia de adaptar el experimento al nuevo entorno y es necesario analizar su influencia en la validez del experimento. Por otro lado, a un experimentador externo que realiza una replicación, le será de gran ayuda conocer cómo ha evolucionado un experimento original dentro de una familia, porque se han realizado cambios y de qué tipo son. De este modo, se facilita el diseño de experimentos, sin repetir fallos ya identificados y adaptar el ˜ experimento al nuevo entorno con mas éxito. Partiendo de la información identificada en la descripción del cambio, se ha propuesto un metamodelo visualizado mediante una plantilla que presenta los datos de forma fija y sirve de guía para evitar que falte información relevante. La plantilla se completa con patrones lingüísticos que facilitan la redacción de los cambios. Basada en la plantilla propuesta, se presenta la herramienta CÆSAR que permite a los experimentadores la definición de los cambios, que pasan a formar parte del repositorio de información, proporcionando una visión global de la familia de experimentos. Para validar la plantilla, se ha instanciado mediante un estudio de caso múltiple que abarca las áreas de Ingeniería del Software, Ciencias y Experimentos automáticos. La utilización comparativa de la plantilla nos ha permitido establecer diferencias entre las áreas debidas, a la distinta terminología y conceptos utilizados al llevar a cabo un experimento.