Estudio e implementación de algoritmos de fusión sensorial para sensores pulsantes y clásicos con protocolo aer de comunicación y aplicación en sistemas robóticos neuroinspirados

Resumen

The objective of this thesis is to analyze, design, simulate and implement a model that follows the principles of the human nervous system when a reaching movement is made. The background of the thesis is the neuromorphic engineering field. This term was first coined in the late eighties by Caver Mead. Its main objective is to develop hardware devices, based on the neuron as the basic unit, to develop a range of tasks such as: decision making, image processing, learning, etc. During the last twenty years, this field of research has gathered a large number of researchers around the world. Spike-based sensors and devices that perform spike processing tasks have been developed. A neuro-inspired controller model based on the classic algorithms VITE and FLETE is proposed in this thesis (specifically, the two algorithms presented are: the VITE model which generates a non-planned trajectory and the FLETE model to generate the forces needed to hold a position reached). The hardware platforms used to implement them are a FPGA and a VLSI multi-chip setup. Then, considering how a reaching movement is performed by humans, these algorithms are translated under the constraints of each hardware device. The constraints are: spike-processing blocks described in VHDL for the FPGA and neurons LIF for the VLSI chips. To reach a successful translation of VITE algorithm under the constraints of the FPGA, a new spike-processing block is designed, simulated and implemented: GO Block. On the other hand, to perform an accurate translation of the VITE algorithm under VLSI requirements, the recent biological advances are studied. Then, a model which implements the co-activation of NMDA channels (this activity is related to the activity detected in the basal ganglia short time before a movement is made) is modeled, simulated and implemented. Once the model is defined for both platforms, it is simulated using the Matlab Simulink environment for FPGA and Brian simulator for VLSI chips. The hardware results of the algorithms translated are presented. The open-loop spike-based VITE (on both platforms) and closed-loop (FPGA) applied and connected to a robotic platform using the AER bus show an excellent behaviour in terms of power and resources consumption. They show also an accurate and precise functioning for reaching and tracking movements when the target is supplied by an AER retina or jAER. Thus, a full neuro-inspired architecture is implemented: from the sensor (retina) to the end effector (robot) going through the neuro-inspired controller designed. An alternative for the SVITE platform is also presented. A random element is added to the neuron model to include variability in the neural response. The results obtained for this variant, show a similar behaviour if a comparison with the deterministic algorithms is made. The possibility to include this pseudo-random controller in noise and / or random environment is demonstrated. Finally, this thesis claims that PFM is the most suitable modulation to drive motors in a neuromorphic hardware environment. It allows supplying the events directly to the motors. Furthermore, it is achieved that the system is not affected by spurious or noisy events. The novel results achieved with the VLSI multi-chip setup, this is the first attempt to control a robotic platform using sub-thresold low-power neurons, intended to set the basis for designing neuro-inspired controllers. ******************************************* La presente tesis doctoral tiene como objetivo analizar, diseñar, simular e implementar un modelo que siga los principios de funcionamiento del sistema nervioso humano para imitar los movimientos dirigidos a un objetivo. El campo de investigación en el que se enmarca la tesis es la ingeniería neuromórfica. Dicho campo nace a finales de los años ochenta y persigue el desarrollo de dispositivos electrónicos que, basados en la neurona como unidad básica, puedan ser empleados para desarrollar alguna actividad específica: toma de decisiones, procesado de imágenes, aprendizaje, etc. Durante los últimos veinte años, este campo de investigación ha aglutinado a una gran cantidad de investigadores de todo el mundo. Se han realizado numerosos avances de calidad en sensores de vision, procesado de imagenes y diseño de chips que permiten realizar diversas tareas de aprendizaje y propósito general. Se propone un modelo de controlador neuro-inspirado basado en los algoritmos clásicos VITE y FLETE a implementar en dos clases de hardware: una FPGA y un entorno multi-chip VLSI. Para ello, teniendo en cuenta cómo se realiza un movimiento hacia objetivo en los seres humanos, se transforman estos algoritmos considerando las restricciones propias de cada uno de los entornos hardware a emplear: bloques de procesamiento por eventos descritos en VHDL para la FPGA y neuronas LIF en los chips VLSI. Para una exitosa traslación del algoritmo VITE bajo las restricciones de la FPGA, se diseña, simula e implementa un nuevo bloque de procesamiento por eventos: Bloque GO. En contra, para una correcta y biológica traslación del algoritmo VITE bajo los requisitos VLSI, se estudia, modela, simula e implementa la co-activación de los canales NMDA que guardan relación con la actividad previa detectada en los ganglios basales. Una vez que el modelo está definido para ambas plataformas, se procede a la simulación de este usando el entorno Simulink de Matlab para la FPGA y el simulador Brian para los chips VLSI. Finalmente, se presentan los resultados de implementación del algoritmo SVITE en lazo abierto (en ambas plataformas) y cerrado (FPGA) aplicados a una plataforma robótica y conectados usando el bus AER con unos excelentes resultados en cuanto a consumo de potencia y recuros y paralelismo con lo estudiado para los movimientos biológicos. Los resultados muestran un correcto funcionamiento cuando se trata de alcanzar o seguir un objetivo suministrado por una retina AER. De esta forma, se completa una cadena de procesado por eventos desde el sensor hasta los efectores finales de una forma neuro-inspirada. También, se presenta una variante del algoritmo, para la plataforma FPGA, en el que se incluyen elementos aleatorios que modelan la variabilidad en la respuesta neuronal. Los resultados obtenidos para esta variante, muestran un resultado similar al comportamiento totalmente determinista. Se demuestra la posibilidad de incluir el controlador en un entorno ruidos y/o aleatorio. Por último, se confirma el uso de PFM como la modulación más indicada en entornos biológicos ya que permite suministrar los eventos directamente a los motores. Además, se logra que el sistema no se vea afectado por eventos espúreos o no deseados. Los novedosos resultados alcanzados en la plataforma VLSI, este ha sido el primer intento de controlar una plataforma robótica usando diseño sub-thresold en chips de bajo consumo, pretenden sentar las bases del diseño de controladores neuro-inspirados.