Entrenamiento de Redes Convolucionales mediante la Transformada de Fourier

Abstract

En este TFG, estructurado en dos partes distintas, una de índole matemática y otra de naturaleza informática, se exploran cuestiones vinculadas al campo del DL, concretamente de las CNN, estableciendo una interconexión entre ambas áreas. En la parte matemática de este TFG, correspondiente a la primera sección del mismo, se estudia en profundidad el análisis de Fourier en L1(Rn). El análisis de la Transformada de Fourier en este espacio, motivará posteriormente la definición de su versión en el marco discreto, la DFT, cuyas propiedades y características más importantes emergerán de manera natural y estarán inspiradas por su similitud con las propiedades descritas en el ámbito continuo. Adicionalmente, se presentará en esta primera parte, la operación de convolución, que junto con el Teorema de Convolución consolidarán la base teórica para el desarrollo de la segunda parte de esta memoria. En la parte informática de este TFG, correspondiente a la segunda sección del mismo, se estudia un método alternativo para realizar la operación de convolución entre un núcleo y una imagen, usando el Teorema de Convolución y las propiedades de la DFT. Este método utiliza la FFT para convertir los productos matriciales entre ambos operandos en productos puntuales. En esta parte, se realizan, por tanto, una serie de experimentos con objeto de evaluar la viabilidad del nuevo método de convolución propuesto, en problemas de VC. Posteriormente, se analiza la eficiencia de este algoritmo, lo cual requiere un estudio detallado de la eficiencia del algoritmo de la FFT. Finalmente, este algoritmo se termina incorporando en la arquitectura de una CNN, estudiando una nueva metodología propuesta en los trabajos futuros de [10] para entrenar esta red íntegramente en el dominio de la frecuencia, y realizando posteriormente una comparativa de su rendimiento con el entrenamiento en una arquitectura clásica. Esta aproximación permite entrenar una CNN usando menos operaciones y, por lo tanto, representa un avance prometedor en la línea de investigación; aceleración del entrenamiento de una CNN. Este avance es especialmente relevante dado el aumento en el número de mapas de características en las CNN modernas, que además suelen trabajar con datos de grandes dimensiones. Esta metodología se alinea con la creciente concienciación sobre la “Green AI”, que busca desarrollar tecnologías y técnicas de IA sostenibles, promoviendo un enfoque más eficiente y responsable. Se muestra, por tanto, en el presente documento, cómo la parte matemática sustenta y motiva nuevos avances en una línea de investigación dentro del DL, conectando de esta manera ambas disciplinas y mostrando cuán fructíferos pueden ser los resultados cuando se combinan ambas. vi

In this undergraduate thesis, structured in two distinct parts, one of mathematical nature and the other one of computational nature, some issues related to the field of DL, specifically CNN, are explored, establishing an interconnection between both areas. In the mathematical part of this mark, corresponding to the first section, the Fourier analysis in L1(Rn) is studied in depth. The analysis of the Fourier Transform in this space will subsequently motivate the definition of its version in the discrete framework, the DFT (Discrete Fourier Transform), whose most important properties and characteristics will emerge naturally and will be inspired by their similarity with the properties described in the continuous domain. Additionally, in this first part, the convolution operation will be presented, which, along with the Convolution Theorem, will consolidate the theoretical basis for the development of the second part of this document. In the computational part of this thesis, corresponding to the second section, an alternative method for performing the convolution operation between a kernel and an image using the Convolution Theorem and the properties of the DFT is studied. This method uses the FFT to convert the matrix products between both operands into pointwise products. Therefore, in this part, a series of experiments are conducted to evaluate the feasibility of the proposed new convolution method in VC problems. Subsequently, the efficiency of this algorithm is analyzed, which requires a detailed study of the efficiency of the FFT algorithm. Finally, this algorithm is incorporated into the architecture of a CNN, studying a new methodology proposed in the future works of [10] to train this network entirely in the frequency domain and subsequently comparing its performance with training in a classical architecture. This approach allows training a CNN using fewer operations and, therefore, represents a promising advancement in the line of research aimed at accelerating CNN training. This advancement is especially relevant given the increase in the number of feature maps in modern CNN, which also tend to work with large-scale data. This methodology aligns with the growing awareness of "Green AI," which seeks to develop sustainable AI technologies and techniques, promoting a more efficient and responsible approach. Therefore, this document shows how the mathematical part supports and motivates new advances in a line of research within DL, thus connecting both disciplines and demonstrating how fruitful the results can be when both are combined.