Comparación de métodos Zero-shot Proxy en la Búsqueda de Arquitecturas de Redes Neuronales basada en Algoritmos Genéticos y aplicados en la Clasificación de Imágenes

Resumen

La Búsqueda de Arquitecturas de Redes neuronales (NAS, Neural Architecture Search) es una línea de investigación fundamental para aplicaciones de Redes Neuronales Convolucionales (CNN, Convolutional Neural Network) de alto rendimiento. Normalmente, los métodos NAS propuestos en la literatura requieren un alto costo computacional para calcular la solución CNN óptima dentro de los problemas de clasificación de imágenes. Por lo tanto, una línea de investigación emergente propone estimadores de rendimiento llamados métodos Zero-Shot Proxy. Las métodos Zero-Shot Proxy reducen el costo de evaluación dentro de la búsqueda de la arquitectura óptima, reemplazando parcial o completa[1]mente el entrenamiento y evaluación. Claramente, estos métodos ayudan a reducir el costo computacional, sin embargo, es necesario examinar su impacto en NAS. Este trabajo estudia el efecto de métodos Zero-Shot Proxy del estado del arte –Gradient norm, SNIP, Synflow, GraSP, Fisher information, y Jacobian covariant– como guías estratégicas en un Algoritmo Genético. La simulación experimental en la base de datos CIFAR[1]10 indica el buen rendimiento de los métodos considerados, siendo el Jacobian covariant el más preciso.