Algorithmic Induction via Structural Weight Transfer

# Invariancia algorítmica y escalamiento estrucural de disparo cero en redes neuronales Autor: grisun0 --- ## Abstracto Estudio una clase de dinámica de entrenamiento en redes neuronales donde, tras una optimización suficiente, la solución aprendida exhibe una fuerte invariancia estructural. Una vez que se alcanza este régimen, el modelo puede expandirse de manera determinista hacia dimensiones de entrada significativamente mayores sin reentrenamiento, preservando una generalización perfecta o casi perfecta. Demostramos que este comportamiento no es accidental, sino que emerge de una normalización fuerte y de la estabilización espectral del operador aprendido. Formalizamos este fenómeno como invariancia algorítmica y lo demostramos empíricamente en tareas de paridad, multiplicación de matrices y tareas inspiradas en sistemas dinámicos. Los resultados indican que ciertas redes neuronales aprenden representaciones algorítmicas compactas que son independientes de la escala del problema una vez que se logra la convergencia. --- ## 1. Introducción He observado que las redes neuronales suelen entrenarse y evaluarse con tamaños de entrada y modelo fijos. La generalización o grokking se suele estudiar con respecto a datos no observados, muestreados de la misma distribución, en lugar de la expansión estructural de la tarea en sí. Sin embargo, la evidencia empírica de mis trabajos recientes sobre la generalización sugiere que las redes pueden aprender internamente estructuras algorítmicas más generales que su régimen de entrenamiento bajo fuerte normalización. En este trabajo, investigué en un entorno específico donde una red neuronal, una vez convergida por completo, puede expandirse a instancias de problemas más grandes sin necesidad de optimización adicional. Sorprendentemente, en este régimen, el modelo expandido alcanza una precisión perfecta en la mayoría de casos de disparo cero o zero shot. Este comportamiento es reproducible y depende en gran medida de las propiedades de convergencia del entrenamiento. Mi objetivo no es invocar analogías físicas en el deeplearning, solo son usadas como herramienta, con el motivo de ver el problema desde otra perspectiva, para lograr describir el fenómeno en su totalidad en términos de dinámica de aprendizaje profundo, álgebra lineal y optimización. --- ## 2. Planteamiento Considero que tareas de aprendizaje supervisado son definidas por algoritmos deterministas en los casos observados, que incluyen: - Funciones de paridad binaria de ancho de bits creciente. - Dinamicas de Órbitas Keplerianas. - Propagación de Onda en una Dimensión. - La dinamica del Ciclotrón. - Multiplicación de matrices pequeñas - Descubrir el algoritmo de strassen de manera guianda. - Sistemas dinámicos de baja dimensión discretizados como problemas de aprendizaje Sea f_n : R^n -> R^m una función objetivo definida en la dimensión \(n \). Se entrena una red neuronal \(N_n \) para aproximar \(f_n \) mediante optimización basada en gradientes. La pregunta central es: > ¿Bajo qué condiciones se puede transformar determinísticamente un modelo entrenado \(N_n \) en un modelo mayor \(N_{n'} \) de manera que \(N_{n'} \) calcule correctamente \(f_{n'} \) sin reentrenamiento? --- ## 3. Normalización fuerte, Optimización acoplada al hardware y Régimen de Convergencia Identifiqué que en un régimen de entrenamiento tardío en el que es posible el escalamiento estructural de disparo cero. El régimen se caracteriza no solo por una baja pérdida, sino también por la estabilidad acoplada a hardware y el proceso de optimización. La dinámica de entrenamiento es la siguiente utilizado es: W_{t+1} = W_t - η ∇L(W_t) + ξ_t donde ξ_t representa el ruido de gradiente inducido por el procesamiento por minibatching, la precisión numérica y la ejecución por hardware (Avx-512, FP16, Cache L3). Empíricamente, una invariancia algorítmica exitosa requiere que la varianza de ξ_t caiga por debajo de un umbral dependiente de la tarea en relación con el valor singular más pequeño distinto de cero del operador aprendido. ### 3.1 Estimación del Tamaño Óptimo de Lote Observamos que el ruido de gradiente está fuertemente ligado al tamaño del lote y a la utilización de la caché (L3) en hardware moderno (Avx-512). Sea B el tamaño del lote. La escala de ruido efectivo satisface: Var(ξ) ∝ 1/B + ε_hw(B) donde ε_hw(B) captura la varianza inducida por el hardware, como las pérdidas de caché, la saturación del ancho de banda de memoria y la subutilización de la unidad vectorial. Empíricamente, el tamaño óptimo de lote B* corresponde al mínimo de la escala de ruido efectivo y puede identificarse mediante la monitorización de la varianza de pérdida y la estabilidad de la norma de gradiente. En mis experimentos, B* se alinea con los tamaños de lote que saturan la caché para cargas de trabajo FP16 y permanece invariable en todas las tareas una vez normalizado por el recuento de parámetros. Esto proporciona un método práctico para ajustar el tamaño del lote directamente a partir de la dinámica de entrenamiento, sin necesidad de un perfilado explícito del hardware. --- ## 4. Invariancia algorítmica Descubrí que tras la convergencia del experimento de paridad binaria, las matrices de pesos aprendidas presentaron fuertes regularidades estructurales. En particular: - Los bloques de pesos se repiten con alta precisión numérica - Se suprimen las interacciones fuera de la diagonal - El subespacio singular dominante permanece invariante bajo expansión Definimos la invariancia algorítmica como la propiedad que un operador aprendido ( W ) que satisface: T(W) \approx W' donde ( T ) es un operador de expansión determinista y ( W' ) implementa correctamente la tarea escalada. Esta invariancia demuestra que la red ha aprendido una representación interna del algoritmo en lugar de memorizar correlaciones de entrada-salida en el set de datos. --- ## 5. Operador de Expansión La definición del operador de expansión T para aclarar su función y limitaciones. Sea W_n el operador de peso convergente de un modelo entrenado con un tamaño de problema n. Definimos T como la incrustación lineal mínima que preserva el subespacio singular dominante de W_n bajo normalización fuerte. Operacionalmente, T se construye para satisfacer las siguientes propiedades empíricas: 1. Preservación Espectral: T preserva el orden y la magnitud de los valores k singulares principales de W_n hasta una tolerancia numérica ε. 2. Invariancia del Subespacio: El subespacio singular dominante de W_n se mapea isométricamente en el subespacio correspondiente de W_{n'}. 3. Consistencia de Normalización: Las normas de peso y los factores de escala relativos permanecen acotados bajo la expansión. En estas condiciones, observamos que el operador expandido W_{n'} satisface la propiedad de conmutación aproximada: T ∘ f_n ≈ f_{n'} ∘ T donde f_n y f_{n'} denotan las funciones implementadas por los modelos antes y después de la expansión respectivamente. El escalamiento estructural de disparo cero falla cuando se viola esta equivarianza aproximada según mis observaciones. Entre todas las expansiones lineales que preservan la normalización y el ordenamiento espectral, T es empíricamente único hasta la simetría de permutación de neuronas equivalentes. Esto explica tanto el éxito del método como sus fracasos. En la práctica, T se implementa Proceduralmente replicando bloques de peso invariantes, preservando las razones de peso normalizadas y extendiendo las incrustaciones de entrada utilizando la base aprendida. No se aplican actualizaciones de gradiente después de la expansión. --- ## 6. Experimentos ### 6.1 Escalado de Paridad Un modelo entrenado con paridad de 64 bits se expandió a paridad de 2048 bits de manera secuencial (64, 128, 256, 512, 1024, 2048) con una precisión de disparo cero del 100 %. El rendimiento solo se degrada cuando se alcanzan los límites de precisión numérica y limite de hardware. ### 6.2 Multiplicación de Matrices Un modelo neuronal entrenado para calcular la multiplicación de matrices 2×2 aprende una estructura bilineal reutilizable. En experimentos posteriores de modelos expandidos superan a las implementaciones OpenBlass bajo ciertos regímenes de precisión y hardware. ### 6.3 Tareas de Sistemas Dinámicos En sistemas dinámicos discretizados, los modelos expandidos conservan el comportamiento cualitativo y las propiedades de estabilidad, lo que indica que el operador aprendido codifica la regla de actualización subyacente, no una ley invariante. --- ## 7. Predicción de Grokking y Ablación ### 7.1 Criterio de Predicción de Grokking Observé que el fenomeno del Grokking puede predecirse antes de la convergencia completa mediante el análisis de indicadores de curvatura derivados del hessiano. Sea H el hessiano de la pérdida con respecto a los parámetros. Definimos un indicador de curvatura efectivo: κ_eff = - tr(H) / N Empíricamente: - Si κ_eff < 0 y se estabiliza tempranamente, el Grokking ocurre rápidamente. - Si κ_eff > 0 o permanece oscilante, el Grokking no ocurre dentro del tiempo de entrenamiento factible. Este criterio permite la terminación temprana o el ajuste arquitectónico antes de un entrenamiento exhaustivo. ### 7.2 Resultados de la ablación El escalado estructural de disparo cero falla cuando: - Se aplica la expansión antes de la estabilización de la curvatura - El tamaño del lote se desvía significativamente de B* - Se elimina la normalización fuerte - Se altera la simetría de pesos Estas ablaciones confirman que la invariancia algorítmica surge solo después de que tanto la dinámica de optimización como el ruido acoplado al hardware se calculan y controlan adecuadamente. --- ## 7.3 Geometría en la Invariancia Algorítmica La estructura geométrica observada en las redes neuronales entrenadas no constituye una restricción externa ni un prob