Segun MarkTechPost (AI/ML News), un equipo de investigadores ha presentado Gated DeltaNet-2, una capa de atención lineal desarrollada por NVIDIA que resuelve una limitación crítica en los modelos de inteligencia artificial basados en la regla delta. Esta innovación permite procesar secuencias de datos sin depender de cachés de memoria ilimitados, reduciendo así el tiempo de mezcla de secuencias a un orden lineal y el uso de memoria en el decodificación a una constante. El avance se centra en cómo modificar el estado interno de la red sin comprometer las asociaciones previas, un desafío clave en el diseño de modelos escalables.
La arquitectura de Gated DeltaNet-2 introduce dos puertas canalizadas independientes: una para la eliminación en el eje de claves (b_t) y otra para la inserción en el eje de valores (w_t), cada una operando sobre un espacio de dimensiones definido. Esta separación permite que las decisiones sobre qué contenido eliminar y qué contenido integrar se realicen de forma distinta y controlada, evitando que una sola variable escalar afecte simultáneamente dos procesos distintos. En contraste, modelos anteriores como Gated DeltaNet o Kimi Delta Attention utilizaban una única escala para gestionar tanto la eliminación como la escritura, lo cual generaba un conflicto en el diseño del modelo. La solución propuesta en esta versión mejora significativamente el rendimiento en pruebas de evaluación, superando a Mamba-2, KDA, Mamba-3 y a su predecesor Gated DeltaNet en un conjunto de benchmarks académicos. El entrenamiento se llevó a cabo con 1.3 mil millones de parámetros y se basó en 100 mil millones de tokens del corpus FineWeb-Edu.
Este avance es especialmente relevante para el entorno peruano, donde las instituciones públicas y privadas están cada vez más impulsando la adopción de tecnologías digitales para mejorar la eficiencia en servicios administrativos y financieros. Los modelos de IA que operan con menor consumo de memoria y mayor velocidad de procesamiento pueden ser clave para implementar soluciones en entornos de bajo rendimiento técnico o en regiones con infraestructura limitada. Además, el hecho de que estas arquitecturas sean abiertas y diseñadas para escalabilidad permite que empresas locales y pequeñas empresas de tecnología desarrollen soluciones personalizadas sin depender exclusivamente de plataformas extranjeras. La evolución de la atención lineal no solo representa un avance técnico, sino también una oportunidad para democratizar el acceso a herramientas de inteligencia artificial en el sector público y privado.
En el contexto actual, donde el Perú busca fortalecer su capacidad tecnológica, la disponibilidad de modelos más eficientes y accesibles puede acelerar la integración de decisiones automatizadas en áreas como finanzas, logística y gestión de servicios. Aunque aún no se han implementado casos reales en el país, el potencial de estas tecnologías para mejorar la toma de decisiones en tiempo real y con menor carga computacional es un factor clave en el desarrollo sostenible de la economía digital peruana.