Integrated Multibinary Computing and 4D Embeddings for Structured Reasoning and Efficient Acceleration

Integrated Multibinary Computing and 4D Embeddings for Structured Reasoning and Efficient Acceleration We present an invertible multibinary (MB) representation built on a structured, lower-triangular mapping that preserves information and enables efficient parallel evaluation. We establish bijectivity and stability, and outline clear complexity characteristics without sacrificing compatibility with existing ML stacks. On top of MB, we define 4D embeddings (time, position, domain, content) with an explicit training recipe that adds temporal smoothness and creativity regularizers, plus a domain scheduler to modulate signals during training. We detail a hardware path from FPGA to ASIC and report prototype results on an MB kernel with energy per token of 0.70 mJ versus 12.81 mJ (CPU) and 2.27 mJ (GPU)—about 18× and 3× better energy efficiency, respectively—while maintaining competitive latency and throughput. The approach is structure-preserving and plug-compatible with standard Transformer pipelines, complementing sparsity, MoE, and other accelerators rather than replacing them. Contribution: a unified, theory-to-practice layer—invertible discrete representation + 4D conditioning + clear hardware roadmap—that reduces latency/energy in pre/post-processing and improves temporal/domain adaptation during training. Arquitectura Multibinaria Integrada y Embeddings 4D para Razonamiento Estructurado y Aceleración Eficiente Presentamos una representación multibinaria (MB) invertible basada en un mapeo triangular estructurado que preserva la información y habilita evaluación paralela eficiente. Establecemos biyectividad y estabilidad, y describimos el comportamiento de complejidad manteniendo la compatibilidad con stacks de ML existentes. Sobre MB definimos embeddings 4D (tiempo, posición, dominio, contenido) con una receta de entrenamiento que añade regularizadores de suavidad temporal y creatividad, además de un scheduler de dominio para modular señales durante el entrenamiento. Detallamos una ruta de hardware de FPGA a ASIC y reportamos resultados de prototipo en un kernel MB con energía por token de 0.70 mJ frente a 12.81 mJ (CPU) y 2.27 mJ (GPU), es decir, alrededor de 18× y 3× mejor eficiencia energética, respectivamente, con latencia y throughput competitivos. El enfoque preserva la estructura y es compatible con pipelines estándar de Transformers, complementando sparsidad, MoE y otros aceleradores en lugar de sustituirlos. Contribución: una capa unificada, de la teoría a la práctica—representación discreta invertible + acondicionamiento 4D + hoja de ruta de hardware—que reduce latencia/energía en pre/post-proceso y mejora la adaptación temporal/de dominio durante el entrenamiento.

Publication Details

Journal
Zenodo (CERN European Organization for Nuclear Research)
Published
2025-11-06
DOI
https://doi.org/10.5281/zenodo.17538497
Primary Topic
Parallel Computing and Optimization Techniques
Type
article
Field-Weighted Citation Impact
0.00
Controls
|||
ALL TIME
JAN
FEB
MAR
APR
MAY
JUN
JUL
AUG
SEP
OCT
article

Integrated Multibinary Computing and 4D Embeddings for Structured Reasoning and Efficient Acceleration

Zenodo (CERN European Organization for Nuclear Research)
Parallel Computing and Optimization Techniques
article

Integrated Multibinary Computing and 4D Embeddings for Structured Reasoning and Efficient Acceleration

article en

Abstract

Integrated Multibinary Computing and 4D Embeddings for Structured Reasoning and Efficient Acceleration We present an invertible multibinary (MB) representation built on a structured, lower-triangular mapping that preserves information and enables efficient parallel evaluation. We establish bijectivity and stability, and outline clear complexity characteristics without sacrificing compatibility with existing ML stacks. On top of MB, we define 4D embeddings (time, position, domain, content) with an explicit training recipe that adds temporal smoothness and creativity regularizers, plus a domain scheduler to modulate signals during training. We detail a hardware path from FPGA to ASIC and report prototype results on an MB kernel with energy per token of 0.70 mJ versus 12.81 mJ (CPU) and 2.27 mJ (GPU)—about 18× and 3× better energy efficiency, respectively—while maintaining competitive latency and throughput. The approach is structure-preserving and plug-compatible with standard Transformer pipelines, complementing sparsity, MoE, and other accelerators rather than replacing them. Contribution: a unified, theory-to-practice layer—invertible discrete representation + 4D conditioning + clear hardware roadmap—that reduces latency/energy in pre/post-processing and improves temporal/domain adaptation during training. Arquitectura Multibinaria Integrada y Embeddings 4D para Razonamiento Estructurado y Aceleración Eficiente Presentamos una representación multibinaria (MB) invertible basada en un mapeo triangular estructurado que preserva la información y habilita evaluación paralela eficiente. Establecemos biyectividad y estabilidad, y describimos el comportamiento de complejidad manteniendo la compatibilidad con stacks de ML existentes. Sobre MB definimos embeddings 4D (tiempo, posición, dominio, contenido) con una receta de entrenamiento que añade regularizadores de suavidad temporal y creatividad, además de un scheduler de dominio para modular señales durante el entrenamiento. Detallamos una ruta de hardware de FPGA a ASIC y reportamos resultados de prototipo en un kernel MB con energía por token de 0.70 mJ frente a 12.81 mJ (CPU) y 2.27 mJ (GPU), es decir, alrededor de 18× y 3× mejor eficiencia energética, respectivamente, con latencia y throughput competitivos. El enfoque preserva la estructura y es compatible con pipelines estándar de Transformers, complementando sparsidad, MoE y otros aceleradores en lugar de sustituirlos. Contribución: una capa unificada, de la teoría a la práctica—representación discreta invertible + acondicionamiento 4D + hoja de ruta de hardware—que reduce latencia/energía en pre/post-proceso y mejora la adaptación temporal/de dominio durante el entrenamiento.

Zenodo (CERN European Organization for Nuclear Research)
Affordable and clean energy
Openalex Percentile: Top 40%
Parallel Computing and Optimization Techniques
AI Navigator

Ask Laika to Summarize, Analyze, and Connect papers live on the map.

Summarize Papers & Methodologies

Extract key findings, datasets, and comparative methods across publications.

Benchmark Rankings & Visual Analytics

Rank top research institutions, authors, funders, topics, and journals by Field-Weighted Citation Impact (FWCI) and paper volume with instant charts.

Connect Distant Disciplines

Bridge topological clusters on the map to find hidden collaborative intersections.