Integrated Multibinary Computing and 4D Embeddings for Structured Reasoning and Efficient Acceleration
Integrated Multibinary Computing and 4D Embeddings for Structured Reasoning and Efficient Acceleration We present an invertible multibinary (MB) representation built on a structured, lower-triangular mapping that preserves information and enables efficient parallel evaluation. We establish bijectivity and stability, and outline clear complexity characteristics without sacrificing compatibility with existing ML stacks. On top of MB, we define 4D embeddings (time, position, domain, content) with an explicit training recipe that adds temporal smoothness and creativity regularizers, plus a domain scheduler to modulate signals during training. We detail a hardware path from FPGA to ASIC and report prototype results on an MB kernel with energy per token of 0.70 mJ versus 12.81 mJ (CPU) and 2.27 mJ (GPU)—about 18× and 3× better energy efficiency, respectively—while maintaining competitive latency and throughput. The approach is structure-preserving and plug-compatible with standard Transformer pipelines, complementing sparsity, MoE, and other accelerators rather than replacing them. Contribution: a unified, theory-to-practice layer—invertible discrete representation + 4D conditioning + clear hardware roadmap—that reduces latency/energy in pre/post-processing and improves temporal/domain adaptation during training. Arquitectura Multibinaria Integrada y Embeddings 4D para Razonamiento Estructurado y Aceleración Eficiente Presentamos una representación multibinaria (MB) invertible basada en un mapeo triangular estructurado que preserva la información y habilita evaluación paralela eficiente. Establecemos biyectividad y estabilidad, y describimos el comportamiento de complejidad manteniendo la compatibilidad con stacks de ML existentes. Sobre MB definimos embeddings 4D (tiempo, posición, dominio, contenido) con una receta de entrenamiento que añade regularizadores de suavidad temporal y creatividad, además de un scheduler de dominio para modular señales durante el entrenamiento. Detallamos una ruta de hardware de FPGA a ASIC y reportamos resultados de prototipo en un kernel MB con energía por token de 0.70 mJ frente a 12.81 mJ (CPU) y 2.27 mJ (GPU), es decir, alrededor de 18× y 3× mejor eficiencia energética, respectivamente, con latencia y throughput competitivos. El enfoque preserva la estructura y es compatible con pipelines estándar de Transformers, complementando sparsidad, MoE y otros aceleradores en lugar de sustituirlos. Contribución: una capa unificada, de la teoría a la práctica—representación discreta invertible + acondicionamiento 4D + hoja de ruta de hardware—que reduce latencia/energía en pre/post-proceso y mejora la adaptación temporal/de dominio durante el entrenamiento.
Publication Details
- Journal
- Zenodo (CERN European Organization for Nuclear Research)
- Published
- 2025-11-06
- DOI
- https://doi.org/10.5281/zenodo.17538497
- Primary Topic
- Parallel Computing and Optimization Techniques
- Type
- article
- Field-Weighted Citation Impact
- 0.00