Pattern disentanglement and reconstruction by modular Hebbian networks

Abstract We address the problem of reconstructing a set of K binary patterns $$\varvec{\Xi }= (\varvec{\xi }^1,..., \varvec{\xi }^K) \in \{-1, +1 \}^{N \times K}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mi>Ξ</mml:mi> </mml:mrow> <mml:mo>=</mml:mo> <mml:mrow> <mml:mo>(</mml:mo> <mml:msup> <mml:mrow> <mml:mi>ξ</mml:mi> </mml:mrow> <mml:mn>1</mml:mn> </mml:msup> <mml:mo>,</mml:mo> <mml:mo>.</mml:mo> <mml:mo>.</mml:mo> <mml:mo>.</mml:mo> <mml:mo>,</mml:mo> <mml:msup> <mml:mrow> <mml:mi>ξ</mml:mi> </mml:mrow> <mml:mi>K</mml:mi> </mml:msup> <mml:mo>)</mml:mo> </mml:mrow> <mml:mo>∈</mml:mo> <mml:msup> <mml:mrow> <mml:mo>{</mml:mo> <mml:mo>-</mml:mo> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mo>+</mml:mo> <mml:mn>1</mml:mn> <mml:mo>}</mml:mo> </mml:mrow> <mml:mrow> <mml:mi>N</mml:mi> <mml:mo>×</mml:mo> <mml:mi>K</mml:mi> </mml:mrow> </mml:msup> </mml:mrow> </mml:math> , starting from their covariance matrix $$\varvec{\Xi }\varvec{\Xi }^T$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mrow> <mml:mi>Ξ</mml:mi> </mml:mrow> <mml:msup> <mml:mrow> <mml:mi>Ξ</mml:mi> </mml:mrow> <mml:mi>T</mml:mi> </mml:msup> </mml:mrow> </mml:math> and from a set of mixtures of the form $$\varvec{\sigma }_M= \text {sign}(\sum _{\mu \in \mathcal {S}_M \subseteq \{1,..., K\}} \varvec{\xi }^{\mu })$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msub> <mml:mrow> <mml:mi>σ</mml:mi> </mml:mrow> <mml:mi>M</mml:mi> </mml:msub> <mml:mo>=</mml:mo> <mml:mtext>sign</mml:mtext> <mml:mrow> <mml:mo>(</mml:mo> <mml:msub> <mml:mo>∑</mml:mo> <mml:mrow> <mml:mi>μ</mml:mi> <mml:mo>∈</mml:mo> <mml:msub> <mml:mi>S</mml:mi> <mml:mi>M</mml:mi> </mml:msub> <mml:mo>⊆</mml:mo> <mml:mrow> <mml:mo>{</mml:mo> <mml:mn>1</mml:mn> <mml:mo>,</mml:mo> <mml:mo>.</mml:mo> <mml:mo>.</mml:mo> <mml:mo>.</mml:mo> <mml:mo>,</mml:mo> <mml:mi>K</mml:mi> <mml:mo>}</mml:mo> </mml:mrow> </mml:mrow> </mml:msub> <mml:msup> <mml:mrow> <mml:mi>ξ</mml:mi> </mml:mrow> <mml:mi>μ</mml:mi> </mml:msup> <mml:mo>)</mml:mo> </mml:mrow> </mml:mrow> </mml:math> , with $$\left\lvert S_M\right\rvert =M$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:mfenced> <mml:msub> <mml:mi>S</mml:mi> <mml:mi>M</mml:mi> </mml:msub> </mml:mfenced> <mml:mo>=</mml:mo> <mml:mi>M</mml:mi> </mml:mrow> </mml:math> . To this aim, we engage a modular Hebbian network, specified by the interaction matrix $$\varvec{J}^H = \frac{1}{N}\varvec{\Xi }\varvec{\Xi }^T$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow> <mml:msup> <mml:mrow> <mml:mi>J</mml:mi> </mml:mrow> <mml:mi>H</mml:mi> </mml:msup> <mml:mo>=</mml:mo> <mml:mfrac> <mml:mn>1</mml:mn> <mml:mi>N</mml:mi> </mml:mfrac> <mml:mrow> <mml:mi>Ξ</mml:mi> </mml:mrow> <mml:msup> <mml:mrow> <mml:mi>Ξ</mml:mi> </mml:mrow> <mml:mi>T</mml:mi> </mml:msup> </mml:mrow> </mml:math> , where $${\varvec{\sigma }_M}$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msub> <mml:mrow> <mml:mi>σ</mml:mi> </mml:mrow> <mml:mi>M</mml:mi> </mml:msub> </mml:math> is taken as the initial state, repeated in each of the constituting L modules and the stable state resulting from a Gibbs evolution rule is taken as an L -tuple of candidate patterns. Finally, by properly handling $$\varvec{J}^H$$ <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:msup> <mml:mrow> <mml:mi>J</mml:mi> </mml:mrow> <mml:mi>H</mml:mi> </mml:msup> </mml:math>