Redesigning Multi-head Attention and Mixing Heads to Save Memory and Computation
트랜스포머는 멀티 헤드 셀프 어텐션 메커니즘에 기반한 탁월한 병렬처리 능력으로 유명하다. 이 메커니즘으로 트랜스포머의 각 헤드는 자신만의 토큰 집합을 병렬적으로 처리하여 입력 시퀀스에 대해 다양한 정보를 학습한다. 하지만 이전 연구에서 모든 헤드가 유용한 정보를 배우는 것이 아니고 일부 헤드만이 독점적으로 주요 정보를 학습하여 중요한 역할을 수행한다는 것이 밝혀졌다. 이것은 여러 헤드가 다양한 요소를 학습해야 하는 본래 멀티 헤드 어텐션의 목적과 부합하지 않으므로, 본 논문에서는 모든 헤드가 독립적으로 중요한 정보를 학습하여, 추론 단계에서 모든 헤드가 참여할 수 있도록 기존 멀티 헤드 어텐션 메커니즘을 재설계하였다. 추가적으로, 각 헤드에서 배운 서로 다른 유용한 정보를 통합하는 헤드 믹싱 기법도 새로 제안한다. 최종적으로 재설계된 멀티 헤드 어텐션을 통해 기존 트랜스포머 대비 헤드 수에 비례한 메모리 및 연산량 절감 효과를 얻을 수 있다.
Authors
- Gyudong Kim (ORCID: https://orcid.org/0000-0002-4894-951X)
- Jaegi Hwang
- Hyunsung Jang (ORCID: https://orcid.org/0000-0002-5797-7264)
- Namkoo Ha
- Jinhyeon Kim (ORCID: https://orcid.org/0000-0002-4211-6314)
- Seungryong Kim (ORCID: https://orcid.org/0000-0003-2927-6273)
- Jae Min Park (ORCID: https://orcid.org/0000-0001-8873-8832)
- Young-Geun Kim (ORCID: https://orcid.org/0000-0001-7297-8110)
- Hyukju Na
Publication Details
- Journal
- Journal of the Institute of Electronics and Information Engineers
- Published
- 2024-12-31
- DOI
- https://doi.org/10.5573/ieie.2024.61.12.70
- Primary Topic
- EEG and Brain-Computer Interfaces
- Type
- article
- Field-Weighted Citation Impact
- 0.00