Edit, Then Merge: Mitigating Interference in Batch Knowledge Editing

대규모 언어 모델은 방대한 데이터를 학습함으로써 다양한 자연어처리 작업에서 뛰어난 성능을 보인다. 그러나 학습 과정에서 부정확하거나 편향된 정보가 포함될 수 있으며, 이는 모델 출력의 신뢰성과 정확성을 저하시킬 수 있다. 이를 해결하기 위해, 모델 내부 지식을 수정하는 지식 편집 연구가 활발히 이루어지고 있다. 그러나 다수의 지식을 동시에 편집할 경우, 지식 간 간섭으로 인해 성능 저하 문제가 발생한다. 본 연구에서는 이러한 다중 편집 환경에서의 성능 붕괴 문제를 완화하기 위해, 주어진 지식 집합을 MEMIT으로 일괄 편집한 후 편집된 모델을 원본 모델과 병합하는 새로운 프레임워크를 제안한다. 제안 방법은 원본 모델을 기준으로 편집된 결과를 통합함으로써 파라미터 간섭을 효과적으로 줄이고, 편집된 지식의 정확성을 유지함과 동시에 모델의 일관성을 보존한다. 실험 결과, 제안 방법은 MEMIT 편집기법 대비 다중 편집 환경에서 더 높은 정확도와 안정성을 보였다.