A Join-based Data Integration Technique for Structured Data Using Neural Embedding

우리는 둘 이상의 테이블을 하나의 테이블로 조인(Join) 융합하여 새로운 유의미한 정보를 생성할 수 있다. 하지만 데이터 레이크(Data Lake)와 같은 대규모 데이터셋 공간 내에서 조인가능한 테이블을 찾는 것은 매우 노동 집약적이고 시간이 많이 걸리는 작업이다. 본 논문은 컬럼명 임베딩과 개체명 인식 기법을 통합하여 자동으로 조인 융합 가능한 테이블을 찾아내는 새로운 기법인 CNE-Join을 제안한다. 또한 CNE-Join 기법의 결과를 활용해 조인 융합 가능한 3개 이상의 테이블 데이터 조합들을 찾아내고, 이들을 조인 테이블과 조인에 사용된 소스 테이블간 코사인 유사도 값을 기준으로 랭킹하는 새로운 기법인 N-Join-Pair를 제안한다. 우리는 Kaggle에서 수집한 다수의 테이블 데이터셋을 사용한 실험을 통해 제안 기법의 우수성을 보인다.