Task-based Data Visibility using eBPF in Container-based Cluster Environments

AI산업의 발전에 따라 대규모 데이터셋이 많이 활용되면서, 학습 데이터셋에 포함된 개인정보와 프라이버시 문제에 대한 대중의 불안감이 증가하였다. 이에 따라, 데이터의 사용처를 소명할 수 있는 방법이 필요하다. 이러한 문제에 대해, 데이터 분산 처리 시스템에서 활용되는 원본 데이터를 작업 단위로 묶고, 작업과 관련된 데이터 흐름을 식별하고자 하였다. 이를 위해, 시스템에 eBPF 기반 사이드카를 부착하여 작업 중 발생하는 트래픽 로그를 수집하고, 이를 작업 정보와 결합하여 데이터 이동 경로를 작업 단위로 식별하였다. 단순화된 분산 처리 시스템에서 유효성을 확인한 결과, 작업 단위의 데이터 흐름을 식별할 수 있음을 보였다.