The Impact of Measurement Non-Invariance on Treatment Effect Inference Based on ANCOVA: Focusing on Intercept Non-Invariance Due to Response Shift

심리학 및 관련 분야에서 개입의 효과를 알아보기 위해 사전-사후검사 통제집단 설계를 사용하여 자료를 수집하고, 수집된 자료를 ANCOVA를 사용해 분석하는 경우가 종종 있다. 이때 ANCOVA에 기반하여 처치효과를 정확히 추론하기 위해서는 측정불변성이 성립해야 한다. 그러나, 개입으로 인해 처치집단에서 사전, 사후점수 간에 측정불변성이 깨지는 응답이동 현상이 발생할 수 있다. 선행 연구에 따르면, 응답이동 중에서도 특히 절편 비동일성과 관련된 재조정 현상이 발생했을 때 처치효과 추론 결과가 왜곡될 수 있으나, 이를 ANCOVA에 기반한 처치효과 추론 맥락에서 확인한 연구는 제한적이다. 이에, 본 연구는 재조정으로 인해 처치집단에서 발생한 사전, 사후시점간 절편 비동일성이 처치효과 추론에 어떠한 영향을 미치는지 시뮬레이션을 통해 살펴보았다. 표본크기, 처치효과 크기, 측정 비불변성 크기, 비불변 문항 비율에 따라 다양한 조건 하에 자료를 생성하였고, 생성된 자료를 측정불변성을 전제하고 각각 관찰변수를 사용한 ANCOVA와 잠재변수를 사용한 ANCOVA의 두 모형으로 분석하였다. 추론의 정확성은 추정치의 편향, 평균오차제곱, 커버리지, 검정력(혹은 제1종 오류율)을 기준으로 평가하였다. 그 결과, 절편 비동일성이 존재할 경우, 관찰변수 ANCOVA와 잠재변수 ANCOVA 모두에서 처치효과 추정에 편향이 발생하고 검정의 정확성이 떨어지는 것으로 나타났다. 구체적으로, 절편 비동일성의 크기가 증가하고 비불변 문항의 비율이 증가할수록 편향은 더 커지고 커버리지는 감소하였고, 표본크기를 증가시키더라도 편향이 실질적으로 감소하지 않았다. 또한, 비불변 문항의 비율보다는 절편 비동일성의 크기가 처치효과 편향에 더 큰 영향을 미치며, 처치효과가 존재할 때는 절편 비동일성 정도가 심하지 않더라도 처치효과 추론이 상당히 왜곡될 수 있는 것으로 나타났다. 이러한 결과는 ANCOVA에 기반한 처치효과 추론에서 절편 동일성을 확보하는 것이 매우 중요함을 시사한다.