A DDQN framework for denial constraints transfer

传统的数据清洗方法因需专家手动定义数据质量规则，不仅复杂且耗时巨大，且清洗后的数据可能不能被重复利用，降低了数据清洗的质量和效率．为此，提出基于双重深度Q网络的否定约束迁移（double deep Q-network for denial constraints transfer， DDQN-DCT）算法．该算法设计否定约束（denial constraint， DC）的相似性度量方法，并结合相似性和DC的简洁性和覆盖度，使用双重深度Q网络（double deep Q-network， DDQN）对DC规则中的谓词进行修改从而实现DC迁移，目标是使迁移后的规则与原规则具有最大的相似性，以保留原有规则的信息．基于DDQN-DCT进一步设计了DDQN-DCT+算法，把DDQN的动作选择策略划为增加和删除2个阶段，并通过对比实验证明DDQN-DCT+在DC简洁性上有更好的表现．通过与暴力依赖约束迁移（brute-force dependency constraint transfer， BFDC）、DDQN-DCT+和结构扩大/缩小（structure expansion/reduction， SER）方法进行对比实验，发现DDQN-DCT算法在规则相似度上相较于BFDC平均提升约10%，相较于DDQN-DCT+平均提升约10.6%，相较于SER平均提升约16.4%．DDQN-DCT能够有效地将源域的规则迁移到相似的目标域数据上．