影像数据迁移验证方案-ai版
执行的过程中发现很多可以更好的地方,在迁移的过程中就可以进行验证对比导出对比结果,还是不够专业;
大量文件迁移后对比方案:
1.迁移前后生成文件哈希清单
find /data/syhl/datafly/images/2023/{09,10,11,12} -type f | xargs -P 8 -n 100 sha256sum >> /root/下载/sha_file_list.txt
2、文件格式化,格式化路径
sed 's|/data/syhl/datafly||' old_sha_file_list.txt > formatted_output.txt
3、文件对比
awk 'NR==FNR {lines[$0]; next} !($0 in lines)' new_formatted_output.txt old_formatted_output.txt > difference_output.txt



