mysql大数据量删除以及插入导致max_binlog_cache_size的问题
1.业务概述每天需要跑一个定时任务，需要向一张表更新300万条数据，每天数据量都是全量下发，由于事务的问题会导致max_binlog_cache_size问题。2.解决办法建立一张临时表，表结构和要更新的表一样，我们将下发的数据全量写入到这张临时表中，并且我们不使用事务，一旦中间出现问题就停止程序的运行，当写操作完成后直接将临时表和业务部名互换即可。例如：业务表：ISS_SERVICE,那么临时表
·
1.业务概述
每天需要跑一个定时任务，需要向一张表更新300万条数据，每天数据量都是全量下发，由于事务的问题会导致max_binlog_cache_size问题。
2.解决办法
建立一张临时表，表结构和要更新的表一样，我们将下发的数据全量写入到这张临时表中，并且我们不使用事务，一旦中间出现问题就停止程序的运行，
当写操作完成后直接将临时表和业务部名互换即可。例如：业务表：ISS_SERVICE,那么临时表就是ISS_SERVICE_TEM，
第二天下发数据前直接将临时表数据truncate掉即可
技术共进，成长同行——讯飞AI开发者社区
更多推荐
0
0- 0
已为社区贡献7条内容
所有评论(0)