SQL 海量重复数据如何高效的删除

2024-03-31 06:16:10

MYSQL里有几百万数据，但大多是重复的，真实的就180万，所以清除是很有必要的。这是一个高效的处理方式，用这个方式，几百万数据，十来分钟就全部去除重复了，请各位参考。

操作方法

01

第一步：从百万万数据表abc_123_1里提取出不重复的字段SFZHM对应的ID字段到TMP3表(可以对应的更改）代码如下： create table tmp3 as select min(id) as col1 from abc_123_1 group by SFZHM;
02

第二步：创建新表RES 代码如下： CREATE TABLE `res` ( `id` int(11), `sfz` char(20) ) ENGINE=MyISAM; （数据可以对应的进行更改！）
03

第三步：把TMP3表ID对应到abc_123_1里需要提取的数据添加到RES表的SFZ字段代码如下： INSERT INTO res (sfz) SELECT sfzhm FROM abc_123_1,tmp3 where data_content_152.id=tmp3.col1 （数据可以对应的进行更改！）
04

至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据，把去重复后的数据导入到RES表。

赞 (0)

表格中怎么批量删除重复数据（怎样快速删除电子表格里的重复内容）

表格中怎么批量删除重复数据（怎样快速删除电子表格里的重复内容）
如何在Excel2007中快速找出并删除重复数据

一.找出重复数据 1.打开制作好的Excel表格,选中需要筛选重复数据的单元格区域. 2.单击"开始"-"样式"-"条件格式"按钮,在弹出的 ...
Wps表格怎么筛选出重复数据并且删除重复数据

Excel表格是非常强大的,强大到现在都没有人能全部掌握,小编到现在也只是初学者,这次小编就分享一下excel怎么筛选出重复的数据,而且是分享wps的表格,毕竟现在常用的都是wps的,希望能给大家帮助 ...
在Excel2007中如何找出重复数据

我们可能经常需要在Excel表格中找出重复数据并将他们删除，如果数据庞大，那么我们根本不好找出重复数据的。不过这里Word联盟教大家一个好方法，可以帮你快突显并找到重复数据。你可以将重复的数据突出显 ...
Excel2007中怎样找出重复数据

你可能经常需要在 Excel 表格中找出重复数据并删除它们，在一大堆数据中人工找不太现实。下面教两条小方法，帮你处理重复数据。方法 1：突出显示重复数据你可以将重复的数据突出显示，这样你就可以找到 ...
sql 如何删除重复数据

有时候我们在使用sql数据库的时候,想去掉重复数据,怎么去掉呢,下面来分享一下方法操作方法 01 第一步在我们的电脑上打开要去掉重复数据的数据库,这里新建一张含有重复数据的user表做示例,如下图所 ...
在Excel2003/2007中删除重复数据.重复行的图文方法介绍

大家在使用Excel表格总汇大批量数据时，难免会发现一些重复行和重复数据，这时我们就应该将那些重复的数据删除，以免会影响我们的工作，在Excel中删除重复数据和重复行的方法有N多，针对Excel200 ...
Excel2003/2007中删除重复数据

大家在使用Excel表格总汇大批量数据时，难免会发现一些重复行和重复数据，这时我们就应该将那些重复的数据删除，以免会影响我们的工作，在Excel中删除重复数据和重复行的方法有N多，Excel2003删 ...
快速检索轻松查找删除重复数据

由于重复输入或粘贴等原因，Excel 2007工作表往往存在重复的数据或记录。如果工作表的规模比较大，手工查找和删除重复数据很难做到“完全彻底”。不过这个问题对Excel 2007来说则是“小菜一碟” ...