Foxtable(狐表)用户栏目专家坐堂 → 超过百万行数据,去除重复行,有什么好办法吗?


  共有8468人关注过本帖树形打印复制链接

主题:超过百万行数据,去除重复行,有什么好办法吗?

美女呀,离线,留言给我吧!
localhost
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:4 积分:90 威望:0 精华:0 注册:2013/1/17 11:49:00
超过百万行数据,去除重复行,有什么好办法吗?  发帖心情 Post By:2013/1/18 15:29:00 [只看该作者]

我的表格里现有记录一百多万行,(注:是一百万哦!),现想将重复的行去除,请位有没有什么有效的方法?我用狐表尝试去除重复,数据太大了处理不了。

 回到顶部
帅哥哟,离线,有人找我吗?
jspta
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1731 积分:11255 威望:0 精华:0 注册:2011/12/15 22:06:00
  发帖心情 Post By:2013/1/18 16:02:00 [只看该作者]

直接用VBA 在EXCEL 处理,有很多VBA插件的,可以去找找。你也可以上传例子


 回到顶部
帅哥哟,离线,有人找我吗?
lin_hailun
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:狐神 帖子:6708 积分:34304 威望:0 精华:11 注册:2012/8/18 23:10:00
  发帖心情 Post By:2013/1/18 16:15:00 [只看该作者]

 删除重复的语句。不知道大数据效率如何。楼主测试一下。

delete from {xxx} where [_Identify] not in (SELECT MAX([_Identify]) AS id FROM {xxx} GROUP BY 重复的列)

 回到顶部
帅哥哟,离线,有人找我吗?
小猪鑫鑫
  4楼 | QQ | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:四尾狐 帖子:832 积分:5867 威望:0 精华:6 注册:2011/5/27 11:41:00
  发帖心情 Post By:2013/1/18 21:13:00 [只看该作者]

LIN SIR:又跟你学习了一招

 回到顶部