Foxtable(狐表)用户栏目专家坐堂 → [求助]导入数据内存溢出问题


  共有3083人关注过本帖树形打印复制链接

主题:[求助]导入数据内存溢出问题

帅哥哟,离线,有人找我吗?
hcy1996
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:52 积分:485 威望:0 精华:0 注册:2018/12/28 11:36:00
[求助]导入数据内存溢出问题  发帖心情 Post By:2019/11/26 17:56:00 [只看该作者]

各位老师好,我通过狐表导入txt到sql中,代码如下,近期使用同事反映出现out of memory错误,但是将导入文件分开之后可正常导入,请问可否在不分开文件的前提下一次性导入,谢谢!
代码如附件
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:test.txt


 回到顶部
帅哥哟,离线,有人找我吗?
hcy1996
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:52 积分:485 威望:0 精华:0 注册:2018/12/28 11:36:00
  发帖心情 Post By:2019/11/26 18:03:00 [只看该作者]

导入文件大概在4M左右

 回到顶部
帅哥哟,离线,有人找我吗?
hcy1996
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:52 积分:485 威望:0 精华:0 注册:2018/12/28 11:36:00
  发帖心情 Post By:2019/11/26 18:17:00 [只看该作者]

刚刚将文件分成了两个部分,大的导进去了小的反而没有导进去

 回到顶部
帅哥哟,离线,有人找我吗?
hcy1996
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:52 积分:485 威望:0 精华:0 注册:2018/12/28 11:36:00
  发帖心情 Post By:2019/11/26 18:48:00 [只看该作者]

刚刚经过设置断点发现是
For i As Integer = 1 To ary.length-1
            str &= """" & ary(i).replace(",", """,""") & """" & vbcrlf
        Next
这个for循环有问题

 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:106178 积分:540007 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2019/11/27 8:52:00 [只看该作者]

不要频繁的清空表数据和新增表数据。


 回到顶部
帅哥哟,离线,有人找我吗?
hcy1996
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:52 积分:485 威望:0 精华:0 注册:2018/12/28 11:36:00
  发帖心情 Post By:2019/11/27 10:09:00 [只看该作者]

有点蓝老师,我在设置断点时发现内存溢出发生在replacefor这个替换函数处,百度了一下也说replace函数极占内存,有什么比较好的解决方案吗,谢谢!

 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:106178 积分:540007 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2019/11/27 10:15:00 [只看该作者]

为什么不直接导入txt文件?http://www.foxtable.com/webhelp/topics/2629.htm

还要做个转换保存后再导入?纯粹多余的

 回到顶部
帅哥哟,离线,有人找我吗?
hcy1996
  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:52 积分:485 威望:0 精华:0 注册:2018/12/28 11:36:00
  发帖心情 Post By:2019/11/27 10:35:00 [只看该作者]

这个我估计是第一任开发者处理源数据吧。。我看出来了换行符替换,但是replace那句的意图没看出来。。

 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  9楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:106178 积分:540007 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2019/11/27 10:48:00 [只看该作者]

业务的东西我也看不懂。也没看出有什么用,建议直接导即可

 回到顶部
帅哥哟,离线,有人找我吗?
hcy1996
  10楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:52 积分:485 威望:0 精华:0 注册:2018/12/28 11:36:00
  发帖心情 Post By:2019/11/27 10:56:00 [只看该作者]

也是,我先直接导往sql里看一下导入结果吧。。我主要是没看懂
For i As Integer = 1 To ary.length-1
            str &= """" & ary(i).replace(",", """,""") & """" & vbcrlf
        Next
这个for循环到底是做了什么替换

 回到顶部
总数 36 1 2 3 4 下一页