Foxtable(狐表)用户栏目专家坐堂 → 大数据如何保存???


  共有5766人关注过本帖树形打印复制链接

主题:大数据如何保存???

帅哥哟,离线,有人找我吗?
bhh
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
大数据如何保存???  发帖心情 Post By:2013/12/14 21:40:00 [显示全部帖子]

我每天需要导入的数据量大约20万条左右,在导入狐表的速度还可以接受大概6分钟左右,但是“保存”的时候非常慢,20分钟了 还没有保存完。我用的是外部数据库sql server 数据库,哪位高手有好办法,提高保存速度,谢谢!!

 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/14 22:50:00 [显示全部帖子]

sql 直接导入的语句怎么先? 谢谢

 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/15 15:56:00 [显示全部帖子]

大数据的处理  狐表需要好好考虑一下!!! 问题还不知道怎么解决,哎!!!!! 求高手。。

 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/15 16:11:00 [显示全部帖子]

其实我感觉狐表也就是玩玩而已,真正的管理系统是做不成的,简单的导入、保存功能就太差了,还怎么运行?

 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/15 18:37:00 [显示全部帖子]

现状:我的数据源是SQL server数据库 

现在的问题是:我已经从.TXT文件中将数据导入到狐表中了,点击保存的时候 保存数据时间非常长,也就是狐表中的数据保存到SQL server数据库中特别慢。

  我试过的方法有:1:直接点击狐表中的“保存”按钮,特别慢

                         2:自己写的单表保存,代码:DataTables("***").Save(),也特别慢


 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/15 19:20:00 [显示全部帖子]

我每天需要统计的数据 都是从别的系统中导出的数据,每天要导入20万条记录的。我知道统计及操作的时候不需要全部加载,我现在说的是:导入并保存到后台数据库并不是加载的问题。是导入的问题,保存的问题;方向不同的,加载是取数,保存是存数据,不一样

 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/16 10:43:00 [显示全部帖子]

我做的系统是数据分析系统,我的数据来源就是 上级单位导出的TXT文本,我必须吧每天的TXT文本(20万数据量)导入到数据库,我才能进行分析。“狐爸爸”您认为我除了每天导入数据 我还有什么思路??我现在的做法是导入狐表然后保存到数据库, 但是咱们狐表保存数据到SQL server 的效率实在太慢了!!! 我用sql server 数据库自带的导入数据工具速度很快的,也就2分钟就导入了

 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/16 10:44:00 [显示全部帖子]

我做的系统是数据分析系统,我的数据来源就是 上级单位导出的TXT文本,我必须吧每天的TXT文本(20万数据量)导入到数据库,我才能进行分析。“狐爸爸”您认为我除了每天导入数据 我还有什么思路??我现在的做法是导入狐表然后保存到数据库, 但是咱们狐表保存数据到SQL server 的效率实在太慢了!!! 我用sql server 数据库自带的导入数据工具速度很快的,也就2分钟就导入了


 回到顶部