Foxtable(狐表)用户栏目专家坐堂 → 大数据如何保存???


  共有5764人关注过本帖树形打印复制链接

主题:大数据如何保存???

帅哥哟,离线,有人找我吗?
bhh
  11楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/15 16:11:00 [只看该作者]

其实我感觉狐表也就是玩玩而已,真正的管理系统是做不成的,简单的导入、保存功能就太差了,还怎么运行?

 回到顶部
帅哥哟,离线,有人找我吗?
e-png
  12楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1695 积分:10725 威望:0 精华:0 注册:2009/10/25 16:45:00
  发帖心情 Post By:2013/12/15 18:00:00 [只看该作者]

1、每天一次性导入并保存到数据源20万条数据的单位应该极少数;任何一个软件处理起来也不是一个轻松的活,不要枉下结论。

2、况且你也没有说从哪儿导入的;

3、如果是两个sql数据源,而且你非要一次性的来处理,可以这样,速度绝对提高!!!

    可以用SQLCommand的:

    要导入的数据源用 dt1 = cmd.ExecuteReader(True)  不加载任何数据

   要导出的数据源用 dt2 = cmd.ExecuteReader() 加载需要的数据。

   再用Filler充填,之后保存第一个dt1 即可.

 

4、可以测试一下SQLCommand中的 insert into ,即遍历第二个dt2,逐条insert into 到 dt1 。不知道和上面的比较那个更快。。。。

5、建议你不要一次性处理这么多数据,可以做到实时处理的不更好。


 回到顶部
帅哥哟,离线,有人找我吗?
lsy
  13楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:版主 帖子:5246 积分:33163 威望:0 精华:8 注册:2013/1/17 21:28:00
  发帖心情 Post By:2013/12/15 18:06:00 [只看该作者]

楼主说的不太对,导入大量数据,对任何工具开发的数据库,都不省力。

 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  14楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/15 18:37:00 [只看该作者]

现状:我的数据源是SQL server数据库 

现在的问题是:我已经从.TXT文件中将数据导入到狐表中了,点击保存的时候 保存数据时间非常长,也就是狐表中的数据保存到SQL server数据库中特别慢。

  我试过的方法有:1:直接点击狐表中的“保存”按钮,特别慢

                         2:自己写的单表保存,代码:DataTables("***").Save(),也特别慢


 回到顶部
帅哥哟,离线,有人找我吗?
有点甜
  15楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:版主 帖子:85326 积分:427815 威望:0 精华:5 注册:2012/10/18 22:13:00
  发帖心情 Post By:2013/12/15 19:03:00 [只看该作者]

 二十万条的新增保存是肯定慢的。不过,只是慢一次啊。你没有必要每次都把sqlserver数据库里的数据都加载进狐表吧?

 你要学会分页加载,加载少量的数据,编辑,这样才不会慢。

 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  16楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
  发帖心情 Post By:2013/12/15 19:20:00 [只看该作者]

我每天需要统计的数据 都是从别的系统中导出的数据,每天要导入20万条记录的。我知道统计及操作的时候不需要全部加载,我现在说的是:导入并保存到后台数据库并不是加载的问题。是导入的问题,保存的问题;方向不同的,加载是取数,保存是存数据,不一样

 回到顶部
帅哥哟,离线,有人找我吗?
有点甜
  17楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:版主 帖子:85326 积分:427815 威望:0 精华:5 注册:2012/10/18 22:13:00
  发帖心情 Post By:2013/12/15 19:33:00 [只看该作者]

  不建议导入狐表后在save到sqlserver,顺序应该是导入到sqlserver以后,需要的时候加载部分到狐表,加载的数据少了,保存自然就快乐。

 回到顶部
帅哥哟,离线,有人找我吗?
e-png
  18楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1695 积分:10725 威望:0 精华:0 注册:2009/10/25 16:45:00
  发帖心情 Post By:2013/12/15 20:01:00 [只看该作者]

没玩过txt, 你可以将TXT文件直接转换导入到access,再从access导入到SQL

 回到顶部
帅哥哟,离线,有人找我吗?
jnletao
  19楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:四尾狐 帖子:936 积分:7719 威望:0 精华:0 注册:2013/7/7 13:37:00
  发帖心情 Post By:2013/12/16 9:35:00 [只看该作者]

如此大的数据导入真得没必要经过foxtable

 foxtable可是做为你的分析调用工具,导入你用SQL自带 的导入做正好。没必要用foxtable做她不擅长的事。

 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  20楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47448 积分:251054 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2013/12/16 9:52:00 [只看该作者]

以下是引用bhh在2013-12-15 16:11:00的发言:
其实我感觉狐表也就是玩玩而已,真正的管理系统是做不成的,简单的导入、保存功能就太差了,还怎么运行?

 

1、任何软件,导入20万行文本数据并保存,都快不了的,你试试直接用C#或者VB编码,逐行读取文本文件然后用sql语句写入数据库,一样很慢的。

2、foxtable可以直接统计后台数据,通常不需要将数据导入到foxtable,而是将foxtable连接到sql server或oralce等数据库。

3、大量数据的导入,不应该是一个经常型的操作,如果你经常要导入20万行,就得想想自己的设计思路问题了。

4、foxtable怎么就做不成真正的管理软件呢,一些企业一年数千万甚至过亿行的数据,一样用foxtable管理得好好的。

 

用合适的工具,做合适的事情。

[此贴子已经被作者于2013-12-16 9:55:37编辑过]

 回到顶部
总数 28 上一页 1 2 3 下一页