Foxtable(狐表)用户栏目专家坐堂 → 且慢为foxtable喝彩:大家都来测测大数据量处理。。


  共有41232人关注过本帖树形打印复制链接

主题:且慢为foxtable喝彩:大家都来测测大数据量处理。。

帅哥哟,离线,有人找我吗?
reachtone
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
且慢为foxtable喝彩:大家都来测测大数据量处理。。  发帖心情 Post By:2008/9/10 20:47:00 [显示全部帖子]

foxtable较易表的最大优越之处在于:一是支持外部数据库;二是强大的数据处理能力。
那我们现在就来测试一下:我现有一个10万条的ACCESS数据库,通过“管理项目”增加了外部数据源,然后将其中的“成绩表”新增外部数据表。按照帮助文件的说法,外部数据表一旦增加进去以后,其操作就和内部表一样方便快捷了。
于是,我对该表执行“日常统计--新的交叉统计”,设置项目如下图:

图片点击可在新窗口打开查看此主题相关图片如下:snap1.jpg
图片点击可在新窗口打开查看

待我点击“确定”以后,系统开始执行统计。。然后,一等再等。。死机!
顺便说明一下,我的机器配置如下:

图片点击可在新窗口打开查看此主题相关图片如下:snap2.jpg
图片点击可在新窗口打开查看

测试数据库如下:

 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:测试.rar


foxtable如果连10万条数据处理的都如此艰难的话,那还谈什么大数据量处理?我不知道是不是我的操作有什么问题,请大家也一起来测试一下。

 

注:这个问题已经解决,参考:

http://www.foxtable.com/bbs/dispbbs.asp?boardid=2&id=493&authorid=0&page=0&star=1

 


 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/10 21:38:00 [显示全部帖子]

以下是引用狐狸爸爸在2008-9-10 21:09:00的发言:
1、如果不重复的分组很多,交叉统计要生成很多分组进行统计,死机是不会的,时间长而已。
2、交叉统计的性能绝对不差,要不你用别的软件加载你这10万行,进行一次类似的交叉统计,例如excel?
3、按照你的统计设置,我敢说没有软件不会“死机”的。
4、1万行数据,1千个分组,10万行,10个分组,统计的时候,后者的速度快很多。
5、大数据量参考附录中“大容量数据管理”,统计用QueryBuilder,一样可以进行交叉统计,统计性能要高很多,不过你的统计,即使用QueryBuilder直接统计,估计还是死,这可是用SQL语言直接统计的。

[此贴子已经被作者于2008-9-10 21:28:58编辑过]

呵呵,我再逐条回复一下:
1、我这里肯定是死机了,以前也碰到过,这次又碰上了。可以让别的人也试试;
2、我争取今天晚上用别的工具编一个小程序来载这10万行进行一下同样的交叉统计试试;
3、回复同第二条,我会试试看。不过,你这一条又说肯定会“死机”,和你第一条的观点有点矛盾哦,呵呵
4、这一点我承认。
5、QueryBuilder我没试过,因为我还没深入研究foxtable。


 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/10 21:48:00 [显示全部帖子]

我是下午6:50开始统计,中间出去吃了顿饭,回来时都8点多了,结果还没出来。然后只能强制关闭。
我不知道这是不是死机,呵呵。
所以,我也希望其他朋友一起测试嘛


 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/10 23:27:00 [显示全部帖子]

呵呵,我说这个问题的意思是,foxtable对大数据量的处理效率不高。
晚上我做了个小程序,因为我很少使用ACCESS做后台数据库,结果代码老是出错。实在没有办法,只好将ACCESS重新导入到SQL SERVER,现在程序已经OK了,只设计了对语文这一项的交叉统计,统计时长为5秒钟!再统计其它科目同理,4个科目全部统计完成最多也就20秒钟!

图片点击可在新窗口打开查看此主题相关图片如下:snap1.jpg
图片点击可在新窗口打开查看

 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/10 23:38:00 [显示全部帖子]

这是测试程序。使用方法:
1、在SQL SERVER中新建一个数据库,把顶楼的ACCESS文件导入进去,注意:表名称不要修改。
2、下载这个附件。
3、这个附件里有个配置文件,其中:
    Instance=             (服务器名称)
    UserName=            (用户名,如SA等)
    PassWord=            (密码)
    Database=             (你新建的数据库名)
    根据你的实际情况把以上四项正确填写后,运行程序即可。
    统计完成,会在数据库中自动生成一个“统计表”。
请注意,这个统计只要5秒钟!!
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:测试程序.rar


 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/10 23:39:00 [显示全部帖子]

以下是引用狐狸爸爸在2008-9-10 23:37:00的发言:

呵呵,不要分开统计,同时统计所有科目。
将你的程序发给我,我也用sql server测试。

看来他爸跟我较上劲了,那我就重做一个,一下子统计完成的!


 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/10 23:56:00 [显示全部帖子]

这是全部科目的统计,你试一下吧,统计完成用了21秒!
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:全部科目统计.rar


这是EXCEL格式的统计结果:
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:111.rar


 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/10 23:58:00 [显示全部帖子]

以下是引用狐狸爸爸在2008-9-10 23:46:00的发言:
另外,用sql语言不算的。

呵呵,别管用什么方法,现在至少可以说明,foxtable目前在处理大数据方面是存在欠缺的。希望他爸重视现实啊!图片点击可在新窗口打开查看

而且,你在第二楼也说了:大数据量参考附录中“大容量数据管理”,统计用QueryBuilder,一样可以进行交叉统计,统计性能要高很多,不过你的统计,即使用QueryBuilder直接统计,估计还是死,这可是用SQL语言直接统计的。

可事实呢?根本不会死机,而且只要一、二十秒即可完成!!

[此贴子已经被作者于2008-9-11 0:00:12编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  9楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/11 0:05:00 [显示全部帖子]

以下是引用狐狸爸爸在2008-9-10 23:58:00的发言:
呵呵,收到,我检查一下。
没有加载数据,直接用sql统计的吧。
特出sql语句来,这样我测试方便呢。
[此贴子已经被作者于2008-9-10 23:59:05编辑过]

呵呵,其实很简单。我的思路是这样的:
首先根据水平分组项目生成一个不重复的列,并依此生成表结构(包括垂直列内容)
然后使用循环,对每列依据相应条件进行更新即可。
当然全部使用的SQL了图片点击可在新窗口打开查看


 回到顶部
帅哥哟,离线,有人找我吗?
reachtone
  10楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:版主 帖子:1991 积分:19363 威望:0 精华:20 注册:2008/9/2 10:09:00
  发帖心情 Post By:2008/9/11 0:07:00 [显示全部帖子]

以下是引用狐狸爸爸在2008-9-11 0:02:00的发言:


如果这样统计的话,直接连接sql server作为外部数据源,用查询表或者Query Builder,Foxtable一样很快得到结果。
不同的统计,有不同的方法。

[此贴子已经被作者于2008-9-11 0:02:38编辑过]


可你在二楼说的话太绝对了!
嗨,其实我较什么真呢?一晚上全耗上去了。睡觉!您也早点休息啊。。


 回到顶部
总数 13 1 2 下一页