Foxtable(狐表)用户栏目专家坐堂 → [求助]抓取网页数据仅能运行15页


  共有2068人关注过本帖树形打印复制链接

主题:[求助]抓取网页数据仅能运行15页

帅哥哟,离线,有人找我吗?
dqlgood
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:257 积分:4381 威望:0 精华:0 注册:2011/7/5 9:38:00
[求助]抓取网页数据仅能运行15页  发帖心情 Post By:2016/1/23 17:12:00 [只看该作者]

如题:见附件
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:网页.table
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:网页.table

通过,浏览器查看源代码,修改后得到:
Dim p() As String = "第九列,大单_流入,大单_流出,第九列,中单_流入,中单_流出,第九列,小单_流入,小单_流出".split(",")
For Each rw As Row In Tables("表A").Rows
    Dim web As new System.Windows.Forms.WebBrowser
    web.Navigate("http://stockpage.10jqka.com.cn/" & rw("证券代码") & "/")
    Do Until web.ReadyState = 4
        Application.DoEvents
    Loop
    For Each div As object In web.Document.GetElementsByTagName("div")
        If div.GetAttribute("ClassName") = "sub_cont_5 m_s_l hSty1"
            Dim n As Integer = 0
            Dim dr As Row = Tables("表B").AddNew()
            dr("证券代码") = rw("证券代码")
            For Each td As object In div.GetElementsByTagName("td")
                dr(p(n)) = td.InnerText
                n=n+1
            Next
        End If
    Next
Next
测试通过,但只能运行15行数据,到16行即即使为重复数据也停顿如何解决?
[此贴子已经被作者于2016/1/24 8:40:37编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
大红袍
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:贵宾 帖子:39310 积分:196782 威望:0 精华:1 注册:2015/4/25 9:23:00
  发帖心情 Post By:2016/1/24 11:01:00 [只看该作者]

Dim p() As String = "第九列,大单_流入,大单_流出,第九列,中单_流入,中单_流出,第九列,小单_流入,小单_流出".split(",")
Dim web As new System.Windows.Forms.WebBrowser
For Each rw As Row In Tables("表A").Rows
    web.Navigate("http://stockpage.10jqka.com.cn/" & rw("证券代码") & "/")
    Do Until web.ReadyState = 4
        Application.DoEvents
    Loop
    For Each div As object In web.Document.GetElementsByTagName("div")
        If div.GetAttribute("ClassName") = "sub_cont_5 m_s_l hSty1"
            Dim n As Integer = 0
            Dim dr As Row = Tables("表B").AddNew()
            dr("证券代码") = rw("证券代码")
            For Each td As object In div.GetElementsByTagName("td")
                dr(p(n)) = td.InnerText
                n=n+1
            Next
        End If
    Next
Next

 回到顶部
帅哥哟,离线,有人找我吗?
dqlgood
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:257 积分:4381 威望:0 精华:0 注册:2011/7/5 9:38:00
  发帖心情 Post By:2016/1/24 11:44:00 [只看该作者]

谢谢!

 回到顶部