首页 热点资讯 义务教育 高等教育 出国留学 考研考公

如何采集网页上的指定数据

发布网友

我来回答

5个回答

热心网友

按照你说的情况,建议在使用网页采集器来完成。

我来说下爬山虎采集器如何实现你的需求

输入条件,通常就是筛选条件,在爬山虎中,你点击下就可以自动表单,然后添加命令

生成Excel,爬山虎是可以导出到Excel的

输入有规律,这样可能需要你手动构造一批网址

应该是跟1条是一样的。

希望采纳

热心网友

互联网上呈现的内容都是数据信息,所以互联网数据采集又称为信息采集。做数据采集一般用爬虫,但要避开屏蔽,一般衡量数据采集用的指标是信息容量、采集频率。
如果自己要做数据采集需要耗费大量的服务器,还有数据清洗处理,可以直接调用网上现成的免费数据采集接口,现在网上开源的代码也很多,比如慢慢买商品比价数据采集接口、百度百科信息数据采集接口、QQ音乐数据采集接口等,网上直接搜索调研即可。

热心网友

可以试爬虫吧,采集的话,如果需要输入相关条件,用前嗅爬虫的关键词采集功能,没太懂你说的网页地址需要手动打开的意思,是输入完搜索条件,点确定才能刷新网页么,还是什么,总之导出excel也可以用,而且他们家有免费版的,可以试用,不会还能问客服,希望对你有用吧~

热心网友

RuiJi scraper,新出的数据采集,可快速提取各种网站信息,支持导出各种格式化数据,可直接导为excel、word等。支持各大浏览器(火狐、谷歌内核、Edge)。所见即所得。方便快捷。实用的不得了。只需邮箱注册即可使用。
官网有详细教程。
www.scraper.top

热心网友

用WebRequest方法获取网站的数据:
private string GetStringByUrl(string strUrl)
{
WebRequest wrt = WebRequest.Create(strUrl);
WebResponse wrse = wrt.GetResponse();
Stream strM = wrse.GetResponseStream();
StreamReader SR = new StreamReader(strM, Encoding.GetEncoding("gb2312"));
string strallstrm = SR.ReadToEnd();
return strallstrm;
}

然后自己写方法处理里面的数据来获取你想要的值追问这是一个软件吗?

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com