分类
生活记录

今天做了一个数据采集项目

已经很久没做采集的项目了,最近一个亲友需要做一个这种项目,于是用了一天的时间,把这个做出来了。

最开始的想法是使用winform内嵌webbrowser来登录并读取页面数据,但奈何这个页面在webbrowser里面不行, 后来换成cefsharp也不行,不知道做了什么防范措施。无奈之下,直接使用杀手锏:chrome插件来解决——只要浏览器能打开的网站,数据就能采集到,然后通过接口提交到服务器。

需要注意的是,如果被采集的网站是https的,那么接口也要用https的,不然chrome会阻止这种提交。

目前已经实现了基本功能,再一加些易用性上的调整优化就可以用了。

把时间投给自己,虽然短期见效慢,但只要持之以恒、积少成多,慢慢的就会变量产生质变。以后尽量多做自己的项目,少接一些外包活。

发表评论

电子邮件地址不会被公开。 必填项已用*标注