已经很久没做采集的项目了,最近一个亲友需要做一个这种项目,于是用了一天的时间,把这个做出来了。
最开始的想法是使用winform内嵌webbrowser来登录并读取页面数据,但奈何这个页面在webbrowser里面不行, 后来换成cefsharp也不行,不知道做了什么防范措施。无奈之下,直接使用杀手锏:chrome插件来解决——只要浏览器能打开的网站,数据就能采集到,然后通过接口提交到服务器。
需要注意的是,如果被采集的网站是https的,那么接口也要用https的,不然chrome会阻止这种提交。
目前已经实现了基本功能,再一加些易用性上的调整优化就可以用了。
把时间投给自己,虽然短期见效慢,但只要持之以恒、积少成多,慢慢的就会变量产生质变。以后尽量多做自己的项目,少接一些外包活。