云服务器当然也会存在配置较高的服务器,但是每台机器的资源占用也是会存在一定的限制的,资源需要和其他云主机一同共享。一台云服务器可以有一个IP。爬虫是会损耗服务器的大量资源的,如果使用云服务器,可能会导致,因为占用资源过大,运营商有可能会直接关停服务器。但是独立服务器就不会存在这个问题,毕竟资源是独享的。前文我们还提了关于IP的问题,为什么说我们会建议选择多IP地址的形式进行爬虫呢?因为爬虫程序的资源消耗,不仅仅只存在于本机服务器上,也会同时消耗目标服务器上的资源。如果因为爬虫程序导致目标对象服务器资源使用率过高。有可能会导致目标服务器的运营商将您的IP进行封停。所以在合法的情况下爬虫,**使用多IP的站群服务器来进行爬虫效果会更好。 |