Python爬虫有时会遇到被禁ip的情况。这时可以找到代理网站，抓取ip，做动态轮询。也可以使用别人做的第三方ip代理平台，比如Crawler，就是利用代理IP地址池做分布式下载的第三方平台。除了Scratch，普通java，php，Python等。可以用curl来表示。
如果我们不使用第三方平台作为代理ip，我们必须手动抓取ip。我们可以谷歌搜索代理ip，找到很多网站，找到几个稳定的代理网站，写一个爬虫脚本连续爬行，或者在使用量不大的情况下手工粘贴爬行。土豪有一点，其实可以买一点。1元左右值得买几千。
此时，如果您使用Python，您需要自己维护一个ip池，控制每个ip的访问时间，并随机更改ip。然而，如果你想让它服务，你可以使用squid绑定多个ip地址，并作为一个转发代理。Squid是一款优秀的Linux系统下使用的代理服务器软件，代理列表的代理ip可以根据Squid的cache_peer机制，以一定格式写入配置文件。
这相当于把所有的管理和调度问题都交给squid，你只需要使用爬虫访问squid的服务端口。
现在您可以总结所有步骤:
1.让爬虫去指定的squid服务ip和端口进行抓取。
2.将有效的ip写入squid的配置文件并重新加载配置文件。
3.每天定期使用爬虫脚本抓取代理网站上的免费ip，或者购买一定数量的ip写入mongodb或其他数据库，这个表作为原始表。
4.在使用之前，我们需要测试这个ip是否有效。方法是用curl访问网站检查返回值。我们需要新建一个表，如果有效就插入原表，验证后从原表中删除。在验证的同时，我们可以使用响应时间来计算该ip的质量和最大使用时间。有一个算法可以参考基于连接代理优化管理的多线程web爬虫处理方法。有不懂的请咨询梦飞云idc了解。
