Scrapy爬取内容去重

使用以下pipeline即可:

  【摘自:】https://docs.scrapy.org/en/latest/topics/item-pipeline.html#duplicates-filter  

python 通过SSL加密方式发送邮件

【摘自:】https://www.programcreek.com/python/example/6443/smtplib.SMTP_SSL

Python3中如何得到Unicode码对应的中文?

先检查text是什么类型 如果type(text) is bytes,那么

如果type(text) is str,那么

作者:mailto1587 链接:https://www.zhihu.com/question/26921730/answer/496 …

python-pip3安装pycurl

若安装时遇到报ssl相关的错误(如下)

解决方法参考: 新版MAC:

参考链接:https://hk.saowen.com/a/431b34187c78c994d278c1a1a10d480bab83b28085468aca67ce9171ea8307fc &n …

Cookie池 & IP代理池

Cookie池: https://github.com/Python3WebSpider/CookiesPool 特点:通过接口形式获取随机Cookie;可扩展多种网站 IP代理池: https://github.com/Germey/ProxyPool 特点:通过接口形式获取随机IP代理信息