Scrapy爬取内容去重

使用以下pipeline即可:

 

【摘自:】https://docs.scrapy.org/en/latest/topics/item-pipeline.html#duplicates-filter