使用curl抓取防盗链网站资源

场景:

使用curl获取网页资源,并做进一步内容分析,但当网页启用防盗链功能时,诸如图片内容可能会获取失败。

解决:

在使用curl时,添加头部参数,模拟搜索引擎的蜘蛛爬虫即可。

相关代码:

【参考:】http://m.blogchina.com/blog/view/uname/gaojohn/bid/1257804

发表评论