爬虫 Archives - 俺的BLOG

Python爬虫模拟人为操作

有些大厂，像BAT可能对爬虫这类检测做的很厉害，为了模拟人为操作，需要让脚步运行的慢一些。

使用Python制作爬虫并提供WebService接口

需要了解以下内容：使用Scrapy框架制作爬虫使用IP代理池（http://www.kohn.com.cn/wordpress/?p=208）使用Flask框架制作WebService（https://www.cnblogs.com/vovlie/p/4178077.html）使用Flask时根据运行环境加载配置（https://www.cn …

python爬虫——使用IP代理池

【原文链接：http://www.kohn.com.cn/wordpress/?p=208】

python爬虫必备技能

BeautifulSoup4（DOM解析） pyQuery（DOM解析） xpath（DOM解析） Selenium（WebDriver） MongoDB（数据库） re（正则） multiprocessing（多进程） Scrapy（爬虫框架）

简单的python多进程爬虫

内容点：使用BeautifulSoup解析网页多进程执行下载图片存储于MongoDb 代码：

# 文件名：spider.py

import requests
from bs4 import BeautifulSoup
from requests import RequestException
from config import *
import pymongo
import os
from hashlib import md5
from urllib.parse import urlencode
from multiprocessing import Pool

client = pymongo.MongoClient(MONGO_URL, connect=False)
db = client[MONGO_DB]


def get_index_page(offset):
    params = {'utm_medium': 'index-banner-s',
              'utm_source': 'desktop',
              'page': offset}
    url = 'http://www.jianshu.com/trending/monthly?'+urlencode(params)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None


def parse_page(html):
    soup = BeautifulSoup(html, 'lxml')
    return [parse_article(li) for li in soup.select('ul.note-list li')]


def parse_article(li):
    img = 'http://'+li.find('img')['src'].lstrip('//')
    download_img(img)
    title = li.find('a', class_='title').string
    abstract = li.find_all('p', class_='abstract', limit=1)[0].get_text(strip=True)
    return {'title': title, 'img': img, 'abstract': abstract}


#保存内容至MongoDb
def save_to_mongo(result):
    if db[MONGO_TABLE].insert(result):
        print("存储到mongoDb成功", result)
        return True
    return False


# 下载图片
def download_img(url):
    print('([%d]正在下载图片: %s' % (os.getpid(), url))
    try:
        response = requests.get(url)
        if response.status_code == 200:
            save_img(response.content)
        return None
    except RequestException:
        print("请求图片出错", url)
        return None


# 保存图片到本地
def save_img(content):
    try:
        file_path = '{0}/images/{1}.{2}'.format(os.getcwd(), md5(content), 'png')
        if not os.path.exists(file_path):
            with open(file_path, 'wb') as f:
                f.write(content)
                f.close()
    except IOError:
        print("保存图片失败")


def main(offset):
    html = get_index_page(offset)
    if html:
        articles = parse_page(html)
        for article in articles:
            if article:
                save_to_mongo(article)


if __name__ == '__main__':
    # 多进程处理
    groups = [x for x in range(GROUP_START, GROUP_END)]
    pool = Pool(processes=PROCESSE_NUM)
    pool.map(main, groups)

# 文件名：spider.py

import requests

from bs4 import BeautifulSoup

from requests import RequestException

from config import *

import pymongo

import os

from hashlib import md5

from urllib.parse import urlencode

from multiprocessing import Pool

client = pymongo.MongoClient(MONGO_URL, connect=False)

db = client[MONGO_DB]

def get_index_page(offset):

params = {'utm_medium': 'index-banner-s',

'utm_source': 'desktop',

'page': offset}

url = 'http://www.jianshu.com/trending/monthly?'+urlencode(params)

try:

response = requests.get(url)

if response.status_code == 200:

return response.text

return None

except RequestException:

return None

def parse_page(html):

soup = BeautifulSoup(html, 'lxml')

return [parse_article(li) for li in soup.select('ul.note-list li')]

def parse_article(li):

img = 'http://'+li.find('img')['src'].lstrip('//')

download_img(img)

title = li.find('a', class_='title').string

abstract = li.find_all('p', class_='abstract', limit=1)[0].get_text(strip=True)

return {'title': title, 'img': img, 'abstract': abstract}

#保存内容至MongoDb

def save_to_mongo(result):

if db[MONGO_TABLE].insert(result):

print("存储到mongoDb成功", result)

return True

return False

# 下载图片

def download_img(url):

print('([%d]正在下载图片: %s' % (os.getpid(), url))

try:

response = requests.get(url)

if response.status_code == 200:

save_img(response.content)

return None

except RequestException:

print("请求图片出错", url)

return None

# 保存图片到本地

def save_img(content):

try:

file_path = '{0}/images/{1}.{2}'.format(os.getcwd(), md5(content), 'png')

if not os.path.exists(file_path):

with open(file_path, 'wb') as f:

f.write(content)

f.close()

except IOError:

print("保存图片失败")

def main(offset):

html = get_index_page(offset)

if html:

articles = parse_page(html)

for article in articles:

if article:

save_to_mongo(article)

if __name__ == '__main__':

# 多进程处理

groups = [x for x in range(GROUP_START, GROUP_END)]

pool = Pool(processes=PROCESSE_NUM)

pool.map(main, groups)

#文件名：config.py

MONGO_URL = 'localhost'
MONGO_DB = 'jianshu'
MONGO_TABLE = 'jianshu'

GROUP_START = 0
GROUP_END = 2

KEYWORD = '街拍'

PROCESSE_NUM = 3

#文件名：config.py

MONGO_URL = 'localhost'

MONGO_DB = 'jianshu'

MONGO_TABLE = 'jianshu'

GROUP_START = 0

GROUP_END = 2

KEYWORD = '街拍'

PROCESSE_NUM = 3

注，仅供学习，不对任何非法使用负责【参考：https://github.com/sea16 …

神箭手爬虫制作时需要注意的地方

1.扒取的第一个“抽取项”的值，会作为系统key，用于唯一性验证，不能重复。（在单页面，单条数据的情况下，系统会直接用url作为key）

爬虫学习

找了些不错的爬虫平台，学习参考： JS版爬虫： 1.http://www.shenjianshou.cn/ 2.https://github.com/ShenJianShou/crawler_samples Python版爬虫： http://scrapy.org/ PHP版获取页面内容： http://sourceforge.net/projects/simplehtmldom/ . …

使用simple_html_dom 解析html 页面

如果想用PHP 写爬虫获取某些网页数据，需要能解析HTML页面结构，simple_html_dom是不错的工具。

使用curl抓取防盗链网站资源

场景：使用curl获取网页资源，并做进一步内容分析，但当网页启用防盗链功能时，诸如图片内容可能会获取失败。解决：在使用curl时，添加头部参数，模拟搜索引擎的蜘蛛爬虫即可。相关代码：

function baiduSpider($url，$reffer){
        $ch = curl_init();
        $user_agent = “Baiduspider+(+http://www.baidu.com/search/spider.htm)”;//这里模拟的是百度蜘蛛
        curl_setopt($ch， CURLOPT_URL， $url);
        curl_setopt($ch， CURLOPT_HEADER， false);
        curl_setopt($ch， CURLOPT_RETURNTRANSFER， 1);
        curl_setopt($ch， CURLOPT_REFERER， $reffer);//这里写一个来源地址，可以写要抓的页面的首页
        curl_setopt($ch， CURLOPT_USERAGENT， $user_agent);
        $temp=curl_exec($ch);
        return $temp;
}

function baiduSpider($url，$reffer){

$ch = curl_init();

$user_agent = “Baiduspider+(+http://www.baidu.com/search/spider.htm)”;//这里模拟的是百度蜘蛛

curl_setopt($ch， CURLOPT_URL， $url);

curl_setopt($ch， CURLOPT_HEADER， false);

curl_setopt($ch， CURLOPT_RETURNTRANSFER， 1);

curl_setopt($ch， CURLOPT_REFERER， $reffer);//这里写一个来源地址，可以写要抓的页面的首页

curl_setopt($ch， CURLOPT_USERAGENT， $user_agent);

$temp=curl_exec($ch);

return $temp;

}

【参考：】http://m.blog …