爬虫 Archives - 俺的BLOG

Python爬虫模拟人为操作

有些大厂，像BAT可能对爬虫这类检测做的很厉害，为了模拟人为操作，需要让脚步运行的慢一些。

以下python代码用于登录支付宝账号，为了更像真人操作，

录入账号密码时，每次录入一个字符都暂停若干时间;
且暂停时间是随机时间，不固定;
同时也在一些按钮上悬停若干时间后再执行点击事件。

import random
import time

from selenium import webdriver
from selenium.webdriver import ActionChains

url = "https://auth.alipay.com/login/index.htm"
name = "你的支付宝账号"
password = "支付宝登录密码"


# 缓慢输入内容
def send_keys_delay_random(controller, keys, min_delay=0.5, max_delay=1.5):
    for key in keys:
        controller.send_keys(key)
        time.sleep(random.uniform(min_delay, max_delay))

# 延迟随机时间
def delay_time(min_delay=0.5, max_delay=1):
    time.sleep(random.uniform(min_delay, max_delay))

print("启动浏览器，打开页面")
driver = webdriver.Chrome()
driver.get(url)
delay_time()

print("选择账号密码登录")
chose_btn = driver.find_element_by_xpath('//*[@id="J-loginMethod-tabs"]/li[2]')
ActionChains(driver).move_to_element(chose_btn).click().perform()
delay_time()

print("输入账号")
username_input = driver.find_element_by_id("J-input-user")
username_input.clear()
send_keys_delay_random(username_input, name)
delay_time(1, 2)

print("输入密码")
password_input = driver.find_element_by_id("password_rsainput")
password_input.clear()
send_keys_delay_random(password_input, password)
delay_time()

print("点击登录")
btn_login = driver.find_element_by_id("J-login-btn")
ActionChains(driver).move_to_element(btn_login).click().perform()


driver.quit()
print("正常退出")

import random

import time

from selenium import webdriver

from selenium.webdriver import ActionChains

url = "https://auth.alipay.com/login/index.htm"

name = "你的支付宝账号"

password = "支付宝登录密码"

# 缓慢输入内容

def send_keys_delay_random(controller, keys, min_delay=0.5, max_delay=1.5):

for key in keys:

controller.send_keys(key)

time.sleep(random.uniform(min_delay, max_delay))

# 延迟随机时间

def delay_time(min_delay=0.5, max_delay=1):

time.sleep(random.uniform(min_delay, max_delay))

print("启动浏览器，打开页面")

driver = webdriver.Chrome()

driver.get(url)

delay_time()

print("选择账号密码登录")

chose_btn = driver.find_element_by_xpath('//*[@id="J-loginMethod-tabs"]/li[2]')

ActionChains(driver).move_to_element(chose_btn).click().perform()

delay_time()

print("输入账号")

username_input = driver.find_element_by_id("J-input-user")

username_input.clear()

send_keys_delay_random(username_input, name)

delay_time(1, 2)

print("输入密码")

password_input = driver.find_element_by_id("password_rsainput")

password_input.clear()

send_keys_delay_random(password_input, password)

delay_time()

print("点击登录")

btn_login = driver.find_element_by_id("J-login-btn")

ActionChains(driver).move_to_element(btn_login).click().perform()

driver.quit()

print("正常退出")

使用Python制作爬虫并提供WebService接口

需要了解以下内容：

使用Scrapy框架制作爬虫
使用IP代理池（http://www.kohn.com.cn/wordpress/?p=208）
使用Flask框架制作WebService（https://www.cnblogs.com/vovlie/p/4178077.html）
使用Flask时根据运行环境加载配置（https://www.cnblogs.com/m0m0/p/5624315.html）

python爬虫——使用IP代理池

【原文链接：http://www.kohn.com.cn/wordpress/?p=208】

python爬虫必备技能

BeautifulSoup4（DOM解析）
pyQuery（DOM解析）
xpath（DOM解析）
Selenium（WebDriver）
MongoDB（数据库）
re（正则）
multiprocessing（多进程）
Scrapy（爬虫框架）

简单的python多进程爬虫

内容点：

使用BeautifulSoup解析网页
多进程执行
下载图片
存储于MongoDb

继续阅读“简单的python多进程爬虫”

神箭手爬虫制作时需要注意的地方

1.扒取的第一个“抽取项”的值，会作为系统key，用于唯一性验证，不能重复。（在单页面，单条数据的情况下，系统会直接用url作为key）

2.无论要采集的链接是否会用到正则，都要用正则写法： contentUrlRegexes ， helperUrlRegexes （不要使用 helperUrls ），其中，字符’.’， ‘?’ 需要用双斜杠‘\\’转义。

爬虫学习

找了些不错的爬虫平台，学习参考：

JS版爬虫：

1.http://www.shenjianshou.cn/

2.https://github.com/ShenJianShou/crawler_samples

Python版爬虫：

http://scrapy.org/

PHP版获取页面内容：

http://sourceforge.net/projects/simplehtmldom/

.Net版爬虫：

http://www.locoy.com/

http://www.bazhuayu.com/

使用simple_html_dom 解析html 页面

如果想用PHP 写爬虫获取某些网页数据，需要能解析HTML页面结构，simple_html_dom是不错的工具。

使用手册：http://simplehtmldom.sourceforge.net/manual.htm

下载：https://sourceforge.net/projects/simplehtmldom/

备注：当将采集的内容存数据库时，记得编码要保持一致，否则会报如下类似错误：

Error: Illegal mix of collations (utf8_general_ci,IMPLICIT) and (gbk_chinese_ci,COERCIBLE) for operation '='

使用curl抓取防盗链网站资源

场景：

使用curl获取网页资源，并做进一步内容分析，但当网页启用防盗链功能时，诸如图片内容可能会获取失败。

解决：

在使用curl时，添加头部参数，模拟搜索引擎的蜘蛛爬虫即可。