万本电子书0元读

万本电子书0元读

顶部广告

Python网络爬虫权威指南(第2版)电子书

作为一种采集和理解网络上海量信息的方式,网页抓取技术变得越来越重要。而编写简单的自动化程序(网络爬虫),一次就可以自动抓取上百万个网页中的信息,实现高效的数据采集和处理,满足大量数据需求应用场景。  本书采用简洁强大的Python语言,全面介绍网页抓取技术,解答诸多常见问题,是掌握从数据爬取到数据清洗全流程的系统实践指南。书中内容分为两部分。*部分深讲解网页抓取的基础知识,重介绍BeautifulSoup、Scrapy等Python库的应用。第二部分介绍网络爬虫编写相关的主题,以及各种数据抓取工具和应用程序,帮你深互联网的每个角落,分析原始数据,获取数据背后的故事,轻松解决遇到的各类网页抓取问题。第2版全面更新,新增网络爬虫模型、Scrapy和并行网页抓取相关章节。 

售       价:¥

纸质售价:¥59.20购买纸书

1641人正在读 | 0人评论 7

作       者:(美) 瑞安·米切尔(Ryan Mitchell)

出  版  社:人民邮电出版社有限公司

出版时间:2019-04-01

字       数:25.3万

所属分类: 科技 > 计算机/网络 > 程序设计

温馨提示:数字商品不支持退换货,不提供源文件,不支持导出打印

为你推荐

  • 读书简介
  • 目录
  • 累计评论(0条)
  • 读书简介
  • 目录
  • 累计评论(0条)
本书采用简洁强大的Python 语言,介绍了网页抓取,并为抓取新式网络中的各种数据类型提供了全面的指导。*部分重介绍网页抓取的基本原理:如何用Python 从网络服务器请求信息,如何对服务器的响应行基本处理,以及如何以自动化手段与网站行交互。第二部分介绍如何用网络爬虫测试网站,自动化处理,以及如何通过更多的方式网络。<br/>【推荐语】<br/>作为一种采集和理解网络上海量信息的方式,网页抓取技术变得越来越重要。而编写简单的自动化程序(网络爬虫),一次就可以自动抓取上百万个网页中的信息,实现高效的数据采集和处理,满足大量数据需求应用场景。  本书采用简洁强大的Python语言,全面介绍网页抓取技术,解答诸多常见问题,是掌握从数据爬取到数据清洗全流程的系统实践指南。书中内容分为两部分。*部分深讲解网页抓取的基础知识,重介绍BeautifulSoup、Scrapy等Python库的应用。第二部分介绍网络爬虫编写相关的主题,以及各种数据抓取工具和应用程序,帮你深互联网的每个角落,分析原始数据,获取数据背后的故事,轻松解决遇到的各类网页抓取问题。第2版全面更新,新增网络爬虫模型、Scrapy和并行网页抓取相关章节。  - 解析复杂的HTML页面  - 使用Scrapy框架发爬虫  - 学习存储数据的方法  - 从文档中读取和提取数据  - 清洗格式糟糕的数据  - 自然语言处理  - 通过表单和登录窗口抓取数据  - 抓取JavaScript及利用API抓取数据  - 图像识别与文字处理  - 避免抓取陷阱和反爬虫策略  - 使用爬虫测试网站<br/>【作者】<br/>瑞安·米切尔(Ryan Mitchell) 数据科学家、软件工程师,有丰富的网络爬虫和数据分析实战经验,目前就职于美国格理集团,经常为网页数据采集项目提供咨询服务,并在美国东北大学和美国欧林工程学院任教。<br/>
目录展开

版权声明

O'Reilly Media, Inc. 介绍

业界评论

前言

什么是网页抓取

为什么要做网页抓取

关于本书

排版约定

使用代码示例

O'Reilly Safari

联系我们

致谢

电子书

第一部分 创建爬虫

第 1 章 初见网络爬虫

1.1 网络连接

1.2 BeautifulSoup简介

1.2.1 安装BeautifulSoup

1.2.2 运行BeautifulSoup

1.2.3 可靠的网络连接以及异常的处理

第 2 章 复杂 HTML 解析

2.1 不是一直都要用锤子

2.2 再端一碗BeautifulSoup

2.2.1 BeautifulSoup的find()和find_all()

2.2.2 其他BeautifulSoup对象

2.2.3 导航树

2.3 正则表达式

2.4 正则表达式和BeautifulSoup

2.5 获取属性

2.6 Lambda表达式

第 3 章 编写网络爬虫

3.1 遍历单个域名

3.2 抓取整个网站

收集整个网站的数据

3.3 在互联网上抓取

收集在网站上发现的所有外链列表 allExtLinks = set()

第 4 章 网络爬虫模型

4.1 规划和定义对象

4.2 处理不同的网站布局

4.3 结构化爬虫

4.3.1 通过搜索抓取网站

4.3.2 通过链接抓取网站

4.3.3 抓取多种类型的页面

4.4 关于网络爬虫模型的思考

第 5 章 Scrapy

5.1 安装Scrapy

蜘蛛初始化

5.2 创建一个简易爬虫

5.3 带规则的抓取

5.4 创建item

5.5 输出item

5.6 item管线组件

5.7 Scrapy日志管理

5.8 更多资源

第 6 章 存储数据

6.1 媒体文件

6.2 把数据存储到CSV

6.3 MySQL

6.3.1 安装MySQL

6.3.2 基本命令

6.3.3 与Python整合

6.3.4 数据库技术与最佳实践

6.3.5 MySQL里的“六度空间游戏”

6.4 Email

第二部分 高级网页抓取

第 7 章 读取文档

7.1 文档编码

7.2 纯文本

文本编码和全球互联网

7.3 CSV

读取CSV文件

7.4 PDF

7.5 微软Word和.docx

第 8 章 数据清洗

8.1 编写代码清洗数据

数据标准化

8.2 数据存储后再清洗

OpenRefine

第 9 章 自然语言处理

9.1 概括数据

9.2 马尔可夫模型

维基百科六度分隔:终结篇

9.3 自然语言工具包

9.3.1 安装与设置

9.3.2 用NLTK做统计分析

9.3.3 用NLTK做词性分析

9.4 其他资源

第 10 章 穿越网页表单与登录窗口进行抓取

10.1 Python Requests库

10.2 提交一个基本表单

10.3 单选按钮、复选框和其他输入

10.4 提交文件和图像

10.5 处理登录和cookie

HTTP基本接入认证

10.6 其他表单问题

第 11 章 抓取 JavaScript

11.1 JavaScript简介

常用JavaScript库

11.2 Ajax和动态HTML

11.2.1 在Python中用Selenium执行JavaScript

11.2.2 Selenium的其他webdriver

11.3 处理重定向

11.4 关于JavaScript的最后提醒

第 12 章 利用 API 抓取数据

12.1 API概述

12.1.1 HTTP方法和API

12.1.2 更多关于API响应的介绍

12.2 解析JSON数据

12.3 无文档的API

12.3.1 查找无文档的API

12.3.2 记录未被记录的API

12.3.3 自动查找和记录API

12.4 API与其他数据源结合

12.5 再说一点API

第 13 章 图像识别与文字处理

13.1 OCR库概述

13.1.1 Pillow

13.1.2 Tesseract

13.1.3 NumPy

13.2 处理格式规范的文字

13.2.1 自动调整图像

13.2.2 从网站图片中抓取文字

13.3 读取验证码与训练Tesseract

训练Tesseract

13.4 获取验证码并提交答案

第 14 章 避开抓取陷阱

14.1 道德规范

14.2 让网络机器人看着像人类用户

14.2.1 修改请求头

14.2.2 用JavaScript处理cookie

14.2.3 时间就是一切

14.3 常见表单安全措施

14.3.1 隐含输入字段值

14.3.2 避免蜜罐

14.4 问题检查表

第 15 章 用爬虫测试网站

15.1 测试简介

什么是单元测试

15.2 Python单元测试

测试维基百科

15.3 Selenium单元测试

与网站进行交互

15.4 单元测试与Selenium单元测试的选择

第 16 章 并行网页抓取

16.1 进程与线程

16.2 多线程抓取

16.2.1 竞争条件与队列

16.2.2 threading模块

16.3 多进程抓取

16.3.1 多进程抓取

16.3.2 进程间通信

16.4 多进程抓取的另一种方法

第 17 章 远程抓取

17.1 为什么要用远程服务器

17.1.1 避免IP地址被封杀

17.1.2 移植性与扩展性

17.2 Tor代理服务器

PySocks

17.3 远程主机

17.3.1 从网站主机运行

17.3.2 从云主机运行

17.4 其他资源

第 18 章 网页抓取的法律与道德约束

18.1 商标、版权、专利

版权法

18.2 侵害动产

18.3 计算机欺诈与滥用法

18.4 robots.txt和服务协议

18.5 3个网络爬虫

18.5.1 eBay起诉Bidder's Edge侵害其动产

18.5.2 美国政府起诉Auernheimer与《计算机欺诈与滥用法》

18.5.3 Field起诉Google:版权和robots.txt

18.6 勇往直前

关于作者

关于封面

看完了

累计评论(0条) 1个书友正在讨论这本书 发表评论

发表评论

发表评论,分享你的想法吧!

买过这本书的人还买过

读了这本书的人还在读

回顶部