网络数据采集技术——Java网络爬虫实战电子书

版权

前言

文前

第1章 网络爬虫概述与原理

1.1 网络爬虫简介

1.2 网络爬虫分类

1.3 网络爬虫流程

1.4 网络爬虫的采集策略

1.5 学习网络爬虫的建议

1.6 本章小结

第2章 网络爬虫涉及的Java基础知识

2.1 开发环境的搭建

2.1.1 JDK的安装及环境变量配置

2.1.2 Eclipse的下载

2.2 基本数据类型

2.3 数组

2.4 条件判断与循环

2.5 集合

2.5.1 List和Set集合

2.5.2 Map集合

2.5.3 Queue集合

2.6 对象与类

2.7 String类

2.8 日期和时间处理

2.9 正则表达式

2.10 Maven工程的创建

2.11 log4j的使用

2.12 本章小结

第3章 HTTP协议基础与网络抓包

3.1 HTTP协议简介

3.2 URL

3.3 报文

3.4 HTTP请求方法

3.5 HTTP状态码

3.5.1 状态码2XX

3.5.2 状态码3XX

3.5.3 状态码4XX

3.5.4 状态码5XX

3.6 HTTP信息头

3.6.1 通用头

3.6.2 请求头

3.6.3 响应头

3.6.4 实体头

3.7 HTTP响应正文

3.7.1 HTML

3.7.2 XML

3.7.3 JSON

3.8 网络抓包

3.8.1 简介

3.8.2 使用情境

3.8.3 浏览器实现网络抓包

3.8.4 其他网络抓包工具推荐

3.9 本章小结

第4章 网页内容获取

4.1 Jsoup的使用

4.1.1 jar包的下载

4.1.2 请求URL

4.1.3 设置头信息

4.1.4 提交请求参数

4.1.5 超时设置

4.1.6 代理服务器的使用

4.1.7 响应转输出流（图片、PDF等的下载）

4.1.8 HTTPS请求认证

4.1.9 大文件内容获取问题

4.2 HttpClient的使用

4.2.1 jar包的下载

4.2.2 请求URL

4.2.3 EntityUtils类

4.2.4 设置头信息

4.2.5 POST提交表单

4.2.6 超时设置

4.2.7 代理服务器的使用

4.2.8 文件下载

4.2.9 HTTPS请求认证

4.2.10 请求重试

4.2.11 多线程执行请求

4.3 URLConnection与HttpURLConnection

4.3.1 实例化

4.3.2 获取网页内容

4.3.3 GET请求

4.3.4 模拟提交表单（POST请求）

4.3.5 设置头信息

4.3.6 连接超时设置

4.3.7 代理服务器的使用

4.3.8 HTTPS请求认证

4.4 本章小结

第5章 网页内容解析

5.1 HTML解析

5.1.1 CSS选择器

5.1.2 Xpath语法

5.1.3 Jsoup解析HTML

5.1.4 HtmlCleaner解析HTML

5.1.5 HTMLParser解析HTML

5.2 XML解析

5.3 JSON解析

5.3.1 JSON校正

5.3.2 org.json解析JSON

5.3.3 Gson解析JSON

5.3.4 Fastjson解析JSON

5.3.5 网络爬虫实战演练

5.4 本章小结

第6章 网络爬虫数据存储

6.1 输入流与输出流

6.1.1 简介

6.1.2 File类

6.1.3 文件字节流

6.1.4 文件字符流

6.1.5 缓冲流

6.1.6 网络爬虫下载图片实战

6.1.7 网络爬虫文本存储实战

6.2 Excel存储

6.2.1 Jxl的使用

6.2.2 POI的使用

6.2.3 爬虫案例

6.3 MySQL数据存储

6.3.1 数据库的基本概念

6.3.2 SQL语句基础

6.3.3 Java操作数据库

6.3.4 爬虫案例

6.4 本章小结

第7章 网络爬虫实战项目

7.1 新闻数据采集

7.1.1 采集的网页

7.1.2 框架介绍

7.1.3 程序编写

7.2 企业信息采集

7.2.1 采集的网页

7.2.2 框架介绍

7.2.3 第一层信息采集

7.2.4 第二层信息采集

7.3 股票信息采集

7.3.1 采集的网页

7.3.2 框架介绍

7.3.3 程序设计

7.3.4 Quartz实现定时调度任务

7.4 本章小结

第8章 Selenium的使用

8.1 Selenium简介

8.2 Java Selenium环境搭建

8.3 浏览器的操控

8.4 元素定位

8.4.1 id定位

8.4.2 name定位

8.4.3 class定位

8.4.4 tag name定位

8.4.5 link text定位

8.4.6 Xpath定位

8.4.7 CSS选择器定位

8.5 模拟登录

8.6 动态加载JavaScript数据（操作滚动条）

8.7 隐藏浏览器

8.8 截取验证码

8.9 本章小结

第9章 网络爬虫开源框架

9.1 Crawler4j的使用

9.1.1 Crawler4j简介

9.1.2 jar包的下载

9.1.3 入门案例

9.1.4 相关配置

9.1.5 图片的采集

9.1.6 数据采集入库

9.2 WebCollector的使用

9.2.1 WebCollector简介

9.2.2 jar包的下载

9.2.3 入门案例

9.2.4 相关配置

9.2.5 HTTP请求扩展

9.2.6 翻页数据采集

9.2.7 图片的采集

9.2.8 数据采集入库

9.3 WebMagic的使用

9.3.1 WebMagic简介

9.3.2 jar包的下载

9.3.3 入门案例（翻页数据采集）

9.3.4 相关配置

9.3.5 数据存储方式

9.3.6 数据采集入库

9.3.7 图片的采集

9.4 本章小结