ELKstack权威指南电子书

前言

第一部分 Logstash

第1章 入门示例

1.1 下载安装

1.2 Hello World

1.3 配置语法

1.3.1 语法

1.3.2 命令行参数

1.4 插件安装

1.5 长期运行方式

第2章 插件配置

2.1 输入插件

2.1.1 标准输入

2.1.2 文件输入

2.1.3 TCP输入

2.1.4 syslog输入

2.1.5 collectd输入

2.2 编解码配置

2.2.1 JSON编解码

2.2.2 多行事件编码

2.2.3 网络流编码

2.3 过滤器配置

2.3.1 date时间处理

2.3.2 grok正则捕获

2.3.3 GeoIP地址查询

2.3.4 JSON编解码

2.3.5 key-value切分

2.3.6 metrics数值统计

2.3.7 mutate数据修改

2.3.8 随心所欲的Ruby处理

2.3.9 split拆分事件

2.3.10 elapsed

2.4 输出插件

2.4.1 输出到Elasticsearch

2.4.2 发送email

2.4.3 调用系统命令执行

2.4.4 保存成文件

2.4.5 报警发送到Nagios

2.4.6 statsd

2.4.7 标准输出stdout

2.4.8 TCP发送数据

2.4.9 输出到HDFS

第3章 场景示例

3.1 Nginx访问日志

3.1.1 grok处理方式

3.1.2 split处理方式

3.1.3 json格式

3.1.4 syslog方式发送

3.2 Nginx错误日志

3.3 Postfix日志

3.4 Ossec日志

3.4.1 配置所有Ossec agent采用syslog输出

3.4.2 配置Logstash

3.4.3 推荐Kibana仪表盘

3.5 Windows系统日志

3.5.1 采集端配置

3.5.2 接收解析端配置

3.6 Java日志

3.6.1 Log4J配置

3.6.2 Logstash配置

3.6.3 异常堆栈测试验证

3.6.4 JSON Event layout

3.7 MySQL慢查询日志

3.8 Docker日志

3.8.1 记录到主机磁盘

3.8.2 通过logspout收集

第4章 性能与监控

4.1 性能测试

4.1.1 配置示例

4.1.2 使用方式

4.1.3 额外的话

4.2 监控方案

4.2.1 logstash-input-heartbeat心跳检测方式

4.2.2 JMX启动参数方式

第5章 扩展方案

5.1 通过Redis队列扩展

5.1.1 读取Redis数据

5.1.2 采用list类型扩展Logstash

5.1.3 输出到Redis

5.2 通过Kafka队列扩展

5.2.1 Logstash 1.4版本插件的安装

5.2.2 Input配置

5.2.3 Output配置

5.3 logstash-forwarder

5.3.1 Indexer端配置

5.3.2 Shipper端配置

5.3.3 AIX上的logstash-forwarder-java

5.4 Rsyslog

5.4.1 常用模块介绍

5.4.2 与Logstash合作

5.4.3 Mmexternal模块

5.5 Nxlog

5.6 Heka

5.7 Fluentd

5.7.1 配置示例

5.7.2 Fluentd插件

5.8 Message::Passing

第6章 Logstash源码解析

6.1 Pipeline

6.2 Plugins

6.2.1 Input中的Codec

6.2.2 Output中的Worker

第7章 插件开发

7.1 插件格式

7.2 插件的关键方法

7.3 插件打包

7.4 Filter插件开发示例

7.4.1 mmdb数据库的生成方法

7.4.2 LogStash::Filters::Mmdb实现

7.4.3 logstash-filter-mmdb打包

7.5 Input插件开发示例

7.5.1 FileWatch模块原理

7.5.2 LogStash::Inputs::Utmp实现

7.6 Output插件开发示例

第二部分 Elasticsearch

第8章 架构原理

8.1 准实时索引的实现

8.1.1 动态更新的Lucene索引

8.1.2 利用磁盘缓存实现的准实时检索

8.1.3 translog提供的磁盘同步控制

8.2 segment merge的影响

8.2.1 归并线程配置

8.2.2 归并策略

8.2.3 optimize接口

8.3 routing和replica的读写过程

8.3.1 路由计算

8.3.2 副本一致性

8.4 shard的allocate控制

8.4.1 reroute接口

8.4.2 冷热数据的读写分离

8.5 自动发现的配置

8.5.1 multicast方式

8.5.2 unicast方式

第9章 数据接口用例

9.1 增删改查操作

9.2 搜索请求

9.2.1 全文搜索

9.2.2 聚合请求

9.3 脚本

9.3.1 动态提交

9.3.2 固定文件

9.3.3 其他语言

9.4 重建索引

9.4.1 Perl客户端

9.4.2 用Logstash重建索引

9.5 Spark Streaming交互

第10章 性能优化

10.1 bulk提交

10.1.1 bulk大小

10.1.2 UDP方式

10.2 gateway配置

10.3 集群状态维护

10.4 缓存

10.4.1 filter缓存

10.4.2 shard query缓存

10.5 字段数据

10.5.1 Circuit Breaker

10.5.2 doc-values

10.6 curator工具

10.6.1 参数介绍

10.6.2 常用示例

第11章 测试和扩展方案

11.1 测试方案

11.2 多集群互联

11.3 puppet-elasticsearch模块的使用

11.3.1 安装和配置示例

11.3.2 配置解释

11.4 计划内停机升级的操作流程

11.5 Shield权限管理

11.5.1 Shield架构

11.5.2 安装部署

11.6 别名的应用

11.6.1 索引更名时的无缝切换

11.6.2 限制索引数据部分可读

第12章 映射与模板的定制

12.1 映射的增删改查

12.2 Elasticsearch的核心类型

12.3 自定义字段映射

12.3.1 精确索引

12.3.3 多重索引

12.4 特殊字段

12.5 动态模板映射

12.6 索引模板

第13章 监控方案

13.1 监控相关接口

13.1.1 集群健康状态

13.1.2 节点状态

13.1.3 索引状态

13.1.4 等待执行的任务

13.1.5 cat接口的命令行使用

13.2 日志记录

13.3 实时bigdesk方案

13.4 官方marvel方案

13.4.1 安装和卸载

13.4.2 配置

13.4.3 访问

13.4.4 面板定制示例

13.5 Zabbix trapper方案

13.5.1 安装配置

13.5.2 模板应用

第14章 Elasticsearch在运维监控领域的其他应用

14.1 Percolator接口

14.2 Watcher报警

14.3 packetbeat抓包分析

14.3.1 安装部署

14.3.2 配置示例

14.3.3 dashboard效果

14.3.4 Kibana 3拓扑图

14.4 时序数据库

14.5 Etsy的Kale异常检测

第三部分 Kibana

第15章 Kibana的产品对比

15.1 Kibana 3的设计思路和功能

15.2 Kibana 4的设计思路和功能

15.3 与Hadoop体系的区别

15.4 Splunk场景参考

第16章 Kibana 3

16.1 Kibana 3入门

16.1.1 准备工作

16.1.2 界面介绍

16.1.3 跨域访问注意事项

16.2 config.js配置

16.3 页面布局

16.3.1 请求和过滤

16.3.2 行和面板

16.4 各面板功能

16.4.1 histogram

16.4.2 table

16.4.3 map

16.4.4 bettermap

16.4.5 terms

16.4.6 column

16.4.7 stats

16.4.8 query

16.4.9 trend

16.4.10 text

16.4.11 sparklines

16.4.12 hits

16.4.13 goal

16.5 仪表盘的保存和载入

16.5.1 保存仪表盘

16.5.2 加载仪表盘

16.5.3 分享仪表盘

16.5.4 保存成静态仪表盘

16.6 自定义仪表盘功能

16.6.1 schema简介

16.6.2 模板化template仪表盘

16.6.3 脚本化scripted仪表盘

16.7 认证授权

16.7.1 用Nginx实现基础的认证

16.7.2 用Node.js实现基于CAS的认证

16.7.3 用Perl实现认证和用户授权

第17章 Kibana 3源码解析

17.1 源码目录结构

17.2 入口和模块依赖

17.3 控制器和服务

17.3.1 dashboard

17.3.2 querySrv

17.3.3 filterSrv

17.3.4　fields

17.3.5 esVersion

17.4 面板指令

17.4.1 添加面板

17.4.2 展示面板

17.5 面板实现

17.5.1 module.js

17.5.2 module.html

17.5.3 editor.html

17.6 用facet接口开发一个range panel

17.6.1 代码实现

17.6.2 面板效果

17.7 用agg接口开发一个percentile panel

17.7.1 代码实现要点

17.7.2 面板效果

第18章 Kibana 4

18.1 安装、配置和运行

18.2 生产环境部署

18.2.1 Nginx代理配置

18.2.2 配置Kibana和shield一起工作

18.2.3 开启SSL

18.2.4 控制访问权限

18.3 Discover功能

18.3.1 设置时间过滤器

18.3.2 搜索数据

18.3.3 按字段过滤

18.3.4 过滤器的协同工作方式

18.3.5 查看文档数据

18.4 各种可视化功能

18.4.1 area

18.4.2 table

18.4.3 line

18.4.4 Markdown

18.4.5 metric

18.4.6 pie

18.4.7 tile map

18.4.8 vertical bar

18.5 仪表盘功能

18.5.1 开始

18.5.2 容器功能

18.5.3 修改可视化

18.6 Setting功能

18.6.1 创建一个连接到Elasticsearch的索引模式

18.6.2 创建一个脚本化字段

18.6.3 设置高级参数

18.6.4 管理已保存的搜索、可视化和仪表盘

18.7 设置Kibana服务器属性

18.8 常用sub agg示例

18.8.1 函数堆栈链分析

18.8.2 分图统计

18.8.3 TopN的时序趋势图

18.8.4 响应时间的百分占比趋势图

18.8.5 响应时间的概率分布在不同时段的相似度对比

18.9 Kibana报表的快速实现

第19章 Kibana 4源码解析

19.1 Kibana索引的数据结构

19.2 主页入口

19.2.1 index.js解析

19.2.2 Courier类

19.2.3 路径记忆功能的实现

19.2.4 标签页应用的加载

19.3 Discover解析

19.4 Visualize解析

19.4.1 vis_types实现

19.4.2 savedVisualizations实现

19.4.3 Visualize实现

19.4.4 VisEditorSidebar实现

19.5 Dashboard解析

19.6 Setting解析