Logstash简介

Logstash Introduction

　　Logstash 是一个实时的管道式开源日志收集引擎。Logstash可以动态的将不同来源的数据进行归一并且将格式化的数据存储到你选择的位置。对你的所有做数据清洗和大众化处理，以便做数据分析和可视化。

　　我们对Logstash的日志收集做了大量的创新，但它的能力远不止收集日志这么简单。通过输入、过滤和输出插件Logstash可以对任何类型的事件丰富和转换，通过本地编码器还可以进一步简化此过程。Logstash通过大量的多样化数据来提升你的洞察力。

The Power of Logstash

Elasticsearch或其他更多应用的收集器

水平可扩展的数据处理管道和强大的Elasticsearch、Kibana组合协同工作。

插件式架构

混合、匹配和编排不同的输入、过滤器和输出，以便在管道协调中发挥作用。（原文：Mix, match, and orchestrate different inputs, filters, and outputs to play in pipeline harmony。个人认为其含义应该为：在输入、过滤、输出的管道中协调混合、过滤和匹配。）

Community-extensible and developer-friendly plugin ecosystem

超过200个可用插件，加上你自己创造和贡献的灵活性。（根据标题的意思应该是要表达可以根据需要自己灵活创建插件，原文如下：Over 200 plugins available, plus the flexibility of creating and contributing your own）

static/images/logstash.png

Analysis：分析

Archiving：归档

Monitoring：监控

Alerting：报警

Logstash Loves Data

收集越多知道的越多，Logstash欢迎任意形式和大小的数据。

Logs and Metrics（日志和指标）

一切从哪里开始。

  • 处理所有类型的日志数据

    • 轻松收集大量web日志如：Apache，和应用程序日志如：log4j for java

    • 捕获许多其他日志格式如：syslog，网络和防火墙日志，以及更多类型

  • 享受和Filebeat互补的安全的日志转发能力。

  • 通过TCP和UDP从Ganglia，collectd，NetFlow，JMX和其他众多的基础架构和应用平台收集指标。

The Web

Unlock the World Wide Web.

  • 将HTTP requests转换成事件

    • 如Twitter用来做社会感情分析（只翻译了后半句，前半句实在整不出来啥意思。原文：Consume from web service firehoses like Twitter for social sentiment analysis）
    • 支持GitHub，HipChat，JIRA和无数其他应用程序的Webhook。
    • 启用多个监控报警用例（原文：Enables many Watcher alerting use cases）

  • 按需轮询 HTTP endpoints来创建事件

    • 从网络应用程序接口捕获健康、性能、指标等其他类型的数据。
    • Perfect for scenarios where the control of polling is preferred over receiving。（不会，大意是说他的最佳使用场景。）

Data Stores and Streams

发掘你的数据的更多价值。

  • 使用JDBC接口从任何关系型或非关系型数据库存储总更好的理解你的数据。
  • 从消息队列中统一不同的数据流。如：Kafka,RabbitMQ,Amazor SQS

Sensors and loT

探索其他更广泛的数据

  • 在这个技术大爆炸的时代，通过获取和分析连接在这个庞大的物联网世界上的传感器获取的数据释放了无数的用例。
  • 从移动设备到智能家庭、车联网、健康传感器以及其他的行业应用，Logstash也是最常见的事件收集器支柱。

Easily Enrich Everything

更好的数据意味着更好的知识。通过清洗和转换数据来提升实时洞察数据的能力。Logstash提供了许多聚合和转换以及模式匹配、地理映射和动态查找功能。

  • Grok是Logstash基本的过滤器，被广泛的用于将非结构化的数据结构化。享受其为致力于快速解决Web、System、Networking和其他类型的事件格式附带的丰富的集成模式，
  • 扩展你的视野通过从IP地址解析地理坐标，将复杂的日期规范化展示，简化K/V数据和CSV数据，指纹(匿名)敏感信息。并进一步从本地或Elasticsearch查询中丰富你的数据。（原文：Expand your horizons by deciphering geo coordinates from IP addresses, normalizing date complexity, simplifying key-value pairs and CSV data, fingerprinting(anonymizing) sensitive information, and further enriching your data with local lookups or Elasticsearch queries.）
  • 编码器通常用于简化对JSON和多行事件等常见事件结构的处理。

有关一些流行的数据处理插件的概述，请参见Transforming Data。

Choose Your Stash

Route your data where it matters most. Unlock various downstream analytical and operational use cases by storing, analyzing, and taking action on your data.

Analysis

Archiving

Monitoring

Alerting

ELK
Logstash

本博客所有文章除特别声明外，均采用 CC BY-SA 4.0 协议 ，转载请注明出处！