使用Logstash解析日志

      在“存储第一个事件”中，您创建了一个基本的Logstash管道来测试Logstash设置。在现实世界中，Logstash管道要复杂一些：它通常具有一个或多个输入，过滤器和输出插件。

      在本部分中，您将创建一个Logstash管道，该管道使用Filebeat来获取Apache Web日志作为输入，解析这些日志以从日志中创建特定的命名字段，然后将解析的数据写入Elasticsearch集群。无需在命令行上定义管道配置，而是在配置文件中定义管道。

      配置Filebeat以将日志行发送到Logstash

      在创建Logstash管道之前，将配置Filebeat以将日志行发送到Logstash。该Filebeat客户端是一个轻量级的，资源友好的工具，从服务器上的文件和转发这些日志到您Logstash实例进行处理收集日志。Filebeat专为可靠性和低延迟而设计。Filebeat在主机上的资源占用很少，该Beats input插件使Logstash实例上的资源需求最小化。

      Logstash的默认安装包括Beats input插件。Beats输入插件使Logstash可以从Elastic Beats框架接收事件，这意味着任何与Beats框架一起编写的Beat，例如Packetbeat和Metricbeat，也可以将事件数据发送到Logstash。

      安装Filebeat之后，您需要对其进行配置。打开filebeat.yml位于Filebeat安装目录中的文件，然后用以下几行替换内容。确保paths指向logstash-tutorial.log您先前下载的示例Apache日志文件 ：

      Filebeat处理的文件的绝对路径。

      保存您的更改。

      为了简化配置，您将不会像在实际情况中那样指定TLS / SSL设置。

      在数据源计算机上，使用以下命令运行Filebeat：

      为Filebeat输入配置Logstash

      接下来，创建一个使用Beats输入插件从Beats接收事件的Logstash配置管道。

      以下文本表示配置管道的框架：

      此框架无法正常工作，因为输入和输出部分未定义任何有效选项。

      首先，将骨架配置管道复制并粘贴到first-pipeline.conf主Logstash目录中命名的文件中。

      接下来，通过input在first-pipeline.conf文件部分添加以下行，将Logstash实例配置为使用Beats输入插件：

      您将配置Logstash以在以后写入Elasticsearch。现在，您可以output将以下行添加到该部分，以便在运行Logstash时将输出打印到stdout：

      完成后，的内容first-pipeline.conf应如下所示：

      要验证您的配置，请运行以下命令：

      该--config.test_and_exit选项解析您的配置文件并报告任何错。

      如果配置文件通过了配置测试，请使用以下命令启动Logstash：

      该--config.reload.automatic选项启用自动重新加载配置，因此您不必在每次修改配置文件时都停止并重新启动Logstash。

      当Logstash启动时，您可能会看到有关Logstash忽略pipelines.yml文件的一则或多则警告消息。您可以放心地忽略此警告。该pipelines.yml文件用于 在单个Logstash实例中运行多个管道。对于此处显示的示例，您正在运行单个管道。

      如果管道正常运行，则应该在控制台上看到一系列类似以下的事件：