新日志管理平台(graylog)使用
<p>[toc]</p>
<h1>概览</h1>
<p><strong>新的日志管理平台相比ELK,在日志领域更加专业,精巧,易用,成本低. 所以我们改变技术方向,以加强我们的运维水平.</strong></p>
<p><strong>本文档主要介绍日志管理平台的使用方法,结合会议进行分享. 本文章会忽略相关软件的安装与部署部分.</strong></p>
<p><strong>环境主要分为: 私服 开发 生产, 看看样子...</strong></p>
<h1>日志流转图</h1>
<p><strong>首先介绍下此图,做到了解 input stream Index alert widget的概念即可</strong>
<img src="https://www.showdoc.com.cn/server/api/attachment/visitfile/sign/b7708e03b59fde667dc3a914e0c4c905" alt="" />
大致解释下: 数据从 input 进入 通过各个streams以及default stream, 最终落库Index. 在streams上绑定的有告警模块(可配置多个),告警模块http回调告警服务. 告警服务负责组织消息推送到钉钉告警群.</p>
<h1>日志结构字段</h1>
<p><strong>一条日志本质上是一个结构化的数据,字段的管理尤为重要,整理一份稳定统一管理:</strong></p>
<table>
<thead>
<tr>
<th style="text-align: left;">字段</th>
<th style="text-align: left;">类型</th>
<th style="text-align: left;">用途</th>
<th style="text-align: left;">备注</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align: left;">timestamp</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">系统</td>
<td style="text-align: left;">生产日志的时间戳</td>
</tr>
<tr>
<td style="text-align: left;">source</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">系统</td>
<td style="text-align: left;">生产日志的主机名</td>
</tr>
<tr>
<td style="text-align: left;">message</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">系统</td>
<td style="text-align: left;">重要-日志的具体内容</td>
</tr>
<tr>
<td style="text-align: left;">tag</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">系统</td>
<td style="text-align: left;">生产日志的服务名</td>
</tr>
<tr>
<td style="text-align: left;">command</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">docker</td>
<td style="text-align: left;">启动参数</td>
</tr>
<tr>
<td style="text-align: left;">container_id</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">docker</td>
<td style="text-align: left;">容器Id</td>
</tr>
<tr>
<td style="text-align: left;">container_name</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">docker</td>
<td style="text-align: left;">容器名称</td>
</tr>
<tr>
<td style="text-align: left;">created</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">docker</td>
<td style="text-align: left;">日志的创建时间</td>
</tr>
<tr>
<td style="text-align: left;">image_id</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">docker</td>
<td style="text-align: left;">镜像Id</td>
</tr>
<tr>
<td style="text-align: left;">image_name</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">docker</td>
<td style="text-align: left;">镜像名称</td>
</tr>
<tr>
<td style="text-align: left;">level</td>
<td style="text-align: left;">number</td>
<td style="text-align: left;">对接服务</td>
<td style="text-align: left;">日志等级</td>
</tr>
<tr>
<td style="text-align: left;">level_name</td>
<td style="text-align: left;">string</td>
<td style="text-align: left;">对接服务</td>
<td style="text-align: left;">日志等级名称</td>
</tr>
<tr>
<td style="text-align: left;">create_order</td>
<td style="text-align: left;">number</td>
<td style="text-align: left;">对接服务</td>
<td style="text-align: left;">用于控制日志排序</td>
</tr>
<tr>
<td style="text-align: left;">alert</td>
<td style="text-align: left;">number</td>
<td style="text-align: left;">对接服务</td>
<td style="text-align: left;">用于控制告警条件</td>
</tr>
<tr>
<td style="text-align: left;">groupxxx</td>
<td style="text-align: left;">-</td>
<td style="text-align: left;">client_err_log</td>
<td style="text-align: left;">用于客户端错误日志上报的一系列字段 <a href="https://docs.google.com/spreadsheets/d/19cypzUJcBfB10iWIDOByi6o5I8oz5WsjEwEe95YbCI0/edit?pli=1#gid=1727641524" title="点击">点击</a></td>
</tr>
<tr>
<td style="text-align: left;">groupxxx</td>
<td style="text-align: left;">-</td>
<td style="text-align: left;">debug_log</td>
<td style="text-align: left;">用于记录服务端debug_log的一系列字段</td>
</tr>
</tbody>
</table>
<h1>日志查询</h1>
<h2>基本查询条件</h2>
<p><img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=e30c60074a31deda4df8ed5b58ed30c2" alt="" /></p>
<h2>查询语法</h2>
<ul>
<li>注意点:
<ul>
<li>直接输入要查询的words, 意思是查找所有的字段去匹配.</li>
<li>如果查询的 words 包含空格, 需要 用 "" 号包裹.</li>
<li>检测字段存在性:<em>exists</em>:type</li>
</ul></li>
<li>
<p>单条件:
field:words</p>
</li>
<li>多条件:
( field:words AND field:words ) OR field:words</li>
</ul>
<h2>日志结果展示</h2>
<p><strong>默认查询页面</strong>
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=a6f77658645d1fca7885cc4ba67c0e30" alt="" /></p>
<h2>单条完整日志</h2>
<p><strong>完整字段描述稍后解释</strong>
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=c2800fd191e6d5fd9b1e6b7d3b8bd2a2" alt="" /></p>
<h2>侧边栏</h2>
<p><img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=08bb9497d30ce4551451620a5606bdae" alt="" /></p>
<h1>日志组件与看板</h1>
<h2>保存你的查询</h2>
<p><strong>账号可以用公用的或者私有的,找TJ或我申请</strong>
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=981946435561f68ffe9059c6bdcb5473" alt="" /></p>
<h2>Dashboards</h2>
<p><img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=719dc1f1dc434848d8ae1a7b7ecf326c" alt="" /></p>
<h1>日志告警</h1>
<p><strong>告警原理与各个群的用途</strong>
<img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=54ded2c7abf15ce252ec36f287e1be46" alt="" /></p>