零基础玩转SLS日志查询-SLS Query Builder发布

作者:神秘网友 发布时间:2021-11-25 14:06:36

零基础玩转SLS日志查询-SLS Query Builder发布

?简介:日志服务(Log Service,简称 SLS) 是阿里云提供的行业领先的日志大数据解决方案,一站式提供数据收集、清洗、分析、可视化、告警等功能。智能查询分析是数据中台重要的一环,SLS支持秒级查询10亿到千亿级别的日志数据,为万级开发者提供每日百亿级的查询服务。SLS查询语句是日志服务的专有语法,为了帮助用户简单、快速地构建查询语句,降低用户的学习成本,SLS推出了查询辅助输入(Query Builder)功能,让用户无需关注语法细节也可完成查询。

背景

日志服务(SLS)

日志服务(Log Service,简称 SLS) 是阿里云提供的行业领先的日志大数据解决方案,一站式提供数据收集、清洗、分析、可视化、告警等功能,全面提升海量日志处理能力,实时挖掘数据价值,智能助力研发/运维/运营/安全等场景。

智能查询分析是数据中台重要的一环,SLS支持秒级查询10亿到千亿级别的日志数据,为万级开发者提供每日百亿级的查询服务。SLS非常适合于做监控报表/告警/运营探索式交互分析,更可以通过API调用集成数据分析能力,集成到第三方的可视化平台,BI工具,或自研程序。

?

SLS查询分析

SLS的日志查询分为两部分:查询语句和分析语句。查询语句和分析语句以竖线(|)分割,查询语句的语法为日志服务专有语法,分析语句采用标准的SQL92语法。

查询语句|分析语句

语句类型

说明

查询语句

查询语句用于指定日志查询时的过滤规则,返回符合条件的日志。

查询语句可以为关键词、数值、数值范围、空格、星号(*)等。 如果为空格或星号(*),表示无过滤条件。更多信息,请参见查询语法。

分析语句

分析语句用于对查询结果或全量数据进行计算和统计。更多信息,请参见分析概述。

其中,查询语句可单独使用,分析语句必须与查询语句一起使用。即分析功能是基于查询结果或全量数据进行的。

示例:

// 仅查询
status  200

// 仅统计
* | SELECT status, count(*) AS PV GROUP BY status

// 查询 + 统计
status  200 | SELECT status, count(*) AS PV GROUP BY status

Query Builder介绍

SLS查询语句是日志服务的专有语法,为了帮助用户简单、快速地构建查询语句,降低用户的学习成本,SLS推出了查询辅助输入(Query Builder)功能,让用户无需关注语法细节也可完成查询。

(注:当前版本只支持查询语句,SQL分析语句的辅助输入功能SQL Builder将在后续版本推出,敬请期待)

1. 功能入口

登录日志服务控制台,在Project列表区域,点击进入目标Project。在日志存储 日志库页签中,点击进入目标Logstore,在查询和分析语句输入框中,点击右侧

图标,唤起Query Builder面板。随后在配置查询条件面板中,配置查询条件即可。

?

2. 使用模式

  • 简洁模式

简洁模式中的多个查询条件是平铺展示的,各个查询条件之间为同级关系。

?

  • 高级模式

高级模式中的多个查询条件是换行展示的,各个查询条件之间可设置层级关系,即对应于查询语句中的括号运算符。用户可以通过点击且、或两侧的图标或图标,定义各个查询条件之间的层级关系。

?

  • 双向同步

为了最大程度的保证用户使用的灵活性,Query Builder的查询条件与用户手动输入的查询语句是实时双向同步的。用户既可以通过Query Builder生成查询语句,也可以在查询框中修改生成的查询语句。Query Builder会实时解析用户手动输入的查询语句并同步到面板上。

?

3. 功能概述

3.1 查询类型

  • 全文查询和字段查询

查询方式

说明

示例

全文查询

配置全文索引后,日志服务根据用户设置的分词符将整条日志拆分成多个词。用户可以指定关键字(字段名、字段值)和查询规则进行查询。

?

字段查询

配置字段索引后,用户可以指定字段名称和字段值(Key:Value)进行查询。根据字段索引中设置的数据类型,用户可以进行多种类型的基础查询和组合查询。

?

  • 精确查询和模糊查询

查询方式

说明

示例

精确查询

使用完整的词进行查询。

?

模糊查询

使用通配符*或者来进行模糊查询,参考模糊查询

?

3.2 逻辑连接符

逻辑连接符

说明

对应于查询语法中的and运算符

对应于查询语法中的or运算符

缩进

在高级模式下,您可以使用缩进设置各个查询条件之间的层级关系。对应于( )运算符。

所有值

为一个字段设置了多个查询值时,会出现此逻辑连接符。对应于and运算符。

任意值

为一个字段设置了多个查询值时,会出现此逻辑连接符。对应于or运算符。

示例

3.3 运算符

Query Builder功能支持如下运算符。更多信息,请参见运算符。

  • 针对全文查询,提供包含、不包含运算符。
  • 针对text类型的字段,提供包含、不包含、(字段)存在、(字段)不存在运算符。
  • 针对long类型或double类型的字段,提供=、!=、、、=、=、(字段)存在、(字段)不存在运算符。

4. 使用示例

示例1

  • 查询包含GET、PUT、POST中任意值的日志

?

  • 查询同时包含GET、PUT、POST中的日志

?

示例2

  • 查询user_agent字段的值中包含Chrome的日志

?

  • 查询slbid字段的值以slb-开头且client_ip字段的值是在127.0.0.x范围内的日志

示例3

查询请求时间小于1秒的成功请求的日志中包含SLS字符串的日志

?

常见问题

简洁模式和高级模式有什么区别

  • 简洁模式中的多个查询条件是平铺展示的,各个查询条件之间为同级关系。
  • 高级模式中的多个查询条件是换行展示的,各个查询条件之间可设置层级关系,即对应于查询语句中的括号运算符。

?

是否支持构建SQL分析语句

目前,Query Builder功能只支持构建查询语句,不支持构建SQL分析语句。我们将在后续版本推出针对SQL分析语句的构建能力,敬请期待后续版本。

如果您在输入框中输入了SQL分析语句,Query Builder面板将消失且面板唤起按钮被禁用。删除SQL分析语句部分后,可重新打开Query Builder面板。

更多Query Builder使用过程中的问题参考常见问题。

写在最后

SLS Query Builder可以帮助用户简单、快速地构建查询语句,让用户无需关注语法细节也可完成查询。正如前面提到,SLS的查询分析能力由查询语句和分析语句两部分构成,分析语句能够在秒级查询的基础上进行实时统计分析,适合于做监控报表/告警/运营探索式交互分析,更可以通过API调用集成数据分析能力,集成到第三方的可视化平台,BI工具,或自研程序。

相较于查询语句,分析语句具有更强大的能力和更丰富的应用场景。SLS分析语句采用标准的SQL92语法,相较于查询语法,使用门槛和学习成本更高,因此我们也将在不久的将来推出针对SQL分析语句的辅助输入工具SQL Builder,敬请期待!

原文链接
本文为阿里云原创内容,未经允许不得转载。

?


本文章教程介绍完毕,更多请访问跳墙网其他文章教程!

零基础玩转SLS日志查询-SLS Query Builder发布 相关文章

  1. 日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过

    日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过滤 对于日志收集的客户端,其work pipeline通常包括三个过程:Input,Process,Output。 Input: 适配各类日志接入源,目前Logtail支持文本文件、Syslog(TCP流式)两种形式数...

  2. SLS机器学习最佳实战:日志聚类+异常告警

    SLS机器学习最佳实战:日志聚类+异常告警 [var1] SLS机器学习介绍(01):时序统计建模 SLS机器学习介绍(02):时序聚类建模 SLS机器学习介绍(03):时序异常检测建模 SLS机器学习介绍(04):规则模式挖掘 SLS机器学习介绍(05...

  3. SLS机器学习最佳实战:日志聚类+异常告警

    SLS机器学习最佳实战:日志聚类+异常告警 为什么80%的码农都做不了架构师? 摘要: 围绕日志,挖掘其中更大价值,一直是我们团队所关注。在原有日志实时查询基础上,今年SLS在DevOps领域完善了如下功能: - 上下文查询 - 实...

  4. 阿里云日志服务(SLS)安装使用方法简介

    阿里云日志服务(SLS)安装使用方法简介 [var1] 开通阿里云账号 申请一台阿里云服务器(Elastic Compute Service,简称 ECS) [var1] 登录阿里云后进入控制台,选择产品与服务-日志服务,根据提示开通日志服务 [var1] 日志服务开通后,跳...

  5. 在SLS中开启时序指标的智能巡检

    在SLS中开启时序指标的智能巡检 一、为何还要做时序监控? 之前写过一系列的文章去介绍系统监控和业务监控的重要性,特别是在云平台环境中。云环境中的指标很多,Linux系统指标就有上百个,这些指标合理的取值很难准确...

  6. saltstack 之state.sls 与 state.highstate

    saltstack 之state.sls 与 state.highstate 这里简单介绍一下state.sls 与 state.highstate 与区别,这也是自己在使用过程中的一点心得吧。 环境介绍:salt 2015.5.0 (Lithium) top.sls state.highstate 这个是全局的所有的环境的所有的状态生效; state.sls

  7. 时域数据信号滑动处理(2)滑动最小二乘拟合SLS

    时域数据信号滑动处理(2)滑动最小二乘拟合SLS 废话不说,直接上一般性最小二乘法公式: 公式1表示拟合公式,其中需要拟合的点为 1 - n 这n个点。 滑动算法简单变换就是把 1-n 这些点变换为 2 - n+1 这些点。 公式变换为 ...

  8. 劢领AT五分钟零基础玩转阿里云物联网套件

    劢领AT| 五分钟,零基础玩转阿里云物联网套件 劢领AT| 五分钟,零基础玩转阿里云物联网套件(M0R1系列) 阿里云准备工作 新建产品 添加设备 WIFI模块及设备连接 AT指令方式 配置网络 一步到位,直接连接阿里云 发布与订阅消息...

  9. 零基础想玩转3D建模这14个建模小技巧你必须知道

    零基础想玩转3D建模,这14个建模小技巧你必须知道! 使用对象管理器合并您的需要 “在一个场景文件中快速完成外观开发是一种很好的方式,”3D动画设计师Jason Poley说。“能够在逐个拍摄的基础上改变模型的位置,材料和可...

  10. 日志服务2.4版本发布:新增数值索引与区间查询

    日志服务2.4版本发布:新增数值索引与区间查询 主要功能 支持数值类(Double/Long)索引与查询,使用说明 对于日志中延时、位置和精度等数据提供多维度过滤 支持与文本类数据进行多维数据查询(最大30维) 通过技术大幅优化...

  11. 【大数据新手上路】“零基础”系列课程--日志服务(Log Service

    【大数据新手上路】“零基

  12. ForeSpider采集教程发布(论坛类)零基础轻松获取数据

    ForeSpider采集教程发布(论坛类):零基础轻松获取数据 本篇以360问答论坛为例: 一.网站结构 1.网站截图说明 某些网站需要登陆后才可进行内容的采集,登陆时需先对登陆信息输入位置进行定位,便于后续采集 【网站登陆页】 【...

  13. 大福利Google机器学习零基础在线课程发布免费有中文版

    大福利!Google机器学习零基础在线课程发布,免费!有中文版! 作者 | Leo 新的学习资源来了!刚刚,谷歌上线了人工智能学习网站 Learn with Google AI,并推出了机器学习在线课程,免费!而且还有中文版! 传送门: “机器学习...

  14. Media query媒体查询

    Media query媒体查询 Media query语法格式中的设备类型如下: all:适用于所有的设备类型 aural:适用于语音和音频合成器 braille:适用于触觉反馈设备 embossed:适用于凸点字符,印刷设备 handheld:适用于小型或手提设备 print:适用于打印机 pro...

  15. 使用QQ Builder生成CSS数量查询

    使用QQ Builder生成CSS数量查询 这是一个相当复杂的功能,但是 在容器中有多个项目 时也很有用。 很少有开发人员在其网站上了解或使用 CSS数量查询 。 另一个示例是根据导航菜单中 的链接数 更新链接的宽度 。 例如,如果列表...

  16. MongoDB查询操作符(Query Operators)

    MongoDB查询操作符(Query Operators) 本文地址:http://www.cnblogs.com/egger/archive/2013/05/04/3059374.html 欢迎转载,请保留此链接??? ????! 查询操作符(Query Operators)可以让我们写出复杂查询条件,让我们使用的过程更加灵活。 官方文档中使用的“...

  17. CSS Feature Queries (CSS特性查询)

    CSS Feature Queries (CSS特性查询) Feature Queries 是CSS3 Conditional Rules specification中 的一部分,它支持“@supports”规则,“@supports”规则可以用来测试浏览器是否支持CSS属性和值对。CSS本身有降级机制,比如忽视 不支持的属性或值,但当...

  18. req.query查询前端发送过来的参数

    req.query查询前端发送过来的参数 req.body req.query 的区别;req.body获取body的值,注册页的值;获取post方式请求的值 req.query 获取地址栏的值,get方式就是地址栏 checkSession 检测是否登入,checkSession是一个函数,在app.js里面. mv表find查询.then获...

  19. lombok 之builder 与Mybaties plus 不兼容导致的查询错误

    lombok 之builder 与Mybaties plus 不兼容导致的查询错误 user_code 是手机号(字符串) error_file_status 是integer类型 发现使用了@Builder后,数据可以被查询出来,但是,数据只要是数字就被认为是时间戳 两者不兼容,实体类去掉@Builder后正...

  20. JavaScript使用URLSearchParams获取查询字符串的值(query strin

    Firefox44+,Opera36+andChrome49+已经支持?URLSearchParams?API。 基本用法 letparams=newURLSearchParams(location.search.slice(1)); 直接使用location.search需要把开始的问号?去掉。例子里使用slice(1)来去掉“?”。 使用URL构造 除了直接使用URLSearchP

每天更新java,php,javaScript,go,python,nodejs,vue,android,mysql等相关技术教程,教程由网友分享而来,欢迎大家分享IT技术教程到本站,帮助自己同时也帮助他人!

Copyright 2021, All Rights Reserved. Powered by 跳墙网(www.tqwba.com)|网站地图|关键词