Menu
您的位置:中国房产新闻网 > 数据研究 > >

Splunk大数据分析经验地产新闻分享:从入门到夺门而逃

新闻来源:网易  2018-03-11 19:02

购买:action=purchase

Splunk Free,免费版,每天最大数据索引量500MB,可使用绝大多数企业版功能。

limit,限制查询,如:limit 5,限制结果的前5条

图片

source="tutorialdata.zip:*" index="tutorialdata" | top clientip 

(获取出现次数最多的IP,降序排列)

修改密码如下:其中role是角色,auth是验证原密码

下一步(Receiving Indexer),这里是设置接收器,即上述勾选的系统日志将转发到哪个IP和端口上。由于我们的splunk企业版在本地,所以这里写localhost,开启一个10001端口让这些日志转发到Splunk entiprise上。

stats list(),未去重之后列出括号指定字段的内容

#share

图标名称必须为:appIcon.png 36x36px

index="apachedata" sourcetype="access_combined_wcookie" | timechart span=2h dc(clientip) as "独立IP数" by host

1、可分为三层:第一层为数据源端:如应用服务器、服务总线、网络设备、防火墙等。 

图片

etc/apps/search/local 目录,用户配置APP的文件存在在这里。Splunk升级不会覆盖该该文件夹下的配置文件

61.png

splunk-6.4.2-00f5bb3fa822-Linux-x86_64.tgz

图片

图片

#接着在splunk enterprise上配置接收。

etc/apps/目录,本身存在很多自带的APP,如:默认的search & reporting 的APP就是存在etc/apps/search。

3)、splunk的可执行程序都放在/opt/splunk/bin/下,启动该程序应执行splunk,splunk命令参数如下:

./splunk

图片

#var目录:

| eval my_time=_time | convert timeformat=“%Y-%m-%d %H:%M:%S” ctime(my_time) | rename my_time as “时间” index="apachedata" sourcetype="access_combined_wcookie"|table _time,clientip | rename _time as 时间,clientip as "用户IP"

(上面的clientip是通过子搜索 search 后面的结果,最后使用了“|table clientip”来只显示clientip字段,最后再进行如上次的统计数量和明细)

图片

图片

图片

三、Splunk的搜索语言(chart)

在用于制作图表的表格输出中返回结果。

图片

rare, 显示字段出现次数最少的值

chart count():

或者通过Splunk CLI修改:

图片

图片

千万不要直接修改default目录下的文件

创建单独的App,名为TutorialData,并在该App中查看导入的数据

产品的购买趋势图

四、导入后的数据乱码了,是否可以重新再导入?

~ vim /opt/splunkforwarder/etc/apps/search/local 如果没有local则创建该目录

图片

图片

通过修改配置文件设定编码,设置全局默认编码,或为特定的数据类型设定编码:

注:以下字段中含义:action=purchase代表成功购买产品 status表示状态为200

图片

username: 用户名称

图片

可在Web界面修改

Splunk不允许对索引后的数据进行修改。但可以使用delete 命令删除数据,删除后无法检索到这些数据,但其实这些数据并未被从磁盘上删除。

修改端口:

etc目录下:许可、配置文件 ,以及splunk创建的app、下载的app都将存在etc/apps;

可视化后添加到仪表盘,可将现有仪表盘生成PDF。

图片

以Search&Repoeting APP具体说明:

source="tutorialdata.zip:*" index="tutorialdata" host="www1"|stats count(clientip)

[统计clientip数量]

1、 权限设置

图片

设定路径中的段为主机名,如压缩包:/waf/secure.log,我们可以取waf为主机host名称

geostats命令:生成将在世界地图上呈现且群集化成地理数据箱的统计信息。

设置->转发和接收->配置接收,新增9997 (Web界面设置)

图片

图片

1.png

图片

转发器许可证,针对重量和轻量级许可证,通用转发器不需要。

./splunk add index apachedata

source="logs.zip:*" index="tutorialdata" (script OR select)

#: (select OR union) 逻辑或。满足一个即可。 关键字OR要大写

0×08 实战-导入并分析本地数据-1

(注:此类配置到Splunk enterprise中,非转发器中)

免责声明:凡本网注明 “来源:XXX(非中国房产新闻网)” 的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。

最新资讯

滚动播报

更多