搜档网
当前位置:搜档网 › 基于Flume的美团日志收集系统二

基于Flume的美团日志收集系统二

基于Flume的美团日志收集系统二
基于Flume的美团日志收集系统二

基于Flume的美团日志收集系统(二)改

进和优化

在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume 的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。

1 Flume的问题总结

在Flume的使用过程中,遇到的主要问题如下:

a. Channel“水土不服”:使用固定大小的MemoryChannel在日志高峰时常报队列大小不够的异常;使用FileChannel又导致IO繁忙的问题;

b. HdfsSink的性能问题:使用HdfsSink向Hdfs写日志,在高峰时间速度较慢;

c. 系统的管理问题:配置升级,模块重启等;

2 Flume的功能改进和优化点

从上面的问题中可以看到,有一些需求是原生Flume无法满足的,因此,基于开源的Flume我们增加了许多功能,修改了一些Bug,并且进行一些调优。下面将对一些主要的方面做一些说明。

2.1 增加Zabbix monitor服务

一方面,Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix 做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。

另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免zabbix server造成压力。目前我们最为关心的是Flume能否及时把应用端发送过来的日志写到Hdfs上,对应关注的metrics为:

?Source : 接收的event数和处理的event数

?Channel : Channel中拥堵的event数

?Sink : 已经处理的event数

2.2 为HdfsSink增加自动创建index功能

首先,我们的HdfsSink写到hadoop的文件采用lzo压缩存储。HdfsSink可以读取hadoop配置文件中提供的编码类列表,然后通过配置的方式获取使用何种压缩编码,我们目前使用lzo压缩数据。采用lzo压缩而非bz2压缩,是基于以下测试数据:

event大

小(Byte)sink.batch-size hdfs.batchSize

压缩

格式

总数

据大

小(G)

耗时

(s)

平均

events/s

压缩

后大

小(G)

54430010000bz29.124486833 1.36 54430010000lzo9.161227333 3.49

其次,我们的HdfsSink增加了创建lzo文件后自动创建index功能。Hadoop提供了对lzo创建索引,使得压缩文件是可切分的,这样Hadoop Job可以并行处理数据文件。HdfsSink本身lzo压缩,但写完lzo文件并不会建索引,我们在close 文件之后添加了建索引功能。

/**

* Rename bucketPath file from .tmp to permanent location.

*/

private void renameBucket() throws IOException, InterruptedException {

if(bucketPath.equals(targetPath)) {

return;

}

final Path srcPath = new Path(bucketPath);

final Path dstPath = new Path(targetPath);

callWithTimeout(new CallRunner() {

@Override

public Object call() throws Exception {

if(fileSystem.exists(srcPath)) { // could block

https://www.sodocs.net/doc/dc4412796.html,("Renaming " + srcPath + " to " + dstPath); fileSystem.rename(srcPath, dstPath); // could block

//index the dstPath lzo file

if (codeC != null &&

".lzo".equals(codeC.getDefaultExtension()) ) {

LzoIndexer lzoIndexer = new LzoIndexer(new Configuration());

lzoIndexer.index(dstPath);

}

}

return null;

}

});

}

2.3 增加HdfsSink的开关

我们在HdfsSink和DualChannel中增加开关,当开关打开的情况下,HdfsSink

不再往Hdfs上写数据,并且数据只写向DualChannel中的FileChannel。以此策略来防止Hdfs的正常停机维护。

2.4 增加DualChannel

Flume本身提供了MemoryChannel和FileChannel。MemoryChannel处理速度快,但缓存大小有限,且没有持久化;FileChannel则刚好相反。我们希望利用两者的优势,在Sink处理速度够快,Channel没有缓存过多日志的时候,就使用MemoryChannel,当Sink处理速度跟不上,又需要Channel能够缓存下应用端发送过来的日志时,就使用FileChannel,由此我们开发了DualChannel,能够智能的在两个Channel之间切换。

其具体的逻辑如下:

/***

* putToMemChannel indicate put event to memChannel or fileChannel

* takeFromMemChannel indicate take event from memChannel or fileChannel * */

private AtomicBoolean putToMemChannel = new AtomicBoolean(true); private AtomicBoolean takeFromMemChannel = new AtomicBoolean(true);

void doPut(Event event) {

if (switchon && putToMemChannel.get()) {

//往memChannel中写数据

memTransaction.put(event);

if ( memChannel.isFull() || fileChannel.getQueueSize() > 100) {

putToMemChannel.set(false);

}

} else {

//往fileChannel中写数据

fileTransaction.put(event);

}

}

Event doTake() {

Event event = null;

if ( takeFromMemChannel.get() ) {

//从memChannel中取数据

event = memTransaction.take();

if (event == null) {

takeFromMemChannel.set(false);

}

} else {

//从fileChannel中取数据

event = fileTransaction.take();

if (event == null) {

takeFromMemChannel.set(true);

putToMemChannel.set(true);

}

}

return event;

}

2.5 增加NullChannel

Flume提供了NullSink,可以把不需要的日志通过NullSink直接丢弃,不进行存储。然而,Source需要先将events存放到Channel中,NullSink再将events取出扔掉。为了提升性能,我们把这一步移到了Channel里面做,所以开发了NullChannel。

2.6 增加KafkaSink

为支持向Storm提供实时数据流,我们增加了KafkaSink用来向Kafka写实时数据流。其基本的逻辑如下:

public class KafkaSink extends AbstractSink implements Configurable { private String zkConnect;

private Integer zkTimeout;

private Integer batchSize;

private Integer queueSize;

private String serializerClass;

private String producerType;

private String topicPrefix;

private Producer producer;

public void configure(Context context) {

//读取配置,并检查配置

}

@Override

public synchronized void start() {

//初始化producer

}

@Override

public synchronized void stop() {

//关闭producer

}

@Override

public Status process() throws EventDeliveryException {

Status status = Status.READY;

Channel channel = getChannel();

Transaction tx = channel.getTransaction();

try {

tx.begin();

//将日志按category分队列存放

Map> topic2EventList = new HashMap>();

//从channel中取batchSize大小的日志,从header中获取category,生成topic,并存放于上述的Map中;

//将Map中的数据通过producer发送给kafka

https://www.sodocs.net/doc/dc4412796.html,mit();

} catch (Exception e) {

tx.rollback();

throw new EventDeliveryException(e);

} finally {

tx.close();

}

return status;

}

}

2.7 修复和scribe的兼容问题

Scribed在通过ScribeSource发送数据包给Flume时,大于4096字节的包,会先发送一个Dummy包检查服务器的反应,而Flume的ScribeSource对于logentry.size()=0的包返回TRY_LATER,此时Scribed就认为出错,断开连接。这样循环反复尝试,无法真正发送数据。现在在ScribeSource的Thrift接口中,对size为0的情况返回OK,保证后续正常发送数据。

3. Flume系统调优经验总结

3.1 基础参数调优经验

HdfsSink中默认的serializer会每写一行在行尾添加一个换行符,我们日志本身带有换行符,这样会导致每条日志后面多一个空行,修改配置不要自动添加换行符;

lc.sinks.sink_hdfs.serializer.appendNewline = false

调大MemoryChannel的capacity,尽量利用MemoryChannel快速的处理能力;调大HdfsSink的batchSize,增加吞吐量,减少hdfs的flush次数;

适当调大HdfsSink的callTimeout,避免不必要的超时错误;

3.2 HdfsSink获取Filename的优化

HdfsSink的path参数指明了日志被写到Hdfs的位置,该参数中可以引用格式化的参数,将日志写到一个动态的目录中。这方便了日志的管理。例如我们可以将日志写到category分类的目录,并且按天和按小时存放:

lc.sinks.sink_hdfs.hdfs.path =

/user/hive/work/orglog.db/%{category}/dt=%Y%m%d/hour=%H

HdfsS ink中处理每条event时,都要根据配置获取此event应该写入的Hdfs path 和filename,默认的获取方法是通过正则表达式替换配置中的变量,获取真实的path和filename。因为此过程是每条event都要做的操作,耗时很长。通过我们的测试,20万条日志,这个操作要耗时6-8s左右。

由于我们目前的path和filename有固定的模式,可以通过字符串拼接获得。而后者比正则匹配快几十倍。拼接定符串的方式,20万条日志的操作只需要几百毫秒。

3.3 HdfsSink的b/m/s优化

在我们初始的设计中,所有的日志都通过一个Channel和一个HdfsSink写到Hdfs 上。我们来看一看这样做有什么问题。

首先,我们来看一下HdfsSink在发送数据的逻辑:

//从Channel中取batchSize大小的events

for (txnEventCount = 0; txnEventCount < batchSize; txnEventCount++) { //对每条日志根据category append到相应的bucketWriter上;

bucketWriter.append(event);

for (BucketWriter bucketWriter : writers) {

//然后对每一个bucketWriter调用相应的flush方法将数据flush到Hdfs上

bucketWriter.flush();

假设我们的系统中有100个category,batchSize大小设置为20万。则每20万条数据,就需要对100个文件进行append或者flush操作。

其次,对于我们的日志来说,基本符合80/20原则。即20%的category产生了系统80%的日志量。这样对大部分日志来说,每20万条可能只包含几条日志,也需要往Hdfs上flush一次。

上述的情况会导致HdfsSink写Hdfs的效率极差。下图是单Channel的情况下每小时的发送量和写hdfs的时间趋势图。

鉴于这种实际应用场景,我们把日志进行了大小归类,分为big, middle和small 三类,这样可以有效的避免小日志跟着大日志一起频繁的flush,提升效果明显。下图是分队列后big队列的每小时的发送量和写hdfs的时间趋势图。

4 未来发展

目前,Flume日志收集系统提供了一个高可用,高可靠,可扩展的分布式服务,已经有效地支持了美团的日志数据收集工作。

后续,我们将在如下方面继续研究:

?

日志管理系统:图形化的展示和控制日志收集系统;

?

?

跟进社区发展:跟进Flume 1.5的进展,同时回馈社区;

?

系统下收集日志方法

收集日志操作如下: HPS 1、将附件HPSRPT_Enhanced_v9.0.00r2.zip 文件copy到目标服务器,存放在c:\ 2、解压到当前文件夹后双击运行HPSRPT_Enhanced_v9.0.00r2.cmd文件 3、不要关闭DOS运行窗口大约15分钟左右会自动消失说明运行完成。 4、完成后需要到C:\WINDOWS\HPSReports\Enhanced\Report\cab 目录下查看生成文件信息 5、收集对应时间点的cab文件即可。 第一个日志:ADU报告 2、打开开始——程序——HP System Tools——HP Array Configuration Utility——HP Array Configuration Utility。

3、选择Local Applcation Mode,本地应用模式。 4、打开了HP Array Configuration Utility工具后,点中间的Diagnostics选项卡,选中左侧的

阵列卡,右侧会出现2个按钮,查看和提取日志报告,我们选择Generate Diagnostic Report。 5、提示Reprot Generation Complete日志提取完毕,这时可以选择右下角Save report按钮。

6、选择保存,弹出保存菜单,点保存。 7、可以选择保存到桌面上。

第二个报告:survey报告 打开开始——程序——HP System Tools——HP Insight Diagnostics online Edition for Windows ——HP Insight Diagnostics online Edition for Windows。 9、提示安全证书报警,选择是,继续。

美团产品分析报告

美团产品分析报告 一.产品概述 美团网是2010年3月4日成立的团购网站。美团网有着“美团一次,美一 次”的宣传口号。为消费者发现最值得信赖的商家,让消费者享受超低折 扣的优质服务;为商家找到最合适的消费者,给商家提供最大收益的互联网推广。 美团网一贯坚持与商家平等、互利、共赢的合作标准,作为一家本地化服务类电子商务企业,美团网竭诚服务于各城市的商家和消费者,并追求低成本、高效率,不仅帮助消费者发现生活当中的乐趣:一方面为消费者提供非常好的本地化精品消费指南,另一方面为消费者带来非常深度的消费折扣;同时帮助商家更好的按效果付费来获得新顾客。 美团网整个运作过程中,对于商家没有任何风险,消费者如果对合作商家的产品感兴趣,可登陆美团网通过支付宝或者银联卡付钱下单,之后消费者会收到美团网发送的短信密码消费券,消费者凭短信密码可直接到商家消费,商家可凭消费者消费券和美团网结算。二.行业背景 在2010年的时候,美团网学习国外的模式,将先进的“团购”理念带入了中国,成为了中国第一家大型团购网站。此后,国内迅速跟风,团购网站此起彼伏。到了2011年的时候,国内成型团购网站大约有几千家,可想当年团购网站的竞争多么激烈!为此,团购行业掀起了一场轰动行业的“千团大战”,在这场战斗中,绝大部门的团购网站纷纷倒闭关门,存活下来的,有一定竞争规模的团购网站,就仅剩美团,拉手,糯米,大众点评,窝窝团等。其中美团网一家独大,在2014年占的市场份额大约为56%(美团网CEO王兴接受采访时透漏),而糯米在接受百度糯米的收购以后,竞争实力也有所提升,大众点评也在积极的与微信寻求合作。 团购网站分类 分类标准类别特点实例 团购商品种类服务类为主 消费有地域性,无法批量生 产 拉手网,美团网,点评 团 实物类为主 商品消费无地域性,可批量 生产 淘宝,聚划算 团购网站收入模式平台式团购 团购网站仅为团购活动提 供交易平台,不介入团购商 品的定价、配送等实际交易 环节;收入来自佣金服务费 收入 淘宝聚划算,qq团 购 自主式团购 团购网站负责团购活动前后的 各个环节,包括商户联络、商品 定价、商品配送及售后服务;收 入来自与商户组织团购商品 拉手网,美团网,点 评网,高朋网

日志管理与分析-日志收集及来源

日志管理与分析-日志收集及来源 【前言】 对广大IT工作者,尤其是运维和安全人员来说,“日志”是一个再熟悉不过的名词。日志从哪来?机房中的各种软件(系统、防火墙)和硬件(交换机、路由器等),都在不断地生成日志。IT安全业界的无数实践告诉我们,健全的日志记录和分析系统,是系统正常运营、优化以及安全事故响应的基础,虽然安全系统厂商为我们提供了五花八门的解决方案,但基石仍是具有充足性、可用性、安全性的日志记录系统。实际工作中,许多单位内部对日志并没有充分的认识,安全建设更多在于投入 设备,比如防火墙、IDS、IPS、防病毒软件等,被动地希望这些系统帮助我们完成一切工作,但是俗话说的好:“魔高一尺道高一丈”,以特征码和预定义规则为基础的上述设备,在防护方面永远落在攻击者后面,防微杜渐才是真正的出路。作为一名合格的安全人员,了解日志的概念,了解日志的配置和分析方法,是发现威胁、抵御攻击的重要技能,有了这方面的深刻认识,各种自动化安全解决方案才能真正地发挥效能。 1、日志数据 简单地说,日志消息就是计算机系统、设备、软件等在某种触发下反应生成的东西。确切的触发在很大程度上取决于日志消息的来源。例如,UNix操作系统会记录用户登录和注销的消息,防火墙将记录ACL 通过和拒绝的消息,磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下会生成日志消息。 日志数据就是一条日志消息里用来告诉你为什么生成消息的信息,例如,web服务器一般会在有人访问web页面请求资源(图片、

文件等等)的时候记录日志。如果用户访问的页面需要通过认证,日 志消息将会包含用户名。日志消息可以分成下面的几种通用类型: ?信息:这种类型的消息被设计成告诉用户和管理员一些没有风险的事情发生了。例如,Cisco IOS将在系统重启的时候生成消息。不过,需要注意的是,如果重启发生在非正常维护时间或是业务时间,就有发出报警的理由。 ?调试:软件系统在应用程序代码运行时发生调试信息,是为了给软件开发人员提供故障检测和定位问题的帮助。 ?警告:警告消息是在系统需要或者丢失东西,而又不影响操作系统的情况下发生的。 ?错误:错误日志消息是用来传达在计算机系统中出现的各种级别的错误。例如,操作系统在无法同步缓冲区到磁盘的时候会生成错误信息。?警报:警报表明发生了一些有趣的事,一般情况下,警报是属于安全设备和安全相关系统的,但并不是硬性规定。在计算机网络中可能会运行一个入侵防御系统IPS,检查所有入站的流量。它将根据数据包的内容判断是否允许其进行网络连接。如果IPS检测到一个恶意连接,可能会采取任何预先配置的处置。IPS会记录下检测结果以及所采取的行动。 2、日志数据的传输与收集 计算机或者其他设备都实现了日志记录子系统,能够在确定有必 要的时候生成日志消息,具体的确定方式取决于设备。另外,必须有 一个用来接收和收集日志消息的地方,这个地方一般被称为日志主 机。日志主机是一个计算机系统,一般来说可能是linux和windows服

美团产品分析报告

“美团”产品分析报告 美团产品定义:从字面来瞧,美团就就是一个为用户提供美食、酒店、电影、购物等类型的团购网站,让用户在享受商家提供服务的同时获得更好的精神上的体验,正如它的slogan:“美团一次,美一次”。在这里,消费者可以找到各种可信赖的商家,享受其提供的折扣服务;商家也可通过入驻,找到更合适的消费者。 我理解的美团关键词:可信赖的商家、优质的生活服务。美团的出现使得本地化服务从线下迁移到线上,解决了用户最基本的每天吃喝玩乐去哪里的问题。 一、需求分析 1.1 需求场景描述: 小明就是一个吃货学生党,已经把周围那些又便宜又好吃的店铺吃遍了,某天,从网上瞧到有人推荐某个高端的餐厅,但就是鉴于自己的经济能力,无法消费起这样的地方,但就是作为一个吃货,她十分希望能够去体验一次。因此,她登录了美团网站,在搜索框输入了该餐厅的名字,刚好,搜到了这家餐厅的团购信息,适中的价格能够体验一些招牌菜,于就是她马上通过在线支付购买了一份。之后,通过电话预约好时间后就去大快朵颐了,在吃之前还对各道菜拍了照片。消费完之后通过美团在该团购下方提供的评价与实图,为其她人提供参考,并且自己也可获得一定的积分。 1.2 满足了什么人在什么情况下的什么需求? 美团的目标受众群体:想要以更优惠的价格享受服务的人。美团所满足的就是她们在网站上寻找并确定商家,享受商家提供服务,为团购评价这一系列过程带来的成就感。她们渴望找到一间服务质量又高,价格又实惠的商家,渴望自己的评价能为其她消费者提供参考价值。 二、产品主要功能 2.1 注册、登录、个人主页 与其她电子商务网站一样,都需要消费者先注册,之后可通过用户名、注册邮箱或者绑定手机进行登录。对于自己团购的记录,也需要一个个人主页来记录

中国移动上网日志留存系统GbIuPS采集解析设备规范

中国移动通信企业标准 QB-W-025-2011 中国移动上网日志留存系统规 范G b/I u P S采集解析设备规范 E q u i p m e n t S p e c i f i c a t i o n o f C h i n a M o b i l e N e t l o g S y s t e m (S i g n a l C o l l e c t i o n G b/I u P S P a r t) 版本号:1.0.0 2013-6-25发布2013-6-27实施中国移动通信集团公司发布

目录 前言 .................................................................... III 1 范围 (1) 2 规范性引用文件 (1) 3 术语、定义和缩略语 (1) 4 设备在系统中的位置 (2) 5 功能要求 (3) 5.1 Gb/IuPS采集位置要求 (4) 5.2 数据旁路功能要求 (6) 5.3 数据接入功能要求 (7) 5.4 协议解码功能要求 (7) 5.5 DPI功能要求(可选) (8) 5.6 数据存储功能要求 (9) 5.7 数据输出功能要求 (10) 5.8 上报告警功能要求 (10) 6 性能指标和可靠性要求 (11) 6.1 性能要求 (11) 6.2 软件要求 (11) 6.3 硬件要求 (12) 6.4 可扩展要求 (12) 6.5 部署要求 (12) 6.6 可靠性 (13) 7 接口要求 (13) 7.1 千兆以太网接口 (13) 7.1.1 1000BaseT接口 (14) 7.1.2 1000Base-SX接口 (14) 7.1.3 1000Base-LX接口 (14) 7.2 10G以太网接口 (14) 7.2.1 10GBase-S接口 (14) 7.2.2 10GBase-L接口 (14) 7.2.3 10GBase-E接口 (14) 8 时间同步要求 (15) 9 网管要求 (15) 9.1 配置管理 (15) 9.2 查询设备信息 (17) 9.2.1 设备硬件信息 (17) 9.2.2 设备网络信息 (17) 9.3 查询设备状态 (18) 9.3.1 设备负荷 (18) 9.4 设备状态管理 (19) 9.4.1 故障管理 (19) 9.5 性能管理 (20) 9.6 安全管理 (20)

美团网App产品分析报告

2010年9月 A轮红杉资本中国【1000万美元】 2011年7月 B轮阿里巴巴/阿里资本、红杉资本中国、北极光创投、华登国际投资【5000万美元】 2014年5月 C轮 General Atlantic泛大西洋投资、红杉资本中国、阿里巴巴/阿里资本【3亿美元】 2014年12月 D轮【7亿美元】估值达到70亿美元,最近两年不考虑上市。 可以看出,12年13年并没有进行融资。之后这一国内最大团购网站随即投入重金进行线下广告投放,以强化自身品牌形象。之后团购涌现出几家大头,像窝窝团、百度糯米,3、4线城市业务点抢占越来越激烈。仅14年就进行了2次融资。 主要用户: 团购用户群主要就是商家和追求低折扣的消费者。 商家作为团购商品的提供者,同时也是美团网的用户。 商家:接受新事物能力强,大部分是个体户,年龄偏向年轻化。之前了解过使用过团购。 消费者:消费观念超前,追求生活质量和消费体验,,上班族居多。 业务核心: 团购的最初目的就是低折扣。问题就在于怎样在商家提供的信息和用户的需求之间做匹配、推荐处理。 对于商家,主要是推广店铺商品/服务,宣传。 对于消费者,主要是享受低折扣,可以直接在线购买、支付,线下使用。 产品功能结构图:

注:带★号标红的项目是区分地域的,不同城市展现的功能模块有区别。产品设计 团购(首页): 横移菜单&二级页面

根据商品特点,每个版块都有不同的页面样式。顶部滚动图广告还贴心的放置了×关闭按钮。 优点: 简洁明了、操作方便。快速引导用户前往意向点。 商家列表分隔清楚,不易看”串”。 缺点:用户不能根据自己的喜好编辑菜单内容排序。 地图 地图功能在两处都有,首页和商家页面。但是这两处的地图功能略有区别(脑图上写的同上是指基本功能一样) 1. 首页中的地图显示的是定位所在城市的全城团购信息。(而且只显示手机定位的城市),即使你切换了目前所在城市,它显示的仍然是手机定位所在城市的信息。 2. 商家页面的地图只显示当前筛选结果中包含的商家。 例如:点击商家—全部分类—选择电影,那么点击地图出现的就只有电影相关的商家信息。 除了上述区别,地图在A情况是并没有【查看路线】这一按钮。只有B情况才有。 优点:在经过初步浏览和筛选,有了一定的购买意向后才引导用户查看路线。同时避免了A中商家过多,再加上查看路线按钮,显得整个地图界面很拥挤的问题。

基于Flume的美团日志收集系统

基于Flume的美团日志收集系统(一)架构和设计

Agent 丰 富程度提供丰富的Agent,包括avro/thrift socket, text, tail等 主要是thrift端口 Store丰富程度可以直接写hdfs, text, console, tcp;写 hdfs时支持对text和sequence的压 缩; 提供buffer, network, file(hdfs, text)等 代码结构系统框架好,模块分明,易于开发代码简单 3 美团日志收集系统架构 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。目前每天收集和处理约T级别的日志数据。 下图是美团的日志收集系统的整体框架图。 a. 整个系统分为三层:Agent层,Collector层和Store层。其中Agent层每个机器部署一个进程,负责对单机的日志收集工作;Collector层部署在中心服务器上,负责接收Agent 层发送的日志,并且将日志根据路由规则写到相应的Store层中;Store层负责提供永久或者临时的日志存储服务,或者将日志流导向其它服务器。 b. Agent到Collector使用LoadBalance策略,将所有的日志均衡地发到所有的Collector上,达到负载均衡的目标,同时并处理单个Collector失效的问题。 c. Collector层的目标主要有三个:SinkHdfs, SinkKafka和SinkBypass。分别提供离线的数据到Hdfs,和提供实时的日志流到Kafka和Bypass。其中SinkHdfs又根据日志量的大小分为SinkHdfs_b,SinkHdfs_m和SinkHdfs_s三个Sink,以提高写入到Hdfs的性能,具体见后面介绍。 d. 对于Store来说,Hdfs负责永久地存储所有日志;Kafka存储最新的7天日志,并给Storm 系统提供实时日志流;Bypass负责给其它服务器和应用提供实时日志流。

电商外卖产品分析报告(饿了么VS美团外卖)

电商外卖产品模式分析报告 (饿了么VS美团外卖) 情景再现 在生活中,你是否遇到过以下几个情景: ?情景一:午餐高峰排长队,内心挣扎,是排还是不排?是吃还是不吃? ?情景二:刮风、下雨、雾霾,不可抗自然因素,不想出去啊! ?情景三:工作忙没时间出去吃饭,好可怜,呜呜~ ?情景四:宅在家里,做一只安静的宅男宅女,懒得出去! 这些情景使得外卖不断受热捧,从传统外卖逐渐过渡到互联网外卖,如今战火纷飞,饿了么、美团外卖、百度外卖、口碑外卖、到家美食会等通过各种优惠方式,争抢商家、用户。 本文将主要四个方面来分析外卖产品——饿了么、美团外卖

一、传统外卖模式VS互联网外卖模式 传统外卖模式 商家发传单——顾客接收传单——顾客按宣传单点餐——商家记录菜品与地点——商家按订购生产——商家自行配送——顾客接收菜品并现金支付 传统外卖模式痛点: 商家侧: ?发传单宣传范围有限、效果难追踪,导致用户转化率低。 ?传单发布的菜品、活动信息更新慢,导致相应菜品点餐率低。 ?信息化水平低,如人工发单、接电话、下单、抄单,导致效率低、订单错误率高 ?难以获得用户数据分析m ?商家自行配送,增添负担。 顾客侧: ?根据传单点外卖,可选商家、菜品单一 ?通过传单无法获知新品、促销信息,送餐进度无法实时查看 ?无法了解其他顾客对商家、菜品的评价,缺少判断信息 ?商家联系方式易丢失 ?现金交易繁琐,整体导致用户体验差。 互联网外卖模式将传统外卖模式改造,提供了痛点解决方案: 互联网外卖模式:

顾客、商家聚集于线上平台——商家展示菜品、优惠活动、商家信息于平台上——顾客浏览平台并下单——线上支付或现金支付——商家线上接收订单——商家按订购生产——自行配送或第三方配送——顾客接收菜品 商家侧: ?通过线上平台宣传,达到更广的用户覆盖,减少宣传成本 ?实时更新菜品、促销信息,便于顾客了解 ?信息化流程,如点餐方式、电子出单、结算,减少人力成本 ?基于大数的用户据分析,有助于精准营销 ?第三方平台可支持配送,减轻商家负担 顾客侧: ?商家信息多样化,可选择性高 ?在线预览菜品,订餐、配送情况实时掌握 ?用户评价提供参考 ?商家信息(联系方式、地址)不用担心丢失 ?在线支付,简化消费流程 二、市场概况

收集日志的方法

收集日志的方法(V5.5及以下版本) 刘奇liuqi@https://www.sodocs.net/doc/dc4412796.html,2010-9-14 说明:本文档非本人编写,为深圳同事总结。 举例说明,怎样把程序出错时,或者程序运行慢的前台界面现象截图,前台详细日志,后台详细日志收集和提交。 1. 某客户查询凭证时,前台报错。 2.下面介绍怎样把日志收集完整给开发, 在打开这个出错节点之前,我们先打开前台日志,在程序的右上角上一个日志按钮, 并把log level设置为debug, 按clear 按钮清除之前的日志,让收集的日志更为准确 3.在服务器端运行wassysconfig.bat—log- 日志配置http://localhost:88 –读取(中间件必须在启动状态),下图中88为nc的web访问端口,如果是80端口访问nc,请在此输入80. 把anonymous和nclog 级别设置为debug,滚动策略中最大字节设置为10m,最大文件数设置为20,并按保存。如下图,这个时候,所在访问nc服务器的88端口的操作,将会有debug输出到指定目录的指定文件。(ncv5产品是可以动态打开和关闭日志,不需要重新启动中间件才生效)

4.在服务器端打开日志目录D:\ufida\ufsoft\nclogs\server1,按日期排序日志文件,记下nc-log 和anony-log当前正在输出的文件(可能有很多nc-log和anony-log文件,要记住正在输出的最新的日志文件),如下图nc-log[0].log和anony-log[0].log是正在输入的日志文件 1.准备工作都完成了,我们需要把问题重现一次。以便生成日志并提交给开发。如下图, 我们操作凭证查询,界面报错,我们可以使用键盘上的prtscreen键直接截图到word文件,把前台直接看到的错误保存下来。 2.问题重现后,我们立即去把后台日志的级别设置为error,并保存。防止其他用户操作nc 产生大量的日志输出,不便查找我们所要的信息,如下图

O2O产品分析报告——美团移动客户端

1.O2O行业概述 O2O,是英文“online to offline”的全称(也可作“offline to online”),中文译为线上线下电子商务,是指将线下的商务机会与互联网结合。 生活服务类O2O是指,将线下本地生活服务,包括餐饮、票务、酒店、休闲娱乐、生活便民等与互联网相结合,使用户可以线上消费,线下体验。 团购,作为生活服务类O2O的主要形式,已实现产品闭环,对中国生活服务O2O市场发展起到了重要的作用。 团购产品的市场规模 根据“易观智库”的研究报告数据,2014年上半年,中国团购市场的成交额已经达到了亿元,预计2014年全年成交额将达到750亿,同比增长%。参团人数、在售团单相比去年同期都有大幅度的提升。 用户群体 从抽样结果中可以看到,团购市场的用户%为女性,%为男性。在年龄分布上,其中%为26-30岁的人群,%为21-25岁的人群,即83%以上的用户群为21-30岁。中国团购用户职业%为企事业单位普通职员,%为中层人员。收入的分布上,用户月平均收入%为5000元以下。 用户所在城市的分布上,一线二线三线城市分布人数比例差距并不大。 产品组成及竞争情况 由条形图可以发现,相比去年同期,美团网的市场份额增长了19%,呈现一家独大的趋势,而大众点评网和百度糯米网页分别增长了3%和4%。可以明显的看出其他网站的市场份额缩水严重,行业集中非常明显。 新的发展趋势 由于本年初,团购市场的两大新闻——百度收购糯米网、腾讯控股大众点评网。在上面的条形图中也可以看到,被收购后糯米团的市场份额从9%上升到13%,而窝窝团却从原先相比更高的10%缩水到6%,可以看到,BAT进军O2O平台对现在团购市场的影响还是巨大的,所以三家竞争继续挤压其他网站平台市场的现状会一直延续下去,但是作为完全被百度控股的糯米网,由于有百度强大的搜索和信息引擎支持,其团队的实力增加很多,在将来也有超越大众点评网的趋势,而

Linux 系统日志收集分析系统

Linux 系统日志收集分析系统 一、搭建环境 系统:centos6.5 软件:lamp、rsyslog、rsyslog-mysql 、loganalyzer rsyslog用来收集远程服务器系统日志信息 rsyslog-mysql是rsyslog连接数据库的模块 loganalyzer用来分析系统日志 二、软件安装 a、httpd安装 tar -jxvf apr-1.5.1.tar.bz2 ./configure --prefix=/usr/local/apr make && make install tar -zxvf apr-util-1.5.4.tar.gz ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr/ make && make install tar -zxvf httpd-2.4.12.tar.gz yum install -y pcre-devel zlib-devel openssl-devel ./configure --prefix=/data/program/apache2 --enable-so --enable-rewrite --enable-ssl --enable-cgi --enab le-cgid --enable-modules=most --enable-mods-shared=most --enable- mpms-share=all --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --enable-deflate make -j 6 && make install ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 修改httpd配置文件,添加如下两行 AddType application/x-httpd-php .php AddType application/x-httpd-php-source .phps 定位至DirectoryIndex index.htm DirectoryIndex index.php index.html 注释掉主服务的站点目录 #DocumentRoot "/data/program/apache2/htdocs" 开启虚拟主机需要加载 Include conf/extra/httpd-vhosts.conf LoadModule log_config_module modules/mod_log_config.so 添加虚拟主机 DirectoryIndex index.php index.htm ServerAdmin https://www.sodocs.net/doc/dc4412796.html, DocumentRoot "/data/program/apache2/htdocs/" ServerName https://www.sodocs.net/doc/dc4412796.html, ErrorLog "logs/syslog-error_log" CustomLog "logs/syslog-access_log" common 添加httpd及mysql的路径环境变量 vi /etc/profile.d/path.sh PAHT=$PATH:/data/program/mysql5/bin:/data/program/apache/bin source /etc/source httpd -k start ---------------------------------------------------------------------- b、mysql5.5安装 groupadd -r mysql useradd -g mysql -r -d /data/mydata mysql yum install cmake tar xf mysql-5.5.25.tar.gz cd mysql-5.5.25 cmake . -DCMAKE_INSTALL_PREFIX=/data/program/mysql5 -DMYSQL_DATADIR=/mydata/data -DSYSCONFDIR=/etc -DWITH _INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STORAGE_ENGINE=1 - DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DWITH_READLINE=1 -DWITH_SSL=system -DWITH_ZLIB=system -DWITH_LIBWRAP=0 -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DDEFAULT_CHARSET=utf8 - DDEFAULT_COLLATION=utf8_general_ci make make install ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 初始化数据库 /data/program/mysql5/scripts/mysql_install_db --basedir=/data/program/mysql5 --datadir=/data/program/mysq l5 --user=mysql 添加mysql启动程序到init.d cp /data/program/mysql5/support-files/mysql.server /etc/init.d/mysqld chkconfig --add mysqld 提供mysql配置文件 /etc/https://www.sodocs.net/doc/dc4412796.html,f port = 3306 socket = /tmp/mysql.sock [mysqld] port = 3306 socket = /tmp/mysql.sock skip-external-locking key_buffer_size = 384M max_allowed_packet = 2M

美团产品分析报告

美团产品分析报告 Company number:【0089WT-8898YT-W8CCB-BUUT-202108】

“美团”产品分析报告 美团产品定义:从字面来看,美团就是一个为用户提供美食、酒店、电影、购物等类型的团购网站,让用户在享受商家提供服务的同时获得更好的精神上的体验,正如它的slogan:“美团一次,美一次”。在这里,消费者可以找到各种可信赖的商家,享受其提供的折扣服务;商家也可通过入驻,找到更合适的消费者。 我理解的美团关键词:可信赖的商家、优质的生活服务。美团的出现使得本地化服务从线下迁移到线上,解决了用户最基本的每天吃喝玩乐去哪里的问题。 一、需求分析 1.1 需求场景描述: 小明是一个吃货学生党,已经把周围那些又便宜又好吃的店铺吃遍了,某天,从网上看到有人推荐某个高端的餐厅,但是鉴于自己的经济能力,无法消费起这样的地方,但是作为一个吃货,他十分希望能够去体验一次。因此,他登录了美团网站,在搜索框输入了该餐厅的名字,刚好,搜到了这家餐厅的团购信息,适中的价格能够体验一些招牌菜,于是他马上通过在线支付购买了一份。之后,通过电话预约好时间后就去大快朵颐了,在吃之前还对各道菜拍了照片。消费完之后通过美团在该团购下方提供的评价和实图,为其他人提供参考,并且自己也可获得一定的积分。 1.2 满足了什么人在什么情况下的什么需求 美团的目标受众群体:想要以更优惠的价格享受服务的人。美团所满足的是他们在网站上寻找并确定商家,享受商家提供服务,为团购评价这一系列过程带来的成就感。他们渴望找到一间服务质量又高,价格又实惠的商家,渴望自己的评价能为其他消费者提供参考价值。

HP日志收集工具和收集方法

HP日志收集工具和收集方法 一、收集两种日志的方法: nickel日志和crashinfo日志 nickel是收集当前系统日志。但是HP重启系统后,前面的日志就消失了,所以通过crashinfo可以收集更多日志。 将附件中的文件用ftp的bin方式上传到服务器。 详细做法: 1.用tar命令解包: #tar xvf nickel.20091202.tar 会产生一个nickel.sh脚本。 运行nickel.sh 脚本: #sh nicke.sh 会在当前目录下产生一个nickel.sh.主机名.tar.gz文件 (注:如果系统外接的存储较多,此命令运行时间可能会需要一段时间。) 2.为了进一步诊断,需要您再收取一下crash信息: 1)tar xvf crashinfo.tar # 将附件中的文件用bin的方式上传到重启的那台服务器,然后解压 2)cd /var/adm/crash # 进入到文件的解压目录 3)./crashinfo.exe # 执行此命令,在当前的目录里生成crashinfo命令文件(注意:生成的文件没有了.exe后缀)

4)ll # 找到最新生成的crash目录是crash.0 还是crash.1 或是crash.2 ……? 5)./crashinfo crash.? > crash.?.txt # 用生成的crashinfo命令解析最新的crash.? 里面的信息,重定向到crash.?.txt 文件中 例如:./crashinfo crash.1 > crash.1.txt ./crashinfo -H crash.1 > crash.html 二、MP日志收集 MP login: 登录后,会出现MP>提示符。可以输入命令收集各种日志: 1.收集vfp MP:>vfp 2.收集SEL MP>sl -e -t3 -nc 3.收集FPL MP>sl -f -t 3 -nc 然后,在MP>提示符下输入CM回车,进入MP:CM>提示符,然后进行下面操作: 4.收集硬件时间 MP:CM>date

美团产品分析报告

“美团”产品分析报告 美团产品定义:从字面来看,美团就是一个为用户提供美食、酒店、电影、购物等类型的团购网站,让用户在享受商家提供服务的同时获得更好的精神上的体验,正如它的slogan:“美团一次,美一次”。在这里,消费者可以找到各种可信赖的商家,享受其提供的折扣服务;商家也可通过入驻,找到更合适的消费者。 我理解的美团关键词:可信赖的商家、优质的生活服务。美团的出现使得本地化服务从线下迁移到线上,解决了用户最基本的每天吃喝玩乐去哪里的问题。 一、需求分析 1.1 需求场景描述: 小明是一个吃货学生党,已经把周围那些又便宜又好吃的店铺吃遍了,某天,从网上看到有人推荐某个高端的餐厅,但是鉴于自己的经济能力,无法消费起这样的地方,但是作为一个吃货,他十分希望能够去体验一次。因此,他登录了美团网站,在搜索框输入了该餐厅的名字,刚好,搜到了这家餐厅的团购信息,适中的价格能够体验一些招牌菜,于是他马上通过在线支付购买了一份。之后,通过电话预约好时间后就去大快朵颐了,在吃之前还对各道菜拍了照片。消费完之后通过美团在该团购下方提供的评价和实图,为其他人提供参考,并且自己也可获得一定的积分。 1.2 满足了什么人在什么情况下的什么需求? 美团的目标受众群体:想要以更优惠的价格享受服务的人。美团所满足的是他们在网站上寻找并确定商家,享受商家提供服务,为团购评价这一系列过程带来的成就感。他们渴望找到一间服务质量又高,价格又实惠的商家,渴望自己的评价能为其他消费者提供参考价值。 二、产品主要功能 2.1 注册、登录、个人主页 与其他电子商务网站一样,都需要消费者先注册,之后可通过用户名、注册邮箱或者绑定手机进行登录。对于自己团购的记录,也需要一个个人主页来

日志审计管理系统需求说明书

日志审计管理系统需求说明书 一、总体要求 ?支持对主流操作系统、数据库系统、应用软件系统、网络设备、安全设 备进行自动采集。 ?支持SYSLOG和OPSEC LEA标准日志协议,能通过代理收集日志文件, 并将日志统一格式化处理。 ?对采集的日志可分类实时监控和自动告警。 ?对收集的日志信息可按日志所有属性进行组合查询和提供报表。 ?能按日志来源、类型、日期进行存储,支持日志加密压缩归档。 ?不影响日志源对象运行性能和安全。 ?操作简便直观,可用性好。 二、具体要求 2.1日志收集对象要求

用户可根据自己的需求很容易定制开发新的日志收集代理。 2.2 日志收集方式要求 需要支持的协议有syslog、snmp trap、windows log、checkpoint opsec、database、file、xml、soap等等。 ?主动信息采集 对路由器、交换机、防火墙、VPN、IDS/IPS等网络设备的日志采集支持采用SYSLOG(UDP514)和OPSEC LEA协议形式自动采集。 ?日志文件采集 支持本地系统平台上通过安装Agent采集日志文件中的日志信息。 ?性能状态探测 能获取系统平台的CPU、内存、端口使用率、应用的响应时间、进程数、TCP连接数、负载等性能参数。 2.3日志分析功能要求 2.3.1告警功能 ?支持对紧急、严重日志进行自动报警,可自定义需报警的日志类型。 ?监控台支持对收集的全部日志进行分类实时监控。 ?应该能够将各种不同的日志格式表示为统一的日志数据格式。且统一格 式时不能造成字段丢失。 ?能自动对各种类型的日志进行实时分析,并能将紧急、严重的事件日志 通过设备远程主控台、短信、邮件、电话语音提示等方式向管理员发送 实时告警消息,支持自定义报警日志的类型。 ?通过对网络设备及系统平台的性能状态、安全访问、异常事件产生的日

电商外卖产品分析报告

(饿了么VS美团外卖) 情景再现 在生活中,你是否遇到过以下几个情景: 情景一:午餐高峰排长队,内心挣扎,是排还是不排?是吃还是不吃? 情景二:刮风、下雨、雾霾,不可抗自然因素,不想出去啊! 情景三:工作忙没时间出去吃饭,好可怜,呜呜~ 情景四:宅在家里,做一只安静的宅男宅女,懒得出去! 这些情景使得外卖不断受热捧,从传统外卖逐渐过渡到互联网外卖,如今战火纷飞,饿了么、美团外卖、百度外卖、口碑外卖、到家美食会等通过各种优惠方式,争抢商家、用户。 本文将主要四个方面来分析外卖产品——饿了么、美团外卖 一、传统外卖模式VS互联网外卖模式 传统外卖模式 商家发传单——顾客接收传单——顾客按宣传单点餐——商家记录菜品与地点——商家按订购生产——商家自行配送——顾客接收菜品并现金支付 传统外卖模式痛点: 商家侧: 发传单宣传范围有限、效果难追踪,导致用户转化率低。 传单发布的菜品、活动信息更新慢,导致相应菜品点餐率低。 信息化水平低,如人工发单、接电话、下单、抄单,导致效率低、订单错误率高 难以获得用户数据分析m 商家自行配送,增添负担。 顾客侧: 根据传单点外卖,可选商家、菜品单一 通过传单无法获知新品、促销信息,送餐进度无法实时查看 无法了解其他顾客对商家、菜品的评价,缺少判断信息 商家联系方式易丢失 现金交易繁琐,整体导致用户体验差。 互联网外卖模式将传统外卖模式改造,提供了痛点解决方案: 互联网外卖模式: 顾客、商家聚集于线上平台——商家展示菜品、优惠活动、商家信息于平台上——顾客浏览平台并下单——线上支付或现金支付——商家线上接收订单——商家按订购生产——自行配送或第三方配送——顾客接收菜品

项目7 Flume日志采集系统-任务7.2 Flume采集方案说明与可靠性保证

B I T C 项目7 Flume日志采集系统任务7.2 Flume采集方案说明与可靠性保证 主讲教师:马东波

学习目标

章节概要 在大数据系统的开发中,数据收集工作无疑是开发者首要解决的一个难题,但由于生产数据的源头丰富多样,其中包含网站日志数据、后台监控数据、用户浏览网页数据等,数据工程师要想将它们分门别类的采集到HDFS系统中,就可以使用Apache Flume(数据采集)系统。 本章将针对Flume系统的基本概念、安装及应用方式详细讲 解,让读者掌握Flume系统的原理与应用。

C O N T E N T S Flume采集方案说明PART 01 Flume的可靠性保证 PART 02

Flume Sources 在编写Flume采集方案时,首先必须明确采集的数据源类型、出处;接着,根据这些信息与Flume已提供支持的Flume Sources进行匹配,选择对应的数据采集器类型 (即sources.type);再根据选择的数据采集器类型,配置必要和非必要的数据采集器 属性,Flume提供并支持的Flume Sources种类如下所示。 Avro Source Thrift Source Exec Source JMS Source Spooling Directory Source Twitter 1% firehose Source Kafka Source NetCat TCP Source NetCat UDP Source Sequence Generator Syslog TCP Source Multiport Syslog TCP Source Source Syslog UDP Source HTTP Source Stress Source Avro Legacy Source Thrift Legacy Source Custom Source Scribe Source Taildir Source

如何收集服务器各类日志

目录 DSA 工具下载链接: (2) Linux操作系统下收集DSA日志步骤: (2) Windows操作系统下收集DSA日志步骤: (2) IMM日志收集步骤: (3) IMM2日志收集步骤: (6) 刀片服务器的AMM日志收集步骤: (11) Flex刀箱的CMM日志收集步骤: (11) OS和应用日志收集步骤: (11)

DSA 工具下载链接: DSA 工具下载链接 https://www.sodocs.net/doc/dc4412796.html,/support/entry/portal/docdisplay?lndocid=SERV-DSA DSA Installation and User's Guides: https://www.sodocs.net/doc/dc4412796.html,/support/entry/portal/docdisplay?lndocid=MIGR-5084901 Linux操作系统下收集DSA日志步骤 : 日志步骤: 1.把下载的“.bin”的文件拷贝到服务器本地。cp /tmp 2.chmod +x 3.cd /tmp 4./ 5.收集完成后,在根目录下的 VAR/LOG 下会生成一个IBM SUPPORT 的文件夹,其中有以机器 型号序列号及日期命名的日志压缩包,这个就是DSA日志。 日志步骤: : Windows操作系统下收集DSA日志步骤 1.把下载的 DSA 工具拷贝到C 盘根目录 2.双击运行,此时会出现一个 DOS 窗口,等待10 分钟左右,会完成收集工作 3.提示按任意键,DOS 窗口自动关闭。 4.在 C 盘根目录下会生成一个名为IBM SUPPORT 的文件夹,其中有以机器型号序列号及日期命 名的日志压缩包,这个就是DSA日志。

信息系统日志管理办法最终版.doc

陕西煤业化工集团财务有限公司 信息系统日志管理办法 第一章总则 第一条随着公司信息系统规模的逐步扩大,越来越多的主机、应用系统、网络设备加入到系统网络中,日志安全管理变得越来越复杂。为了规范公司信息系统运行过程中的日志安全管理,为系统运行监控、安全事件跟踪、系统审计等提供真实的日志数据,特制定本办法。 第二条本办法适用于公司信息系统日志安全管理过程。 第二章日志产生管理 第三条为了实时有效的产生必须的日志信息,应开启网络设备、安全设备、操作系统、数据库系统、应用系统等系统日志功能。 第四条一般需开启的日志功能项: (一)记录用户切换产生的日志; (二)系统的本地和远程登陆日志; (三)修改、删除数据; (四)为了掌握系统的性能开支,必须开启系统统计,周期性收集系统运行数据,包括 (CPU utilization, disk I/O等) ,管理人员应经常性查看系统负荷和性能峰值,从而判断系统是否被非法使用或受到过攻击。 第五条安全设备需开启的日志功能项: (一)流量监控的日志信息; (二)攻击防范的日志信息; (三)异常事件日志缺省为打开,可发送到告警缓冲区。 第六条本地日志文件不可以全局可写,通过修改日志的默认权限提高日志系统的安全性,防止非授权用户修改日志信息。 第七条安全日志最大值设置。安全日志最大值:>100MB。 第三章日志采集管理 课件

第八条为了更好的保存日志和后续的处理,应创建专门的日志采集服务器。 第九条在指定用户日志服务器时,日志服务器的IP地址,日志服务器应使用1024以上的UDP端口作为日志接收端口。 第十条日志信息按重要性可按级别、用户、源IP、目的IP、事件、模块进行信息过滤。 第十一条日志要统一考虑各种攻击、事件,将各种日志输出格式、统计信息等内容进行规范,从而保证日志风格的统一和日志功能的严肃性。 第十二条网络设备的管理,配置网络设备的日志发送到日志采集服务器,日志采集服务器对其日志进行格式化、过滤、聚合等操作。 第四章日志审计 第十三条对公司敏感信息操作的相关日志,应对其加大审核的力度和频率。 第十四条网络设备、安全设备的系统和报警日志由安全管理员进行至少每月一次的安全审核,并填相关的网络设备日志审核记录,以及时发现问题,并根据问题采取相应措施。 第十五条重要服务器操作系统的操作记录由系统管理员根据操作系统记录文件对用户操作时的用户识别符、登陆时间、注销时间、操作结果等要素进行至少每月一次的安全审核,并填相关的服务器操作系统日志审核记录。 第十六条数据库的直接访问修改操作通过人工记录填写相关的数据库访问修改操作审核记录,并由数据库管理员对用户操作时的用户识别符、登陆时间、注销时间、操作结果等要素进行至少每月一次的安全审核。 第十七条应用系统管理员应根据应用系统自身的日志记录,对应用系统用户操作时的对用户账号、权限的增加、修改、删除,用户识别符、登陆时间、注销时间、操作结果等要素进行每月一次的安全审核,并填制相关的应用系统日志审核记录。 第十八条相关管理员配合安全管理员对系统日志进行定期审计。 第十九条审计日志中的记录不允许在日志中包含密码,具体审计策略由安全管理员协调并配合各管理员制定。 第二十条要保护审计的日志程序和文件,严格控制访问权限。 第二十一条系统管理员的行为(如UNIX中的su)要做日志记录。 专业课件