Journal数据
简介
service_journal
插件支持从原始的二进制文件中采集Linux系统的Journal(systemd)日志。systemd是专用于 Linux 操作系统的系统与服务管理器。当作为启动进程(PID=1)运行时,它将作为初始化系统运行,启动并维护各种用户空间的服务。 systemd统一管理所有Unit的日志(包括内核和应用日志),配置文件一般在/etc/systemd/journald.conf
中。源代码
版本
功能
- 支持设置初始同步位置,后续采集会自动保存checkpoint,不需关心应用重启。
- 支持过滤指定的Unit。
- 支持采集内核日志。
- 支持自动解析日志等级。
- 支持以容器方式采集宿主机上的Journal日志,适用于Docker/Kubernetes场景。
相关限制
- Logtail支持版本为0.16.18及以上。
- 运行的操作系统需支持Journal日志格式。
适用场景
- 监听内核事件,出现异常时自动告警。
- 采集所有系统日志,用于长期存储,减少磁盘空间占用。
- 采集软件(Unit)的输出日志,用于分析或告警。
- 采集所有Journal日志,可以从所有日志中快速检索关键词或日志,相比Journalctl查询大幅提升。
配置参数
参数 | 类型,默认值 | 说明 |
---|---|---|
Type | String,无默认值(必填) | 插件类型,固定为service_journal |
JournalPaths | Array,其中value为String,无默认值(必填) | Journal日志路径,建议直接填写Journal日志所在文件夹,例如/var/log/journal 。 |
SeekPosition | String,tail |
首次采集方式,为head则采集所有数据,为tail则只采集配置应用后新的数据。 |
Kernel | Boolean,true |
为false时则不采集内核日志。 |
Units | Array,其中value为String,[] |
指定采集的Unit列表,为空时则全部采集。 |
ParseSyslogFacility | Boolean,false |
是否解析syslog日志的facility字段。 |
ParsePriority | Boolean,false |
是否解析Priority字段。 |
UseJournalEventTime | Boolean,false |
是否使用Journal日志中的字段作为日志时间,即使用采集时间作为日志时间(实时日志采集一般相差3秒以内)。 |
CursorFlushPeriodMs | Integer,5000 |
日志读取检查点的刷新时间。 |
CursorSeekFallback | String,SeekPositionTail |
日志读取检查点回退的位置。 |
Identifiers | Array,其中value为String,[] |
syslog标识符,可以添加到监视器。 |
MatchPatterns | Array,其中value为String,[] |
匹配规则,可以添加到监视器。 |
ParsePriority映射关系表如下:
"0": "emergency"
"1": "alert"
"2": "critical"
"3": "error"
"4": "warning"
"5": "notice"
"6": "informational"
"7": "debug"
样例
样例1
从默认的/var/log/journal
路径采集journal日志。
- 采集配置1
enable: true
inputs:
- Type: service_journal
JournalPaths:
- "/var/log/journal"
flushers:
- Type: flusher_stdout
OnlyStdout: true
- 输出1
{
"PRIORITY":"6",
"_GID":"0",
"_TRANSPORT":"syslog",
"_SYSTEMD_OWNER_UID":"0",
"_BOOT_ID":"bab**************54b",
"_PID":"21848",
"_MACHINE_ID":"************************",
"_CAP_EFFECTIVE":"3fffffffff",
"_COMM":"crond",
"_HOSTNAME":"iZj*****************1hZ",
"_SYSTEMD_SLICE":"user-0.slice",
"MESSAGE":"(root) CMD (/usr/lib64/sa/sa1 1 1)",
"_CMDLINE":"/usr/sbin/CROND -n",
"SYSLOG_FACILITY":"9",
"SYSLOG_IDENTIFIER":"CROND",
"_AUDIT_LOGINUID":"0",
"_SYSTEMD_SESSION":"3319",
"_UID":"0",
"_EXE":"/usr/sbin/crond",
"SYSLOG_PID":"21848",
"_AUDIT_SESSION":"3319",
"_SYSTEMD_CGROUP":"/user.slice/user-0.slice/session-3319.scope",
"_SYSTEMD_UNIT":"session-3319.scope",
"_SOURCE_REALTIME_TIMESTAMP":"1658823001526225",
"_realtime_timestamp_":"1658823001526482",
"_monotonic_timestamp_":"1637927744052",
"__time__":"1658823031"
}
样例2
Kubernetes场景下,使用Logtail的DaemonSet模式采集宿主机的系统日志,由于日志中有很多并不重要的字段,使用处理插件只挑选较为重要的日志字段。
- 采集配置2
enable: true
inputs:
- Type: service_journal
ParsePriority: true
ParseSyslogFacility: true
JournalPaths:
- "/logtail_host/var/log/journal"
processors:
- Type: processor_filter_regex
Exclude:
UNIT: "^libcontainer.*test"
- Type: processor_pick_key
Include:
- MESSAGE
- PRIORITY
- _EXE
- _PID
- _SYSTEMD_UNIT
- _realtime_timestamp_
- _HOSTNAME
- UNIT
- SYSLOG_FACILITY
- SYSLOG_IDENTIFIER
flushers:
- Type: flusher_stdout
OnlyStdout: true
- 输出2
{
"MESSAGE": "ejected connection from \"192.168.0.251:48914\" (error \"EOF\", ServerName "")",
"PRIORITY": "informational",
"SYSLOG_IDENTIFIER": "etcd",
"_EXE": "/opt/etcd-v3.3.8/etcd",
"_HOSTNAME": "iZb*****************ueZ",
"_PID": "10590",
"_SYSTEMD_UNIT": "etcd.service",
"__source__": "***.***.***.***",
"__tag__:__hostname__": "logtail-ds-dp48x",
"_realtime_timestamp_": "1547975837008708",
}