elk收集k8s微服务日志_微服务日志elk，Linux运维工作经验6年
【代码】elk收集k8s微服务日志_微服务日志elk，Linux运维工作经验6年。
·
}
}
}
output {
# stdout{ #该项为测试模式，将收集的日志内容输出到logstash的日志中
# codec => rubydebug
# }
elasticsearch {
hosts => "elasticsearch:9200" #这里的索引名称使用日志中包含的变量自动命名
index => "%{[kubernetes][container][name]}-%{+YYYY.MM.dd}"
}
}
这里对java日志进行一下说明，java日志都是特定的日期格式开头，基本上都是单行的，除了报错日志，报错日志会换行，因为报错栈非常多，filebeat收集日志是一行一行收集的，在收集java报错日志的时候就会出现问题，错误日志的报错栈也被分开很多行去收集了，这是有问题的，所以会在filebeat收集java日志的时候加入multiline，进行事务的一个合并，下面来看一下java的日志
正常日志
可以看到都是以特定的时间格式开头
错误日志
其实错误日志的结构和正常日志是一样的，只是后面的报错栈被分行了，所以在filebeat使用multiline将这些不是以时间开头的行合并到上一个事件中即可
可以使用kibana试验一下对java日志的分割是否能生效
%{TIMESTAMP_ISO8601:timestamp}\s+%{LOGLEVEL:level}\s+%{NUMBER:thread}\s±–\s+[%{DATA:thread_name}]\s+%{JAVACLASS:java_class}\s+:\s+%{GREEDYDATA:log_message}
前端日志对于nginx的配置也做一下说明，需要在nginx配置文件中提前定义nginx的日志格式
vi nginx-public.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: public-config
namespace: nodejs
data:
nginx.conf: |
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log notice;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format access '{"timestamp":"$time_iso8601",' #定义json格式的日志
'"remote_addr":"$remote_addr",'
'"remote_user":"$remote_user",'
'"body_bytes_sent":$body_bytes_sent,'
'"request_time":$request_time,'
'"status": "$status",'
'"host":"$host",'
'"request":"$request",'
'"request_method":"$request_method",'
'"uri":"$uri",'
'"http_referer":"$http_referer",'
'"http_x_forwarded_for":"$http_x_forwarded_for",'
'"http_user_agent":"$http_user_agent"'
'}';
access_log /var/log/nginx/access.log access; #使用json格式的日志作为日志的输出
sendfile on;
#tcp_nopush on;
keepalive_timeout 65;
#gzip on;
include /etc/nginx/conf.d/*.conf;
}
对于filebeat自动发现收集k8s日志的配置也可以参考elk官网，里面还有非常多的一些k8s参数可以定义 使用
参考：[Autodiscover | Filebeat Reference [8.12] | Elastic]( )
**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**
**深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**
**因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**
**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！**
**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
**如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）**
为了做好运维面试路上的助攻手，特整理了上百道 **【运维技术栈面试题集锦】** ，让你面试不慌心不跳，高薪offer怀里抱！
这次整理的面试题，**小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。**
本份面试集锦涵盖了
* **174 道运维工程师面试题**
* **128道k8s面试题**
* **108道shell脚本面试题**
* **200道Linux面试题**
* **51道docker面试题**
* **35道Jenkis面试题**
* **78道MongoDB面试题**
* **17道ansible面试题**
* **60道dubbo面试题**
* **53道kafka面试**
* **18道mysql面试题**
* **40道nginx面试题**
* **77道redis面试题**
* **28道zookeeper**
**总计 1000+ 道面试题， 内容 又全含金量又高**
* **174道运维工程师面试题**
> 1、什么是运维?
> 2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?
> 3、现在给你三百台服务器，你怎么对他们进行管理?
> 4、简述raid0 raid1raid5二种工作模式的工作原理及特点
> 5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?
> 6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
> 7、Tomcat和Resin有什么区别，工作中你怎么选择?
> 8、什么是中间件?什么是jdk?
> 9、讲述一下Tomcat8005、8009、8080三个端口的含义？
> 10、什么叫CDN?
> 11、什么叫网站灰度发布?
> 12、简述DNS进行域名解析的过程?
> 13、RabbitMQ是什么东西?
> 14、讲一下Keepalived的工作原理?
> 15、讲述一下LVS三种模式的工作过程?
> 16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?
> 17、如何重置mysql root密码?
[**一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！**](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)
**AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算**
b71ac0)
**AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算**
技术共进，成长同行——讯飞AI开发者社区
更多推荐
3
0- 0
已为社区贡献8条内容
所有评论(0)