排查 Logstash2.4 升级到 5.0 版本后 Kafka 不兼容问题


之前对 ELKB 环境从 2.4 版本升级到最新的 5.0 稳定版本,发现 kafka 集群运行报错,现在把排查过程记录下。

之前环境:
logstash2.4
logstash-input-kafka-2.0.9
logstash-output-kafka-2.0.5
kafka_2.10-0.8.2.2.tgz

升级后环境:
logstash5.0
logstash-input-kafka-2.0.9
logstash-output-kafka-2.0.5

报错信息:

[2016-11-16T14:35:44,739][ERROR][logstash.inputs.kafka] Unknown setting 'zk_connect' for kafka
[2016-11-16T14:35:44,741][ERROR][logstash.inputs.kafka] Unknown setting 'topic_id' for kafka
[2016-11-16T14:35:44,741][ERROR][logstash.inputs.kafka] Unknown setting 'reset_beginning' for kafka







阅读全文

程序员老张的故事(二)


8
单身太久了,一朋友说,“给你介绍个对象吧,算你半个老乡,靠谱。”
没想到还有人惦记着我的终身大事,我很感动,手抖在微信上发了好几行流口水的表情。
“但他是个程序猿。”朋友说。
“……滚。”
我还没到饥不择食找程序猿的程度吧。刚准备扔手机关灯睡觉,朋友发了他三张照片。
阅毕,我决定见他一面。







阅读全文

程序员老张的故事(一)


1
老张是什么样的人呢?这么说吧,很久之前微博上流传着一份程序猿的特征大全,老张符合上面的每一条。
我搬到这个两居室一周之后才跟他打过一次招呼,当时他穿着道袍一样的巨大睡衣、嘴里叼着把上已经泛黑的牙刷、双脚穿着颜色不同的棉拖,迷茫地看着我,含糊不清地说:诶?你谁啊?
搞明白我是他的新室友之后,他有点不好意思,双手在睡衣上蹭了蹭,然后跟我握手。
我这有好几 T 的片儿,感兴趣的话可以来拷。他走进自己屋里,突然又探出头来很认真地跟我说。
经历过这么别致的初识,我对他产生了极大的兴趣。说来也巧,我最近在做一个心理学的课题,想着能对自己写作有些帮助。他就变成了我第一个研究对象。
别看我平时吊儿郎当,其实我心里明镜儿似的。比较相熟了之后,老张在屋里挥舞着双手这么跟我解释,身后是他贴的 Dota2 、海贼王和斯嘉丽的海报。
我平时不讲究,是根本没必要讲究啊。我整天西装笔挺、人模狗样的,给他妈谁看啊?不就是给女屌丝观赏吗?我就搞不明白那些姑娘整天花枝招展是干嘛,自己花这么多钱这么多时间收拾,好看都给陌生人看去了,算什么?做公益吗?
你说同事怎么看我?他们更无所谓。你去我们大厦,就看穿衣打扮就知道哪个是我们公司的,哪个是其他公司的。我们同事都很随性,活得明白,不爱慕虚荣。你看那些媒体公司、金融公司的,一个个脸上抹半尺厚的粉,笑都不敢笑,一笑全得抖下来。多累。
你看网上都说程序猿傻,不会哄女人开心。其实哪是傻,是懒得跟你聊。说三句话才明白半句,还得用十句话给你解释,这种女人哄她干嘛?为了骗她上床?我有右手啊,轻重缓急我自己拿捏不好吗?浪费那么多时间精力骗个女人上床,都是精虫上脑的原始人干的事儿。文明人才不会被鸡巴牵着走呢。
你们这些文化人整天想的是风花雪月,我对这些不感兴趣。你说整天跟女朋友老婆宝贝地叫着、银行卡信用卡刷着,图个啥?不就是晚上来一发吗。电话里甜言蜜语的,挂了电话一口一个臭婆娘;微信上发个笑脸过去,其实眉头早就皱成花卷儿了。有意思吗?
我认真把这些话记录下来,心想老张要是开微博,应该能成个段子手。












阅读全文

日志平台究竟是什么


日志平台就是对整体服务日志的采集、处理、存储、展示的平台。

下面是一些知名的公司对日志平台的处理:

有赞统一日志平台初探

揭秘魅族日志分析平台建设

Airbnb的核心日志系统架构及主要系统模块的设计之道

如何利用开源技术构建日处理130亿+的实时日志平台
https://mp.weixin.qq.com/s?__biz=MzIzMzEzODYwOA==&mid=2665284466&idx=1&sn=2b06a529821734e36e26e642424f24fc

一个可供参考的日志平台:

07.png

阅读全文