分类 编程 下的文章

日志平台就是对整体服务日志的采集、处理、存储、展示的平台。

下面是一些知名的公司对日志平台的处理:

有赞统一日志平台初探

揭秘魅族日志分析平台建设

Airbnb的核心日志系统架构及主要系统模块的设计之道

如何利用开源技术构建日处理130亿+的实时日志平台
https://mp.weixin.qq.com/s?__biz=MzIzMzEzODYwOA==&mid=2665284466&idx=1&sn=2b06a529821734e36e26e642424f24fc

一个可供参考的日志平台:

07.png

分布式计算在许多领域都有广泛需求,目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm。 这三个框架各有优势,现在都属于 Apache 基金会下的项目。
Hadoop MapReduce 是三者中出现最早,知名度最大的分布式计算框架,最早由 Google Lab 开发,使用者遍布全球,主要适用于大批量的集群任务,由于是批量执行,故时效性偏低,原生支持 Java 语言开发 MapReduce ,其它语言需要使用到 Hadoop Streaming 来开发。Spark Streaming 保留了 Hadoop MapReduce 的优点,而且在时效性上有了很大提高,中间结果可以保存在内存中,从而对需要迭代计算和有较高时效性要求的系统提供了很好的支持,多用于能容忍小延时的推荐与计算系统。Storm 一开始就是为实时处理设计,因此在实时分析/性能监测等需要高时效性的领域广泛采用,而且它理论上支持所有语言,只需要少量代码即可完成适配器。

- 阅读剩余部分 -

下载配置 iTerm2 的相关脚本:
这里是下载地址 https://github.com/mmastrac/iterm2-zmodem
将 iterm2-recv-zmodem.sh 和 iterm2-send-zmodem.sh 下载到本机,然后将它们放到/usr/local/bin目录下。
这两个文件赋予可执行权限:
chmod +x /usr/local/bin/iterm2-send-zmodem.sh /usr/local/bin/iterm2-recv-zmodem.sh

配置 iTerm2:
找到 iTerm2 的配置项:iTerm2的Preferences-> Profiles -> Default -> Advanced -> Triggers

配置项如下:

Regular ExpressionActionParametersInstant
rz waiting to receive.**B0100Run Silent Coprocess/usr/local/bin/iterm2-send-zmodem.shchecked
**B00000000000000Run Silent Coprocess/usr/local/bin/iterm2-recv-zmodem.shchecked

尤其注意最后一项,需要将 Instant 选项勾上,否则将不生效。
iterm2-lrzsz.png

美丽的七侠镇上有一条美食街,很多著名的饭店都开在这里,有老字号的 Apache、PHP, 最近几年火热的 Ruby on Rail,还有那些重量级的餐饮集团 Websphere、Weblogic 等。
这些饭店老板根据自己的实力,或多或少的雇佣了一些店小二来招待来客,这些小二干活都非常殷勤,没有一个偷懒耍滑,把顾客招待的舒舒服服,所以平日里饭馆运转的还不错,相安无事。
但是随着《武林外传》的拍摄和播放,七侠镇旅游业大爆发,游客像潮水一样蜂拥而至,现有的店小二招待不过来了,到了饭点,每家的门前都排起了长队,游客们吃不上饭,个个怨声载道。
看到这种情况,有些老板咬了咬牙,在人工费不断上涨的情况下,多雇了一些小二来帮忙,无奈总是赶不上顾客增长的速度。
某一天有个美国老外来到七侠镇上旅游,也看到了吃不上饭的问题,他仔细分析了一番后发现了一个秘密:原来这些店都采用了同一套叫做“全程贴心服务”的模式,这个模式很有意思:客人来了以后,马上有个店小二殷勤迎上去,带着找座位,点菜,给后厨下单。由于后厨做菜需要很长时间,店小二就在客人的旁边等着。后厨一摇铃铛,大喊一声:上菜,店小二马上端到客人面前,然后站在一边等着客人吃完。客人说:结账,小二收钱,找钱,送客,迎接下一位。通常这个时候门口都排成了好几百人了!
这个 VIP 服务实在是太贴心了!导致的结果很明显,饭店有几个店小二,就只能同时接待几个顾客。
老外一声不吭的回去了。
过了几个月,美食一条街上出现了一个巨火无比的饭馆:NodeJS
虽然这个饭店中人满为患,可门口竟然没有排队的!
更让人吃惊的是,这个店里声称:我只需要一个店小二。

- 阅读剩余部分 -

对 dict 排序的方法,主要是把 dict 中的元素分离出来放到一个 list 中,对 list 排序,从而间接实现对 dict 的排序。
这个"元素"可以是 key、value 或者 item。

# -*- coding: utf-8 -*-

adict = {
    "a" : 2,
    "c" : 1,
    "b" : 3
}

def sortedDictValues1(self):
    items = self.items()
    items.sort()
    return [value for key, value in items]

newAdict1 = sortedDictValues1(adict)
print newAdict1

def sortedDictValues2(self):
    keys = self.keys()
    keys.sort()
    return [self[key] for key in keys]

newAdict2 = sortedDictValues2(adict)
print newAdict2

newAdict3 = [(k,adict[k]) for k in sorted(adict.keys())] 
print newAdict3

def sort_by_value(self):
    items = self.items()
    backitems = [[v[1],v[0]] for v in items]
    backitems.sort()
    return [backitems[i][1] for i in range(0,len(backitems))]

newAdict4 = sort_by_value(adict)
print newAdict4

newAdict5 = [ v for v in sorted(adict.values())] 
print newAdict5

newAdict6 = sorted(adict.items(), lambda x, y: cmp(x[1], y[1]))
print newAdict6

newAdict7 = sorted(adict.items(), lambda x, y: cmp(x[1], y[1]), reverse=True)
print newAdict7

newAdict8 = sorted(adict.items(), key=lambda d: d[0])
print newAdict8

newAdict9 = sorted(adict.items(), key=lambda d: d[1])
print newAdict9

主要是通过中文编码范围匹配

# -*- coding: utf-8 -*-
import re
import sys

reload(sys)
sys.setdefaultencoding("utf8")

def translate(str):
    # 处理前进行相关的处理 包括转换成 Unicode 等
    line = str.strip().decode('utf-8', 'ignore')
    # 中文的编码范围是 \u4e00 到 \u9fa5
    p2 = re.compile(ur'[^\u4e00-\u9fa5]')
    zh = " ".join(p2.split(line)).strip()
    zh = ",".join(zh.split())
    # 经过相关处理后得到中文的文本
    outStr = zh
    return outStr

目录结构

demo.py
MyPackage
---classOne.py
---classTwo.py
---__init__.py

1.__init__.py 空白文件方式
demo.py 内容

from MyPackage.classOne import classOne
from MyPackage.classTwo import classTwo
if __name__ == "__main__":
    c1 = classOne()
    c1.printInfo()
    c2 = classTwo()
    c2.printInfo()

classOne.py 内容

class classOne:
    def __init__(self):
        self.name = "class one"
    def printInfo(self):
        print "i am class One!"

classTwo.py 内容

class classTwo:
    def __init__(self):
        self.name = "class two"
    def printInfo(self):
        print "i am class two!"

- 阅读剩余部分 -

a = u'China'
b = 'China'
c = u'中国'
d = '中国'
# 1
print '%s %s' % (a, b)
# 2
print '%s' % c
# 3
print '%s' % d
# 4
print '%s %s' % (c, d)

先说正确答案,只有最后一行会报错。

Python2,默认的字符类型是 str,这个 str 和 Python3 的 str 完全不同,Python2 的 str 类型是 8 位的 ascii 序列。
Python2 在处理 str 类型转换时遵循这样的规则:如果被处理的 str 型变量值小于 7 位,就可以和 unicode 类型混用。可以做 + 连接,格式化等操作,同 unicode 享受同样的待遇。Python2 在格式化字符时,会把 str 格式化为 str,如果字符串里混入了 unicode,就会把其他字符都转化为 unicode。
所以这道题里 1 处的 a,b 两个值混合后的字符就是一个 unicode 字符串,c 和 d 单独格式化后仍保留了自己的格式。但是 Python2 在格式化代码位置 4 时,发现 c 是 unicode 而 d 不是,就会尝试按照上面的混用规则,格式化 d 为 unicode 类型,但是 d 的值'中国'显然是一个大于 7 位的 str,因此 Python2 抛出 UnicodeDecodeError。
Python3 里,str 类型则变成了一个纯 unicode 字符,也就是说 Python3 里的 str 等价于 Python2 里的 unicode 类型。Python3 里为了清晰明了,使用 bytes 代表 8 位 ascii 序列。除此之外,Python3 严格禁止混用两种类型。
使用 Python2 处理字符串,尤其是中文字符串,最好前边加上 u。Python2 里不要混用 str 和 unicode,如果处理文本时,先将全部数据格式化成 unicode。