docker容器中没有sshd服务,我们可以使用nsenter来进入到容器中操作
nsenter项目地址:https://github.com/jpetazzo/nsenter
如果你的系统中没有nsenter命令,可以安装下
装好之后,vim docker-enter
内容如下
1 |
|
给此文件赋予执行权限,并放入到$PATH
目录下
1 | > chmod +x docker-enter |
执行以下命令即可进入docker
1 | > docker-enter <container-id> |
docker容器中没有sshd服务,我们可以使用nsenter来进入到容器中操作
nsenter项目地址:https://github.com/jpetazzo/nsenter
如果你的系统中没有nsenter命令,可以安装下
装好之后,vim docker-enter
内容如下
1 | #!/bin/sh |
给此文件赋予执行权限,并放入到$PATH
目录下
1 | > chmod +x docker-enter |
执行以下命令即可进入docker
1 | > docker-enter <container-id> |
1 | > docker images |
导出
1 | > docker save shipyard/docker-proxy > dp.tar |
copy到另一台主机导入
1 | > docker load < dp.tar |
在扩充了LVM一个卷的空间之后,执行resize2fs报错:resize2fs: Bad magic number in super-block
查看你的文件系统
1 | > mount |
原来是xfs
的文件系统,在ext4
年代,执行resize2fs
是没有问题的,但是到了xfs
文件系统年代,就不能使用resize2fs
了
1 | > xfs_growfs /dev/centos/root |
xfs
文件系统下扩充lvm卷
,需要使用xfs_growfs
刚装完MySQL5.7,还热乎着,赶紧登陆上去看看,结果发现怎么输密码都是错的,到底MySQL5.7在安装的时候给root设置了个什么密码呢?
1 | mysqld_safe --skip-grant-tables & |
如果此时不想被远程连接:
1 | mysqld_safe --skip-grant-tables --skip-networking & |
然后就可以无密码进入到MySQL数据库中,使用各种你熟悉的SQL语句来更改密码了
第二种方式砸破砂锅问到底的模式,我们到底要看看,MySQL5.7在安装的时候,到底给root设置了什么密码!
1 | > cat /var/log/mysqld.log| grep "temporary password" |
看到密码了吧~~
麻烦事儿在后头呢
1 | # 登录进去之后密码的复杂度必须是大小写字符+数字+特殊符号 |
1 |
|
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步
redis-py 的API的使用可以分类为:
redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py
1 | #!/usr/bin/env python |
redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。默认,每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池
1 | #!/usr/bin/env python |
String操作,redis中的String在在内存中按照一个name对应一个value来存储
name | —> | value |
---|---|---|
n1 | —> | v1 |
n2 | —> | v2 |
n3 | —> | v3 |
set(name, value, ex=None, px=None, nx=False, xx=False)
1 | 在Redis中设置值,默认,不存在则创建,存在则修改 |
setnx(name, value)
1 | 设置值,只有name不存在时,执行设置操作(添加) |
setex(name, value, time)
1 | # 设置值 |
psetex(name, time_ms, value)
1 | # 设置值 |
mset(args, *kwargs)
1 | 批量设置值 |
get(name)
1 | 获取值 |
mget(keys, *args)
1 | 批量获取 |
getset(name, value)
1 | 设置新值并获取原来的值 |
getrange(key, start, end)
1 | # 获取子序列(根据字节获取,非字符) |
setrange(name, offset, value)
1 | # 修改字符串内容,从指定字符串索引开始向后替换(新值太长时,则向后添加) |
setbit(name, offset, value)
1 | # 对name对应值的二进制表示的位进行操作 |
getbit(name, offset)
1 | # 获取name对应的值的二进制表示中的某位的值 (0或1) |
bitcount(key, start=None, end=None)
1 | # 获取name对应的值的二进制表示中 1 的个数 |
bitop(operation, dest, *keys)
1 | # 获取多个值,并将值做位运算,将最后的结果保存至新的name对应的值 |
strlen(name)
1 | # 返回name对应值的字节长度(一个汉字3个字节) |
incr(self, name, amount=1)
1 | # 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。 |
incrbyfloat(self, name, amount=1.0)
1 | # 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。 |
decr(self, name, amount=1)
1 | # 自减 name对应的值,当name不存在时,则创建name=amount,否则,则自减。 |
append(key, value)
1 | # 在redis name对应的值后面追加内容 |
name | —> | hash |
---|---|---|
n1 | —> | k1–>v1 |
k2–>v2 | ||
k3–>v3 | ||
n2 | —> | k9–>v9 |
k20–>v20 | ||
k31–>v31 |
hset(name, key, value)
1 | # name对应的hash中设置一个键值对(不存在,则创建;否则,修改) |
hmset(name, mapping)
1 | # 在name对应的hash中批量设置键值对 |
hget(name,key)
1 | # 在name对应的hash中获取根据key获取value |
hmget(name, keys, *args)
1 | # 在name对应的hash中获取多个key的值 |
hgetall(name)
1 | 获取name对应hash的所有键值 |
hlen(name)
1 | # 获取name对应的hash中键值对的个数 |
hkeys(name)
1 | # 获取name对应的hash中所有的key的值 |
hvals(name)
1 | # 获取name对应的hash中所有的value的值 |
hexists(name, key)
1 | # 检查name对应的hash是否存在当前传入的key |
hdel(name,*keys)
1 | # 将name对应的hash中指定key的键值对删除 |
hincrby(name, key, amount=1)
1 | # 自增name对应的hash中的指定key的值,不存在则创建key=amount |
hincrbyfloat(name, key, amount=1.0)
1 | # 自增name对应的hash中的指定key的值,不存在则创建key=amount |
hscan(name, cursor=0, match=None, count=None)
1 | # 增量式迭代获取,对于数据大的数据非常有用,hscan可以实现分片的获取数据,并非一次性将数据全部获取完,从而放置内存被撑爆 |
hscan_iter(name, match=None, count=None)
1 | # 利用yield封装hscan创建生成器,实现分批去redis中获取数据 |
name | —> | hash |
---|---|---|
n1 | —> | v1,v2… |
n2 | —> | v15,v59… |
lpush(name,values)
1 | # 在name对应的list中添加元素,每个新的元素都添加到列表的最左边 |
lpushx(name,value)
1 | # 在name对应的list中添加元素,只有name已经存在时,值添加到列表的最左边 |
llen(name)
1 | # name对应的list元素的个数 |
linsert(name, where, refvalue, value))
1 | # 在name对应的列表的某一个值前或后插入一个新值 |
r.lset(name, index, value)
1 | # 对name对应的list中的某一个索引位置重新赋值 |
r.lrem(name, value, num)
1 | # 在name对应的list中删除指定的值 |
lpop(name)
1 | # 在name对应的列表的左侧获取第一个元素并在列表中移除,返回值则是第一个元素 |
lindex(name, index)
1 | 在name对应的列表中根据索引获取列表元素 |
lrange(name, start, end)
1 | # 在name对应的列表分片获取数据 |
ltrim(name, start, end)
1 | # 在name对应的列表中移除没有在start-end索引之间的值 |
rpoplpush(src, dst)
1 | # 从一个列表取出最右边的元素,同时将其添加至另一个列表的最左边 |
blpop(keys, timeout)
1 | # 将多个列表排列,按照从左到右去pop对应列表的元素 |
brpoplpush(src, dst, timeout=0)
1 | # 从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧 |
自定义增量迭代(非常重要,原生的模块没有提供支持)
1 | # 由于redis类库中没有提供对列表元素的增量迭代,如果想要循环name对应的列表的所有元素,那么就需要: |
Set操作,Set集合就是不允许重复的列表
sadd(name,values)
1 | # name对应的集合中添加元素 |
scard(name)
1 | 获取name对应的集合中元素个数 |
sdiff(keys, *args)
1 | 在第一个name对应的集合中且不在其他name对应的集合的元素集合 |
sdiffstore(dest, keys, *args)
1 | # 获取第一个name对应的集合中且不在其他name对应的集合,再将其新加入到dest对应的集合中 |
sinter(keys, *args)
1 | # 获取多一个name对应集合的并集 |
sinterstore(dest, keys, *args)
1 | # 获取多一个name对应集合的并集,再讲其加入到dest对应的集合中 |
sismember(name, value)
1 | # 检查value是否是name对应的集合的成员 |
smembers(name)
1 | # 获取name对应的集合的所有成员 |
smove(src, dst, value)
1 | # 将某个成员从一个集合中移动到另外一个集合 |
spop(name)
1 | # 从集合的右侧(尾部)移除一个成员,并将其返回 |
srandmember(name, numbers)
1 | # 从name对应的集合中随机获取 numbers 个元素 |
srem(name, values)
1 | # 在name对应的集合中删除某些值 |
sunion(keys, *args)
1 | # 获取多一个name对应的集合的并集 |
sunionstore(dest,keys, *args)
1 | # 获取多一个name对应的集合的并集,并将结果保存到dest对应的集合中 |
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
1 | # 同字符串的操作,用于增量迭代分批获取元素,避免内存消耗太大 |
有序集合,在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较,所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序
zadd(name, args, *kwargs)
1 | # 在name对应的有序集合中添加元素 |
zcard(name)
1 | # 获取name对应的有序集合元素的数量 |
zcount(name, min, max)
1 | # 获取name对应的有序集合中分数 在 [min,max] 之间的个数 |
zincrby(name, value, amount)
1 | # 自增name对应的有序集合的 name 对应的分数 |
r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
1 | # 按照索引范围获取name对应的有序集合的元素 |
zrank(name, value)
1 | # 获取某个值在 name对应的有序集合中的排行(从 0 开始) |
zrangebylex(name, min, max, start=None, num=None)
1 | # 当有序集合的所有成员都具有相同的分值时,有序集合的元素会根据成员的 值 (lexicographical ordering)来进行排序,而这个命令则可以返回给定的有序集合键 key 中, 元素的值介于 min 和 max 之间的成员 |
zrem(name, values)
1 | # 删除name对应的有序集合中值是values的成员 |
zremrangebyrank(name, min, max)
1 | # 根据排行范围删除 |
zremrangebyscore(name, min, max)
1 | # 根据分数范围删除 |
zremrangebylex(name, min, max)
1 | # 根据值返回删除 |
zscore(name, value)
1 | # 获取name对应有序集合中 value 对应的分数 |
zinterstore(dest, keys, aggregate=None)
1 | # 获取两个有序集合的交集,如果遇到相同值不同分数,则按照aggregate进行操作 |
zunionstore(dest, keys, aggregate=None)
1 | # 获取两个有序集合的并集,如果遇到相同值不同分数,则按照aggregate进行操作 |
zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
1 | # 同字符串相似,相较于字符串新增score_cast_func,用来对分数进行操作 |
delete(*names)
1 | # 根据删除redis中的任意数据类型 |
exists(name)
1 | # 检测redis的name是否存在 |
keys(pattern=’*’)
1 | # 根据模型获取redis的name |
expire(name ,time)
1 | # 为某个redis的某个name设置超时时间 |
rename(src, dst)
1 | # 对redis的name重命名为 |
move(name, db))
1 | # 将redis的某个值移动到指定的db下 |
randomkey()
1 | # 随机获取一个redis的name(不删除) |
type(name)
1 | # 获取name对应值的类型 |
scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
1 | # 同字符串操作,用于增量迭代获取key |
redis-py默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作,如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令,并且默认情况下一次pipline 是原子性操作。
1 | #!/usr/bin/env python |
发布者:服务器
订阅者:Dashboad和数据处理
Demo如下:
1 | #!/usr/bin/env python |
订阅者:
1 | #!/usr/bin/env python |
发布者:
1 | #!/usr/bin/env python |
Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon)是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信
1 | import memcache |
注意:debug = True 表示运行出现错误时,显示错误信息,上线后移除该参数
主机 | 权重 |
---|---|
1.1.1.1 | 1 |
1.1.1.2 | 2 |
1.1.1.3 | 1 |
那么在内存中主机列表为:host_list = ["1.1.1.1", "1.1.1.2", "1.1.1.2", "1.1.1.3", ]
如果用户根据如果要在内存中创建一个键值对(如:k1 = “v1”),那么要执行一下步骤:
根据算法将 k1 转换成一个数字
将数字和主机列表长度求余数,得到一个值 N( 0 <= N < 列表长度 )
在主机列表中根据 第2步得到的值为索引获取主机,例如:host_list[N]
连接 将第3步中获取的主机,将 k1 = “v1” 放置在该服务器的内存中
代码实现如下:
1 | mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True) |
添加一条键值对,如果已经存在的 key,重复执行add操作异常
1 | #!/usr/bin/env python |
replace 修改某个key的值,如果key不存在,则异常
1 | #!/usr/bin/env python |
set 设置一个键值对,如果key不存在,则创建,如果key存在,则修改
set_multi 设置多个键值对,如果key不存在,则创建,如果key存在,则修改
1 | #!/usr/bin/env python |
delete 在Memcached中删除指定的一个键值对
delete_multi 在Memcached中删除指定的多个键值对
1 | #!/usr/bin/env python |
get 获取一个键值对
get_multi 获取多一个键值对
1 | #!/usr/bin/env python |
append 修改指定key的值,在该值 后面 追加内容
prepend 修改指定key的值,在该值 前面 插入内容
1 | #!/usr/bin/env python |
incr 自增,将Memcached中的某一个值增加 N ( N默认为1 )
decr 自减,将Memcached中的某一个值减少 N ( N默认为1 )
1 | #!/usr/bin/env python |
避免产生脏数据,gets和cas成对儿出现,出现第二个cas的时候会报错
如商城商品剩余个数,假设改值保存在memcache中,product_count = 900
A用户刷新页面从memcache中读取到product_count = 900
B用户刷新页面从memcache中读取到product_count = 900
如果A、B用户均购买商品
A用户修改商品剩余个数 product_count=899
B用户修改商品剩余个数 product_count=899
如此一来缓存内的数据便不在正确,两个用户购买商品后,商品剩余还是 899
如果使用python的set和get来操作以上过程,那么程序就会如上述所示情况!
如果想要避免此情况的发生,只要使用 gets 和 cas 即可,如:
1 | #!/usr/bin/env python |
注意:本质上每次执行gets时,会从memcache中获取一个自增的数字,通过cas去修改gets的值时,会携带之前获取的自增值和memcache中的自增值进行比较,如果相等,则可以提交,如果不相等,那表示在gets和cas执行之间,又有其他人执行了gets(获取了缓冲的指定值), 如此一来有可能出现非正常数据,则不允许修改
必须在程序中去检测后端的可用状态,当有服务器出现服务不可用时,执行mc.set_servers()
重新设置集群服务器列表
转载文档:
线程和进程的操作是由程序触发系统接口,最后的执行者是系统;协程的操作则是程序员
协程存在的意义:对于多线程应用,CPU通过切片的方式来切换线程间的执行,线程切换时需要耗时(保存状态,下次继续)。协程,则只使用一个线程,在一个线程中规定某个代码块执行顺序。
协程的适用场景:当程序中存在大量不需要CPU的操作时(IO),适用于协程
1 | from greenlet import greenlet |
代码从上之下执行
gevent是greenlet的更高层次的封装
1 | import gevent |
在gevent
中,当遇到gevent.sleep(0)
时,就自动切换到其他的方法中去继续执行
当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。
由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。
由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成
1 | from gevent import monkey; monkey.patch_all() |
遇到IO操作自动切换
gevent.joinall
内部自带for循环
1 | from gevent import monkey; monkey.patch_all() |
参考文档:
进程池内部维护一个进程序列,当使用时,则去进程池中获取一个进程,如果进程池序列中没有可供使用的进进程,那么程序就会等待,直到进程池中有可用进程为止。
进程池中的函数:
1 | from multiprocessing import Pool |
以上代码没有任何返回就立即退出了
因为主进程没有阻塞,没有等待子进程执行完毕就退出了程序
1 | from multiprocessing import Pool |
join()
之前必须等待所有的子进程执行完毕
而等待子进程执行完毕有两种方法,一种是上面的close
方法,还有一种是terminate
方法
1 | from multiprocessing import Pool |
close
方法与terminate
方法的区别是:
1 | from multiprocessing import Pool |
1 | import multiprocessing |
参考文档:
多线程中有线程锁,多进程中也有进程锁。不同的是,在多线程中,数据默认是共享的,每个线程可以访问同一对象;而在多进程中,数据默认是独立的,要想在多进程中共享数据,需要使用特殊的方式实现
上面也提到了,我想重现多进程访问同一资源产生冲突的情况,就首先要构造出多进程的数据共享,如果对多进程的数据共享有疑问,可以参考上一篇文章
1 | from multiprocessing import Array |
1 | from multiprocessing import RLock, Lock, Event, Condition, Semaphore |
多进程中的锁和多线程中的锁用法是一样的,具体每个锁的用法这里就不一一举例了,可以参考多线程锁的用法