docker容器中没有sshd服务,我们可以使用nsenter来进入到容器中操作

nsenter项目地址:https://github.com/jpetazzo/nsenter

如果你的系统中没有nsenter命令,可以安装下

装好之后,vim docker-enter 内容如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
#!/bin/sh

if [ -e $(dirname "$0")/nsenter ]; then
# with boot2docker, nsenter is not in the PATH but it is in the same folder
NSENTER=$(dirname "$0")/nsenter
else
NSENTER=nsenter
fi

if [ -e $(dirname "$0")/importenv ]; then
# with boot2docker, importenv is not in the PATH but it is in the same folder
IMPORTENV=$(dirname "$0")/importenv
else
IMPORTENV=importenv
fi

if [ -z "$1" ]; then
echo "Usage: `basename "$0"` CONTAINER [COMMAND [ARG]...]"
echo ""
echo "Enters the Docker CONTAINER and executes the specified COMMAND."
echo "If COMMAND is not specified, runs an interactive shell in CONTAINER."
exit
fi

PID=$(docker inspect --format "{{.State.Pid}}" "$1")
[ -z "$PID" ] && exit 1
shift

if [ "$(id -u)" -ne "0" ]; then
which sudo > /dev/null
if [ "$?" -eq "0" ]; then
LAZY_SUDO="sudo "
else
echo "Warning: Cannot find sudo; Invoking nsenter as the user $USER." >&2
fi
fi

ENVIRON="/proc/$PID/environ"

# Prepare nsenter flags
OPTS="--target $PID --mount --uts --ipc --net --pid --"

# env is to clear all host environment variables and set then anew
if [ $# -lt 1 ]; then
# No arguments, default to `su` which executes the default login shell
$LAZY_SUDO "$IMPORTENV" "$ENVIRON" "$NSENTER" $OPTS su -m root
else
# Has command
# "$@" is magic in bash, and needs to be in the invocation
$LAZY_SUDO "$IMPORTENV" "$ENVIRON" "$NSENTER" $OPTS "$@"
fi

给此文件赋予执行权限,并放入到$PATH目录下

1
2
> chmod +x docker-enter
> mv docker-enter /usr/bin/

执行以下命令即可进入docker

1
> docker-enter <container-id>

1
2
3
4
5
6
7
8
9
> docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
rethinkdb latest 84f2159c754f 6 hours ago 183.8 MB
swarm latest f0aa3f353dfd 4 days ago 19.47 MB
alpine latest 4e38e38c8ce0 5 weeks ago 4.795 MB
shipyard/shipyard latest ab940e847950 9 weeks ago 58.89 MB
shipyard/docker-proxy latest cfee14e5d6f2 7 months ago 9.464 MB
ehazlett/curl latest de1763b15312 11 months ago 8.727 MB
microbox/etcd latest 6aef84b9ec5a 12 months ago 17.86 MB

导出

1
> docker save shipyard/docker-proxy > dp.tar

copy到另一台主机导入

1
> docker load < dp.tar

在扩充了LVM一个卷的空间之后,执行resize2fs报错:resize2fs: Bad magic number in super-block

查看你的文件系统

1
2
3
4
5
> mount
/dev/sda1 on /boot type xfs (rw,relatime,attr2,inode64,noquota)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,size=186872k,mode=700)
/dev/mapper/centos-root on /var/lib/docker/devicemapper type xfs (rw,relatime,attr2,inode64,noquota)
proc on /run/docker/netns/default type proc (rw,nosuid,nodev,noexec,relatime)

原来是xfs的文件系统,在ext4年代,执行resize2fs是没有问题的,但是到了xfs文件系统年代,就不能使用resize2fs

1
> xfs_growfs /dev/centos/root

xfs文件系统下扩充lvm卷,需要使用xfs_growfs

刚装完MySQL5.7,还热乎着,赶紧登陆上去看看,结果发现怎么输密码都是错的,到底MySQL5.7在安装的时候给root设置了个什么密码呢?

第一种方式:

1
mysqld_safe --skip-grant-tables &

如果此时不想被远程连接:

1
mysqld_safe --skip-grant-tables --skip-networking &

然后就可以无密码进入到MySQL数据库中,使用各种你熟悉的SQL语句来更改密码了

第二种方式

第二种方式砸破砂锅问到底的模式,我们到底要看看,MySQL5.7在安装的时候,到底给root设置了什么密码!

1
2
> cat /var/log/mysqld.log| grep "temporary password"
2016-07-28T15:09:33.387790Z 1 [Note] A temporary password is generated for root@localhost: h6(|6T3s5w@5

看到密码了吧~~

麻烦事儿在后头呢

1
2
3
# 登录进去之后密码的复杂度必须是大小写字符+数字+特殊符号
mysql> alter user user() identified by 'w{YQW6L;Dsf6vw';
Query OK, 0 rows affected (0.00 sec)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

path="你安装MySQL的绝对路径"

# 设置你系统中存在的编辑器,没有vim的用vi
> VISUAL=vim; export VISUAL

# 执行mysqlbug命令
> $path/bin/mysqlbug
test -x /usr/bin/vim
Using editor /usr/bin/vim
You can change editor by setting the environment variable VISUAL.
If your shell is a bourne shell (sh) do
VISUAL=your_editors_name; export VISUAL
If your shell is a C shell (csh) do
setenv VISUAL your_editors_name
SEND-PR: -*- send-pr -*-
SEND-PR: Lines starting with `SEND-PR' will be removed automatically, as
SEND-PR: will all comments (text enclosed in `<' and `>').
SEND-PR:
From: root
To: mysql@lists.mysql.com
Subject: [50 character or so descriptive subject here (for reference)]

......

# 在打开的文件中,最后部分会有编译的参数
Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl=http://bugzilla.redhat.com/bugzilla --enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib
--enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-languages=c,c++,objc,obj-c++,java,fortran,ada --enable-java-awt=gtk --disable-dssi --with-java-home=/usr/lib/jvm/java-1.5.0-gcj-1.5.0.0/jre --enable-libgcj-mu
ltifile --enable-java-maintainer-mode --with-ecj-jar=/usr/share/java/eclipse-ecj.jar --disable-libjava-multilib --with-ppl --with-cloog --with-tune=generic --with-arch_32=i686 --build=x86_64-redhat-linux

redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步

API使用

redis-py 的API的使用可以分类为:

  • 连接方式
    • 直接连接
    • 连接池
  • 操作
    • String 操作
    • Hash 操作
    • List 操作
    • Set 操作
    • Sort Set 操作
  • 管道
  • 发布订阅

连接方式

操作模式

redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py

1
2
3
4
5
6
7
8
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import redis

r = redis.Redis(host='10.211.55.4', port=6379)
r.set('foo', 'Bar')
print r.get('foo')

连接池

redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。默认,每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池

1
2
3
4
5
6
7
8
9
10
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import redis

pool = redis.ConnectionPool(host='10.211.55.4', port=6379)

r = redis.Redis(connection_pool=pool)
r.set('foo', 'Bar')
print r.get('foo')

操作

String 操作

String操作,redis中的String在在内存中按照一个name对应一个value来存储

name —> value
n1 —> v1
n2 —> v2
n3 —> v3

set(name, value, ex=None, px=None, nx=False, xx=False)

1
2
3
4
5
6
在Redis中设置值,默认,不存在则创建,存在则修改
参数:
ex,过期时间(秒)
px,过期时间(毫秒)
nx,如果设置为True,则只有name不存在时,当前set操作才执行
xx,如果设置为True,则只有name存在时,岗前set操作才执行

setnx(name, value)

1
设置值,只有name不存在时,执行设置操作(添加)

setex(name, value, time)

1
2
3
# 设置值
# 参数:
# time,过期时间(数字秒 或 timedelta对象)

psetex(name, time_ms, value)

1
2
3
# 设置值
# 参数:
# time_ms,过期时间(数字毫秒 或 timedelta对象)

mset(args, *kwargs)

1
2
3
4
5
批量设置值
如:
mset(k1='v1', k2='v2')

mset({'k1': 'v1', 'k2': 'v2'})

get(name)

1
获取值

mget(keys, *args)

1
2
3
4
5
批量获取
如:
mget('ylr', 'wupeiqi')

r.mget(['ylr', 'wupeiqi'])

getset(name, value)

1
设置新值并获取原来的值

getrange(key, start, end)

1
2
3
4
5
6
# 获取子序列(根据字节获取,非字符)
# 参数:
# name,Redis 的 name
# start,起始位置(字节)
# end,结束位置(字节)
# 如: "武沛齐" ,0-3表示 "武"

setrange(name, offset, value)

1
2
3
4
# 修改字符串内容,从指定字符串索引开始向后替换(新值太长时,则向后添加)
# 参数:
# offset,字符串的索引,字节(一个汉字三个字节)
# value,要设置的值

setbit(name, offset, value)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# 对name对应值的二进制表示的位进行操作

# 参数:
# name,redis的name
# offset,位的索引(将值变换成二进制后再进行索引)
# value,值只能是 1 或 0

# 注:如果在Redis中有一个对应: n1 = "foo",
那么字符串foo的二进制表示为:01100110 01101111 01101111
所以,如果执行 setbit('n1', 7, 1),则就会将第7位设置为1,
那么最终二进制则变成 01100111 01101111 01101111,即:"goo"

# 扩展,转换二进制表示:

# source = "武沛齐"
source = "foo"

for i in source:
num = ord(i)
print bin(num).replace('b','')

特别的,如果source是汉字 "武沛齐"怎么办?
答:对于utf-8,每一个汉字占 3 个字节,那么 "武沛齐" 则有 9个字节
对于汉字,for循环时候会按照 字节 迭代,那么在迭代时,将每一个字节转换 十进制数,然后再将十进制数转换成二进制
11100110 10101101 10100110 11100110 10110010 10011011 11101001 10111101 10010000
-------------------------- ----------------------------- -----------------------------
武 沛 齐

getbit(name, offset)

1
# 获取name对应的值的二进制表示中的某位的值 (0或1)

bitcount(key, start=None, end=None)

1
2
3
4
5
# 获取name对应的值的二进制表示中 1 的个数
# 参数:
# key,Redis的name
# start,位起始位置
# end,位结束位置

bitop(operation, dest, *keys)

1
2
3
4
5
6
7
8
9
10
# 获取多个值,并将值做位运算,将最后的结果保存至新的name对应的值

# 参数:
# operation,AND(并) 、 OR(或) 、 NOT(非) 、 XOR(异或)
# dest, 新的Redis的name
# *keys,要查找的Redis的name

# 如:
bitop("AND", 'new_name', 'n1', 'n2', 'n3')
# 获取Redis中n1,n2,n3对应的值,然后讲所有的值做位运算(求并集),然后将结果保存 new_name 对应的值中

strlen(name)

1
# 返回name对应值的字节长度(一个汉字3个字节)

incr(self, name, amount=1)

1
2
3
4
5
6
7
# 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。

# 参数:
# name,Redis的name
# amount,自增数(必须是整数)

# 注:同incrby

incrbyfloat(self, name, amount=1.0)

1
2
3
4
5
# 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。

# 参数:
# name,Redis的name
# amount,自增数(浮点型)

decr(self, name, amount=1)

1
2
3
4
5
# 自减 name对应的值,当name不存在时,则创建name=amount,否则,则自减。

# 参数:
# name,Redis的name
# amount,自减数(整数)

append(key, value)

1
2
3
4
5
# 在redis name对应的值后面追加内容

# 参数:
key, redis的name
value, 要追加的字符串

Hash 操作

name —> hash
n1 —> k1–>v1
k2–>v2
k3–>v3
n2 —> k9–>v9
k20–>v20
k31–>v31

hset(name, key, value)

1
2
3
4
5
6
7
8
9
# name对应的hash中设置一个键值对(不存在,则创建;否则,修改)

# 参数:
# name,redis的name
# key,name对应的hash中的key
# value,name对应的hash中的value

# 注:
# hsetnx(name, key, value),当name对应的hash中不存在当前key时则创建(相当于添加)

hmset(name, mapping)

1
2
3
4
5
6
7
8
# 在name对应的hash中批量设置键值对

# 参数:
# name,redis的name
# mapping,字典,如:{'k1':'v1', 'k2': 'v2'}

# 如:
# r.hmset('xx', {'k1':'v1', 'k2': 'v2'})

hget(name,key)

1
# 在name对应的hash中获取根据key获取value

hmget(name, keys, *args)

1
2
3
4
5
6
7
8
9
10
11
# 在name对应的hash中获取多个key的值

# 参数:
# name,reids对应的name
# keys,要获取key集合,如:['k1', 'k2', 'k3']
# *args,要获取的key,如:k1,k2,k3

# 如:
# r.mget('xx', ['k1', 'k2'])
# 或
# print r.hmget('xx', 'k1', 'k2')

hgetall(name)

1
获取name对应hash的所有键值

hlen(name)

1
# 获取name对应的hash中键值对的个数

hkeys(name)

1
# 获取name对应的hash中所有的key的值

hvals(name)

1
# 获取name对应的hash中所有的value的值

hexists(name, key)

1
# 检查name对应的hash是否存在当前传入的key

hdel(name,*keys)

1
# 将name对应的hash中指定key的键值对删除

hincrby(name, key, amount=1)

1
2
3
4
5
# 自增name对应的hash中的指定key的值,不存在则创建key=amount
# 参数:
# name,redis中的name
# key, hash对应的key
# amount,自增数(整数)

hincrbyfloat(name, key, amount=1.0)

1
2
3
4
5
6
7
8
# 自增name对应的hash中的指定key的值,不存在则创建key=amount

# 参数:
# name,redis中的name
# key, hash对应的key
# amount,自增数(浮点数)

# 自增name对应的hash中的指定key的值,不存在则创建key=amount

hscan(name, cursor=0, match=None, count=None)

1
2
3
4
5
6
7
8
9
10
11
12
13
# 增量式迭代获取,对于数据大的数据非常有用,hscan可以实现分片的获取数据,并非一次性将数据全部获取完,从而放置内存被撑爆

# 参数:
# name,redis的name
# cursor,游标(基于游标分批取获取数据)
# match,匹配指定key,默认None 表示所有的key
# count,每次分片最少获取个数,默认None表示采用Redis的默认分片个数

# 如:
# 第一次:cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
# 第二次:cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
# ...
# 直到返回值cursor的值为0时,表示数据已经通过分片获取完毕

hscan_iter(name, match=None, count=None)

1
2
3
4
5
6
7
8
9
# 利用yield封装hscan创建生成器,实现分批去redis中获取数据

# 参数:
# match,匹配指定key,默认None 表示所有的key
# count,每次分片最少获取个数,默认None表示采用Redis的默认分片个数

# 如:
# for item in r.hscan_iter('xx'):
# print item

List 操作

name —> hash
n1 —> v1,v2…
n2 —> v15,v59…

lpush(name,values)

1
2
3
4
5
6
7
8
# 在name对应的list中添加元素,每个新的元素都添加到列表的最左边

# 如:
# r.lpush('oo', 11,22,33)
# 保存顺序为: 33,22,11

# 扩展:
# rpush(name, values) 表示从右向左操作

lpushx(name,value)

1
2
3
4
# 在name对应的list中添加元素,只有name已经存在时,值添加到列表的最左边

# 更多:
# rpushx(name, value) 表示从右向左操作

llen(name)

1
# name对应的list元素的个数

linsert(name, where, refvalue, value))

1
2
3
4
5
6
7
# 在name对应的列表的某一个值前或后插入一个新值

# 参数:
# name,redis的name
# where,BEFORE或AFTER
# refvalue,标杆值,即:在它前后插入数据
# value,要插入的数据

r.lset(name, index, value)

1
2
3
4
5
6
# 对name对应的list中的某一个索引位置重新赋值

# 参数:
# name,redis的name
# index,list的索引位置
# value,要设置的值

r.lrem(name, value, num)

1
2
3
4
5
6
7
8
# 在name对应的list中删除指定的值

# 参数:
# name,redis的name
# value,要删除的值
# num, num=0,删除列表中所有的指定值;
# num=2,从前到后,删除2个;
# num=-2,从后向前,删除2个

lpop(name)

1
2
3
4
# 在name对应的列表的左侧获取第一个元素并在列表中移除,返回值则是第一个元素

# 更多:
# rpop(name) 表示从右向左操作

lindex(name, index)

1
在name对应的列表中根据索引获取列表元素

lrange(name, start, end)

1
2
3
4
5
# 在name对应的列表分片获取数据
# 参数:
# name,redis的name
# start,索引的起始位置
# end,索引结束位置

ltrim(name, start, end)

1
2
3
4
5
# 在name对应的列表中移除没有在start-end索引之间的值
# 参数:
# name,redis的name
# start,索引的起始位置
# end,索引结束位置

rpoplpush(src, dst)

1
2
3
4
# 从一个列表取出最右边的元素,同时将其添加至另一个列表的最左边
# 参数:
# src,要取数据的列表的name
# dst,要添加数据的列表的name

blpop(keys, timeout)

1
2
3
4
5
6
7
8
# 将多个列表排列,按照从左到右去pop对应列表的元素

# 参数:
# keys,redis的name的集合
# timeout,超时时间,当元素所有列表的元素获取完之后,阻塞等待列表内有数据的时间(秒), 0 表示永远阻塞

# 更多:
# r.brpop(keys, timeout),从右向左获取数据

brpoplpush(src, dst, timeout=0)

1
2
3
4
5
6
# 从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧

# 参数:
# src,取出并要移除元素的列表对应的name
# dst,要插入元素的列表对应的name
# timeout,当src对应的列表中没有数据时,阻塞等待其有数据的超时时间(秒),0 表示永远阻塞

自定义增量迭代(非常重要,原生的模块没有提供支持)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 由于redis类库中没有提供对列表元素的增量迭代,如果想要循环name对应的列表的所有元素,那么就需要:
# 1、获取name对应的所有列表
# 2、循环列表
# 但是,如果列表非常大,那么就有可能在第一步时就将程序的内容撑爆,所有有必要自定义一个增量迭代的功能:

def list_iter(name):
"""
自定义redis列表增量迭代
:param name: redis中的name,即:迭代name对应的列表
:return: yield 返回 列表元素
"""
list_count = r.llen(name)
for index in xrange(list_count):
yield r.lindex(name, index)

# 使用
for item in list_iter('pp'):
print item

Set 操作

Set操作,Set集合就是不允许重复的列表

sadd(name,values)

1
# name对应的集合中添加元素

scard(name)

1
获取name对应的集合中元素个数

sdiff(keys, *args)

1
在第一个name对应的集合中且不在其他name对应的集合的元素集合

sdiffstore(dest, keys, *args)

1
# 获取第一个name对应的集合中且不在其他name对应的集合,再将其新加入到dest对应的集合中

sinter(keys, *args)

1
# 获取多一个name对应集合的并集

sinterstore(dest, keys, *args)

1
# 获取多一个name对应集合的并集,再讲其加入到dest对应的集合中

sismember(name, value)

1
# 检查value是否是name对应的集合的成员

smembers(name)

1
# 获取name对应的集合的所有成员

smove(src, dst, value)

1
# 将某个成员从一个集合中移动到另外一个集合

spop(name)

1
# 从集合的右侧(尾部)移除一个成员,并将其返回

srandmember(name, numbers)

1
# 从name对应的集合中随机获取 numbers 个元素

srem(name, values)

1
# 在name对应的集合中删除某些值

sunion(keys, *args)

1
# 获取多一个name对应的集合的并集

sunionstore(dest,keys, *args)

1
# 获取多一个name对应的集合的并集,并将结果保存到dest对应的集合中

sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)

1
# 同字符串的操作,用于增量迭代分批获取元素,避免内存消耗太大

Sort Set 操作

有序集合,在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较,所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序

zadd(name, args, *kwargs)

1
2
3
4
5
# 在name对应的有序集合中添加元素
# 如:
# zadd('zz', 'n1', 1, 'n2', 2)
# 或
# zadd('zz', n1=11, n2=22)

zcard(name)

1
# 获取name对应的有序集合元素的数量

zcount(name, min, max)

1
# 获取name对应的有序集合中分数 在 [min,max] 之间的个数

zincrby(name, value, amount)

1
# 自增name对应的有序集合的 name 对应的分数

r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 按照索引范围获取name对应的有序集合的元素

# 参数:
# name,redis的name
# start,有序集合索引起始位置(非分数)
# end,有序集合索引结束位置(非分数)
# desc,排序规则,默认按照分数从小到大排序
# withscores,是否获取元素的分数,默认只获取元素的值
# score_cast_func,对分数进行数据转换的函数

# 更多:
# 从大到小排序
# zrevrange(name, start, end, withscores=False, score_cast_func=float)

# 按照分数范围获取name对应的有序集合的元素
# zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
# 从大到小排序
# zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

zrank(name, value)

1
2
3
4
# 获取某个值在 name对应的有序集合中的排行(从 0 开始)

# 更多:
# zrevrank(name, value),从大到小排序

zrangebylex(name, min, max, start=None, num=None)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 当有序集合的所有成员都具有相同的分值时,有序集合的元素会根据成员的 值 (lexicographical ordering)来进行排序,而这个命令则可以返回给定的有序集合键 key 中, 元素的值介于 min 和 max 之间的成员
# 对集合中的每个成员进行逐个字节的对比(byte-by-byte compare), 并按照从低到高的顺序, 返回排序后的集合成员。 如果两个字符串有一部分内容是相同的话, 那么命令会认为较长的字符串比较短的字符串要大

# 参数:
# name,redis的name
# min,左区间(值)。 + 表示正无限; - 表示负无限; ( 表示开区间; [ 则表示闭区间
# min,右区间(值)
# start,对结果进行分片处理,索引位置
# num,对结果进行分片处理,索引后面的num个元素

# 如:
# ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga
# r.zrangebylex('myzset', "-", "[ca") 结果为:['aa', 'ba', 'ca']

# 更多:
# 从大到小排序
# zrevrangebylex(name, max, min, start=None, num=None)

zrem(name, values)

1
2
3
# 删除name对应的有序集合中值是values的成员

# 如:zrem('zz', ['s1', 's2'])

zremrangebyrank(name, min, max)

1
# 根据排行范围删除

zremrangebyscore(name, min, max)

1
# 根据分数范围删除

zremrangebylex(name, min, max)

1
# 根据值返回删除

zscore(name, value)

1
# 获取name对应有序集合中 value 对应的分数

zinterstore(dest, keys, aggregate=None)

1
2
# 获取两个有序集合的交集,如果遇到相同值不同分数,则按照aggregate进行操作
# aggregate的值为: SUM MIN MAX

zunionstore(dest, keys, aggregate=None)

1
2
# 获取两个有序集合的并集,如果遇到相同值不同分数,则按照aggregate进行操作
# aggregate的值为: SUM MIN MAX

zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)

1
# 同字符串相似,相较于字符串新增score_cast_func,用来对分数进行操作

其他常用的操作

delete(*names)

1
# 根据删除redis中的任意数据类型

exists(name)

1
# 检测redis的name是否存在

keys(pattern=’*’)

1
2
3
4
5
6
7
8
# 根据模型获取redis的name


# 更多:
# KEYS * 匹配数据库中所有 key 。
# KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
# KEYS h*llo 匹配 hllo 和 heeeeello 等。
# KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo

expire(name ,time)

1
# 为某个redis的某个name设置超时时间

rename(src, dst)

1
# 对redis的name重命名为

move(name, db))

1
# 将redis的某个值移动到指定的db下

randomkey()

1
# 随机获取一个redis的name(不删除)

type(name)

1
# 获取name对应值的类型

scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)

1
# 同字符串操作,用于增量迭代获取key

管道

redis-py默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作,如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令,并且默认情况下一次pipline 是原子性操作。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import redis

pool = redis.ConnectionPool(host='10.211.55.4', port=6379)

r = redis.Redis(connection_pool=pool)

# pipe = r.pipeline(transaction=False)
pipe = r.pipeline(transaction=True)

r.set('name', 'alex')
r.set('role', 'sb')

pipe.execute()

发布订阅

发布者:服务器

订阅者:Dashboad和数据处理

Demo如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import redis


class RedisHelper:

def __init__(self):
self.__conn = redis.Redis(host='10.211.55.4')
self.chan_sub = 'fm104.5'
self.chan_pub = 'fm104.5'

def public(self, msg):
self.__conn.publish(self.chan_pub, msg)
return True

def subscribe(self):
pub = self.__conn.pubsub()
pub.subscribe(self.chan_sub)
pub.parse_response()
return pub

订阅者:

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/env python
# -*- coding:utf-8 -*-

from monitor.RedisHelper import RedisHelper

obj = RedisHelper()
redis_sub = obj.subscribe()

while True:
msg= redis_sub.parse_response()
print msg

发布者:

1
2
3
4
5
6
7
#!/usr/bin/env python
# -*- coding:utf-8 -*-

from monitor.RedisHelper import RedisHelper

obj = RedisHelper()
obj.public('hello')

Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon)是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信

memcache的基本使用

1
2
3
4
5
6
7
8
9
import memcache

mc = memcache.Client(['123.57.233.233:11211'], debug=True)
mc.set("Name", "PolarSnow")
ret = mc.get('Name')
print(ret)

------------
PolarSnow

注意:debug = True 表示运行出现错误时,显示错误信息,上线后移除该参数

天生支持集群

主机 权重
1.1.1.1 1
1.1.1.2 2
1.1.1.3 1

那么在内存中主机列表为:host_list = ["1.1.1.1", "1.1.1.2", "1.1.1.2", "1.1.1.3", ]

如果用户根据如果要在内存中创建一个键值对(如:k1 = “v1”),那么要执行一下步骤:

根据算法将 k1 转换成一个数字

将数字和主机列表长度求余数,得到一个值 N( 0 <= N < 列表长度 )
在主机列表中根据 第2步得到的值为索引获取主机,例如:host_list[N]
连接 将第3步中获取的主机,将 k1 = “v1” 放置在该服务器的内存中
代码实现如下:

1
2
3
mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True)

mc.set('k1', 'v1')

add

添加一条键值对,如果已经存在的 key,重复执行add操作异常

1
2
3
4
5
6
7
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache

mc = memcache.Client(['10.211.55.4:12000'], debug=True)
mc.add('k1', 'v1')
# mc.add('k1', 'v2') # 报错,对已经存在的key重复添加,失败!!!

replace

replace 修改某个key的值,如果key不存在,则异常

1
2
3
4
5
6
7
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache

mc = memcache.Client(['10.211.55.4:12000'], debug=True)
# 如果memcache中存在kkkk,则替换成功,否则一场
mc.replace('kkkk','999')

set 和 set_multi

set 设置一个键值对,如果key不存在,则创建,如果key存在,则修改
set_multi 设置多个键值对,如果key不存在,则创建,如果key存在,则修改

1
2
3
4
5
6
7
8
9
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache

mc = memcache.Client(['10.211.55.4:12000'], debug=True)

mc.set('key0', 'wupeiqi')

mc.set_multi({'key1': 'val1', 'key2': 'val2'})

delete 和 delete_multi

delete 在Memcached中删除指定的一个键值对
delete_multi 在Memcached中删除指定的多个键值对

1
2
3
4
5
6
7
8
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache

mc = memcache.Client(['10.211.55.4:12000'], debug=True)

mc.delete('key0')
mc.delete_multi(['key1', 'key2'])

get 和 get_multi

get 获取一个键值对
get_multi 获取多一个键值对

1
2
3
4
5
6
7
8
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache

mc = memcache.Client(['10.211.55.4:12000'], debug=True)

val = mc.get('key0')
item_dict = mc.get_multi(["key1", "key2", "key3"])

append 和 prepend

append 修改指定key的值,在该值 后面 追加内容
prepend 修改指定key的值,在该值 前面 插入内容

1
2
3
4
5
6
7
8
9
10
11
12
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache

mc = memcache.Client(['10.211.55.4:12000'], debug=True)
# k1 = "v1"

mc.append('k1', 'after')
# k1 = "v1after"

mc.prepend('k1', 'before')
# k1 = "beforev1after"

decr 和 incr  

incr 自增,将Memcached中的某一个值增加 N ( N默认为1 )
decr 自减,将Memcached中的某一个值减少 N ( N默认为1 )

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache

mc = memcache.Client(['10.211.55.4:12000'], debug=True)
mc.set('k1', '777')

mc.incr('k1')
# k1 = 778

mc.incr('k1', 10)
# k1 = 788

mc.decr('k1')
# k1 = 787

mc.decr('k1', 10)
# k1 = 777

gets 和 cas

避免产生脏数据,gets和cas成对儿出现,出现第二个cas的时候会报错

如商城商品剩余个数,假设改值保存在memcache中,product_count = 900
A用户刷新页面从memcache中读取到product_count = 900
B用户刷新页面从memcache中读取到product_count = 900

如果A、B用户均购买商品

A用户修改商品剩余个数 product_count=899
B用户修改商品剩余个数 product_count=899

如此一来缓存内的数据便不在正确,两个用户购买商品后,商品剩余还是 899
如果使用python的set和get来操作以上过程,那么程序就会如上述所示情况!

如果想要避免此情况的发生,只要使用 gets 和 cas 即可,如:

1
2
3
4
5
6
7
8
9
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import memcache
mc = memcache.Client(['10.211.55.4:12000'], debug=True, cache_cas=True)

v = mc.gets('product_count')
# ...
# 如果有人在gets之后和cas之前修改了product_count,那么,下面的设置将会执行失败,剖出异常,从而避免非正常数据的产生
mc.cas('product_count', "899")

注意:本质上每次执行gets时,会从memcache中获取一个自增的数字,通过cas去修改gets的值时,会携带之前获取的自增值和memcache中的自增值进行比较,如果相等,则可以提交,如果不相等,那表示在gets和cas执行之间,又有其他人执行了gets(获取了缓冲的指定值), 如此一来有可能出现非正常数据,则不允许修改

memcache集群中剔除掉不可用节点

必须在程序中去检测后端的可用状态,当有服务器出现服务不可用时,执行mc.set_servers()重新设置集群服务器列表


转载文档:

http://www.cnblogs.com/wupeiqi/articles/5132791.html

线程和进程的操作是由程序触发系统接口,最后的执行者是系统;协程的操作则是程序员

协程存在的意义:对于多线程应用,CPU通过切片的方式来切换线程间的执行,线程切换时需要耗时(保存状态,下次继续)。协程,则只使用一个线程,在一个线程中规定某个代码块执行顺序。

协程的适用场景:当程序中存在大量不需要CPU的操作时(IO),适用于协程

greenlet

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from greenlet import greenlet


def test1():
print(12)
gr2.switch()
print(34)
gr2.switch()


def test2():
print(56)
gr1.switch()
print(78)


gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()

------------
12
56
34
78

代码从上之下执行

  • 运行到第19行时,执行gr1.switch(),执行test1方法,代码跳到第5行,打印12
  • 接着代码运行到第6行,执行gr2.switch(),执行test2方法,代码跳到第12行,打印56
  • 接着代码运行到第13行,执行gr1.switch(),继续执行test1方法,代码跳到了第7行,打印34
  • 接着代码运行到第8行,执行gr2.switch(),继续执行test2方法,打印78

gevent

gevent是greenlet的更高层次的封装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import gevent

def foo():
print('Running in foo')
gevent.sleep(0)
print('Explicit context switch to foo again')

def bar():
print('Explicit context to bar')
gevent.sleep(0)
print('Implicit context switch back to bar')

gevent.joinall([
gevent.spawn(foo),
gevent.spawn(bar),
])

------------
Running in foo
Explicit context to bar
Explicit context switch to foo again
Implicit context switch back to bar

gevent中,当遇到gevent.sleep(0)时,就自动切换到其他的方法中去继续执行

协程实例

当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。

由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
from gevent import monkey; monkey.patch_all()
import gevent
import requests

def func(url):
print('GET: %s' % url)
resp = requests.get(url)
data = resp.text
print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([
gevent.spawn(func, 'https://www.baidu.com/'),
gevent.spawn(func, 'http://docs.20150509.cn/'),
gevent.spawn(func, 'http://www.20150509.cn/'),
])

------------
GET: https://www.baidu.com/
GET: http://docs.20150509.cn/
GET: http://www.20150509.cn/
1314 bytes received from http://www.20150509.cn/.
227 bytes received from https://www.baidu.com/.
37491 bytes received from http://docs.20150509.cn/.

遇到IO操作自动切换

gevent.joinall内部自带for循环

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from gevent import monkey; monkey.patch_all()
import gevent
import requests

def func(url):
print('GET: %s' % url)
resp = requests.get(url)
data = resp.text
print('%d bytes received from %s.' % (len(data), url))

urls = ['https://www.baidu.com/', 'http://docs.20150509.cn/', 'http://www.20150509.cn/']
glist = []
for i in range(len(urls)):
glist.append(gevent.spawn(func, urls[i]))
print(glist)
gevent.joinall(glist)

------------
[<Greenlet at 0x103396470: func('https://www.baidu.com/')>, <Greenlet at 0x103396638: func('http://docs.20150509.cn/')>, <Greenlet at 0x103396768: func('http://www.20150509.cn/')>]
GET: https://www.baidu.com/
GET: http://docs.20150509.cn/
GET: http://www.20150509.cn/
1314 bytes received from http://www.20150509.cn/.
227 bytes received from https://www.baidu.com/.
37491 bytes received from http://docs.20150509.cn/.

协程的使用场景

  • 爬虫
  • URL监控

参考文档:

http://www.3lian.com/edu/2015/04-30/209255.html

http://www.cnblogs.com/wupeiqi/articles/5040827.html

进程池内部维护一个进程序列,当使用时,则去进程池中获取一个进程,如果进程池序列中没有可供使用的进进程,那么程序就会等待,直到进程池中有可用进程为止。

进程池中的函数:

  • apply_async(func[, args[, kwds[, callback]]]) 它是非阻塞,apply(func[, args[, kwds]])是阻塞的
  • close() 关闭pool,使其不在接受新的任务。
  • terminate() 结束工作进程,不在处理未完成的任务。
  • join() 主进程阻塞,等待子进程的退出, join方法要在close或terminate之后使用。

使用进程池

1
2
3
4
5
6
7
8
9
10
11
from multiprocessing import Pool
import time

def function(arg):
time.sleep(1)
print(arg)

pool = Pool(5)
for i in range(16):
# pool.apply(func=function, args=(i,))
pool.apply_async(func=function, args=(i,))

以上代码没有任何返回就立即退出了

因为主进程没有阻塞,没有等待子进程执行完毕就退出了程序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
from multiprocessing import Pool
import time

def function(arg):
time.sleep(1)
print(arg)

pool = Pool(5)
for i in range(16):
# pool.apply(func=function, args=(i,))
pool.apply_async(func=function, args=(i,))

pool.close()
pool.join() # 调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束

------------
0
3
1
4
2
9
7
6
8
5
10
13
12
14
11
15

join()之前必须等待所有的子进程执行完毕

而等待子进程执行完毕有两种方法,一种是上面的close方法,还有一种是terminate方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
from multiprocessing import Pool
import time

def function(arg):
time.sleep(1)
print(arg)

pool = Pool(5)
for i in range(16):
# pool.apply(func=function, args=(i,))
pool.apply_async(func=function, args=(i,))

#pool.close()
time.sleep(1)
pool.terminate()
pool.join()

------------
0
2
1
3
4

close方法与terminate方法的区别是:

  • close:等待所有子进程执行完毕
  • terminate:不管是否正在执行都立即终止

使用进程池并关注结果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
from multiprocessing import Pool
import time

def function(arg):
time.sleep(1)
return arg

pool = Pool(5)
result = []
for i in range(16):
result.append(pool.apply_async(func=function, args=(i,)))

pool.close()
pool.join()

for r in result:
print("-->", r.get())

------------
--> 0
--> 1
--> 2
--> 3
--> 4
--> 5
--> 6
--> 7
--> 8
--> 9
--> 10
--> 11
--> 12
--> 13
--> 14
--> 15

multiprocessing pool map

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import multiprocessing 

def m1(x):
print(x * x)

if __name__ == '__main__':
pool = multiprocessing.Pool(multiprocessing.cpu_count())
i_list = range(8)
pool.map(m1, i_list)

------------
0
1
4
25
16
9
36
49

参考文档:

http://www.cnblogs.com/kaituorensheng/p/4465768.html

http://www.cnblogs.com/wupeiqi/articles/5040827.html

多线程中有线程锁,多进程中也有进程锁。不同的是,在多线程中,数据默认是共享的,每个线程可以访问同一对象;而在多进程中,数据默认是独立的,要想在多进程中共享数据,需要使用特殊的方式实现

上面也提到了,我想重现多进程访问同一资源产生冲突的情况,就首先要构造出多进程的数据共享,如果对多进程的数据共享有疑问,可以参考上一篇文章

没有锁访问共享资源

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from multiprocessing import Array
from multiprocessing import Process
import time

def func(array):
# 修改主进程的共享数据
array[0] = array[0] - 1
time.sleep(1)
print(array[0])

# 创建一个数组,长度为1,数据类型为int
array = Array('i', 1)
# 在主进程为该数组赋值
array[0] = 9
for i in range(9):
p = Process(target=func, args=(array,))
p.start()

------------
0
0
0
0
0
0
0
0
0

加锁访问共享资源

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
from multiprocessing import RLock, Lock, Event, Condition, Semaphore
from multiprocessing import Array
from multiprocessing import Process
import time

def func(array, lock):
lock.acquire()
# 修改主进程的共享数据
array[0] = array[0] - 1
time.sleep(1)
print(array[0])
lock.release()

# 创建一个数组,长度为1,数据类型为int
array = Array('i', 1)
# 在主进程为该数组赋值
array[0] = 9
lock = RLock()
for i in range(9):
p = Process(target=func, args=(array, lock))
p.start()

------------
8
7
6
5
4
3
2
1
0

多进程锁的种类

  • RLock
  • Lock
  • Event
  • Condition
  • Semaphore

多进程中的锁和多线程中的锁用法是一样的,具体每个锁的用法这里就不一一举例了,可以参考多线程锁的用法

http://docs.20150509.cn/2016/07/22/线程锁/