# Redis 安装与配置

#编译安装
$ wget https://download.redis.io/releases/redis-6.2.1.tar.gz
$ tar xzf redis-6.2.1.tar.gz
$ cd redis-6.2.1
$ make
$ make install
$ apt install redis-tools
$ src/redis-server

#试验交互
$ src/redis-cli

#Mac :brew update && brew install redis
#Ubuntu:apt-get update && apt-get upgrade && apt-get install redis
vi /etc/redis/redis.conf 
#bind 127.0.0.1
daemonize yes   #redis-server 后台启动
requirepass 1qaz2wsx   #设置redis密码
ps -ef |grep redis
redis-cli INFO | grep ^db

# Python Redis 连接

 pip install redis
 import redis
 pool = redis.ConnectionPool(host=host, port=port, password=password, db=db, decode_responses=True) #decode_responses 防止中文编码乱码
  cursor = redis.StrictRedis(connection_pool=pool) 
#Redis 类用于向后兼容旧版本的redis-py,对Redis的接口实现做了部分修改Redis类中将参数num和value的顺序交换了
#推荐使用redis.StrictRedis 和Redis命令行语法兼容

# redis 数据类型

# 1.String

string 类型是二进制安全的。意思是 redis 的 string 可以包含任何数据。比如jpg图片或者序列化的对象。string 类型是 Redis 最基本的数据类型,string 类型的值最大能存储 512MB 常用命令get、set、incr、decr、mget

实现方式:String在redis内部存储默认就是一个字符串,被redisObject所引用,当遇到incr,decr等操作时会转成数值型进行计算,此时redisObject的encoding字段为int。

获取字符串长度 往字符串append内容 设置和获取字符串的某一段内容 设置及获取字符串的某一位(bit) 批量设置一系列字符串的内容

redis> SET key value
"OK"
redis> get key
value
redis > EXPIRE key seconds
redis > ttl key #-1代表永久
(integer) -1

# 2.Hash

Hash 是一个键值(key => value)对集合。Redis hash 是一个 string 类型的 field 和 value 的映射表,hash 特别适合用于存储对

常用命令.HMSET, HGET

redis> HSET myhash field1 "Hello" field2 "World"
"OK"
redis> HGET myhash field1
"Hello"
redis> HGETALL myhash #获取所有键值
"Hello"
"World"

# 3.List

list 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)

常用命令lpush(添加左边元素),rpush,lpop(移除左边第一个元素),rpop,lrange(获取列表片段,LRANGE key start stop)等

实现方式:Redis list的实现为一个双向链表,即可以支持反向查找和遍历,更方便操作,不过带来了部分额外的内存开销,Redis内部的很多实现,包括发送缓冲队列等也都是用的这个数据结构。

将一个或多个值插入到列表头部
LPUSH key value1 [value2] 

获取列表指定范围内的元素
LRANGE key start stop 

移除列表的最后一个元素,返回值为移除的元素。
RPOP key 

# 4.Set

set 是string类型的无序集合。集合是通过hashtable实现的,概念和数学中个的集合基本类似,可以交集,并集,差集等等,set中的元素是没有顺序的。所以添加,删除,查找的复杂度都是O(1)

常用命令sadd,spop,smembers,sunion

实现方式set 的内部实现是一个 value永远为null的HashMap,实际就是通过计算hash的方式来快速排重的,这也是set能提供判断一个成员是否在集合内的原因

使用场景: ①交集,并集,差集:(Set)

sadd key member

# 5.Zset

**zset 和 set 一样也是string类型元素的集合,且不允许重复的成员。 zadd 命令:添加元素到集合,元素在集合中存在则更新对应score

常用命令zadd,zrange,zrem,zcard等

实现方式:Redis sorted set的内部使用HashMap和跳跃表(SkipList)来保证数据的存储和有序,HashMap里放的是成员到score的映射,而跳跃表里存放的是所有的成员,排序依据是HashMap里存的score,使用跳跃表的结构可以获得比较高的查找效率,并且在实现上比较简单。

zadd key score member

类型 简介 特性 场景
String(字符串) 二进制安全 可以包含任何数据,比如jpg图片或者序列化的对象,一个键最大能存储512M
Hash(字典) 键值对集合,即编程语言中的Map类型 适合存储对象,并且可以像数据库中update一个属性一样只修改某一项属性值(Memcached中需要取出整个字符串反序列化成对象修改完再序列化存回去) 存储、读取、修改用户属性
List(列表) 链表(双向链表) 增删快,提供了操作某一段元素的API 1、最新消息排行等功能(比如朋友圈的时间线) 2、消息队列
Set(集合) 哈希表实现,元素不重复 1、添加、删除、查找的复杂度都是O(1) 2、为集合提供了求交集、并集、差集等操作 1、共同好友 2、利用唯一性,统计访问网站的所有独立ip 3、好友推荐时,根据tag求交集,大于某个阈值就可以推荐
Sorted Set(有序集合) 将Set中的元素增加一个权重参数score,元素按score有序排列 数据插入集合时,已经进行天然排序 1、排行榜 2、带权重的消息队列
#1. 基于List的 LPUSH+BRPOP 的实现
使用rpush和lpush操作入队列,lpop和rpop操作出队列。

List支持多个生产者和消费者并发进出消息,每个消费者拿到都是不同的列表元素。
但是当队列为空时,lpop和rpop会一直空轮训,消耗资源;所以引入阻塞读blpop和brpop(b代表blocking),阻塞读在队列没有数据的时候进入休眠状态,一旦数据到来则立刻醒过来,消息延迟几乎为零。

#2. SUB/PUB,订阅/发布模式
SUBSCRIBE,用于订阅信道

PUBLISH,向信道发送消息

UNSUBSCRIBE,取消订阅

此模式允许生产者只生产一次消息,由中间件负责将消息复制到多个消息队列,每个消息队列由对应的消费组消费。

可见,Pub/Sub 模式不适合做消息存储,消息积压类的业务,而是擅长处理广播,即时通讯,即时反馈的业务。

#3. 基于Sorted-Set的实现
Sortes Set(有序列表),类似于java的SortedSet和HashMap的结合体,一方面她是一个set,保证内部value的唯一性,另一方面它可以给每个value赋予一个score,代表这个value的排序权重。内部实现是“跳跃表”。

有序集合的方案是在自己确定消息顺ID时比较常用,使用集合成员的Score来作为消息ID,保证顺序,还可以保证消息ID的单调递增。通常可以使用时间戳+序号的方案。确保了消息ID的单调递增,利用SortedSet的依据Score排序的特征,就可以制作一个有序的消息队列了。

#4. 基于Stream类型的实现
Stream为redis 5.0后新增的数据结构。支持多播的可持久化消息队列,实现借鉴了Kafka设计。
Redis Stream的结构如上图所示,它有一个消息链表,将所有加入的消息都串起来,每个消息都有一个唯一的ID和对应的内容。消息是持久化的,Redis重启后,内容还在。




'''
生产者生产速度大于消费者消费速度,面临消息不断堆积的问题,随着消息数据的堆积,队列是开启限流措施,还是丢弃某些消息,更或者是把消息数据进行持久化。对于基于redis实现的消息队列,一般为可忍受部分消息丢失的业务,所以很多人选择丢弃消息的方案。
另一种方案是基于redis单线程机制,可以增加消费者数量,这也是仅仅针对消息只被消费一次的场景。当然也可以选择持久化方案,但是会对redis的性能产生影响'''

##Celery 分布式异步架构

Celery 分布式异步架构
Last Updated: 5/14/2023, 12:30:43 AM