Redis 击穿&穿透&雪崩与 Spring Data Redis
一、常见概念
击穿:
概念:redis作为缓存,设置了key的过期时间,key在过期的时候刚好出现并发访问,直接击穿redis,访问数据库
解决方案:使用setnx() ->相当于一把锁,设置的时候,发现设置过期,加锁,只有获得锁的人才可以访问DB,这样就能防止击穿。
逻辑:
1
2
3
4
51. get key
2. setnx
3. if ok addDB
else sleep
go to 1
Redis 击穿&穿透&雪崩与 Spring Data Redis
击穿:
概念:redis作为缓存,设置了key的过期时间,key在过期的时候刚好出现并发访问,直接击穿redis,访问数据库
解决方案:使用setnx() ->相当于一把锁,设置的时候,发现设置过期,加锁,只有获得锁的人才可以访问DB,这样就能防止击穿。
逻辑:
1 | 1. get key |
我们在实际场景中,往往遇上一个单节点容量问题。
1.进行业务拆分,数据分类
2.到了数据不能拆分的时候,可以进行数据分片
布隆过滤器(英语:Bloom Filter)是1970年由一个叫布隆的小伙子提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。
面试关联:一般都会在回答缓存穿透,或者海量数据去重这个时候引出来,加分项哟
布隆过滤器的原理是,当一个元素被加入集合时,通过K个散列函数将这个元素映射成一个位数组中的K个点,把它们置为1。检索时,我们只要看看这些点是不是都是1就(大约)知道集合中有没有它了:如果这些点有任何一个0,则被检元素一定不在;如果都是1,则被检元素很可能在。这就是布隆过滤器的基本思想。
1 | rdb(relation-ship database)持久化: |
redis是单线程,单实例,为什么并发那么多,依旧很快呢?
回答:因为调用了系统内核的epoll
Linux有Linux kernal,我们的客户端,进行连接,首先到达的是Linux kernal,在Linux的早期版本,只有read和write进行文件读写。我们使用一个线程/进程 进行调用read和write函数,那么将会返回一个文件描述符fd(file description)。我们开启线程/进程去调用read进行读取。因为socket在这个时期是blocking(阻塞的),遇到高并发,就会阻塞,也就是bio时期。
很久之前,我们的数据存储方式是磁盘存储,每个磁盘都有一个磁道。每个磁道有很多扇区,一个扇区接近512Byte。
磁盘的寻址速度是毫秒级的,带宽是GB/M的。内存是ns级的,带宽也比磁盘大上好几个数量级。总体来说,磁盘比内存在寻址上慢了接近10W倍。
在这段历史中,我们的面临的问题是,I/O问题。在读写文件时,我们常常面临很大的I/O成本问题。但是最初有个最初的解决方案是加一个buffer。
目前 Oracle 官方推荐安装19c 的 linux 版本为Linux 7,不过强制安装到CentOS 8上,还是可以用的,接下来就来介绍怎么安装。
推荐先安装Oracle官方yum仓库,主要是为了通过yum安装 oracle-database-preinstall-19c.x86_64
,来帮助我们完成 Oracle Databse 19c 的依赖检查安装。