web技术分享|LRU 缓存淘汰算法(lru缓存机制)
cac55 2024-10-11 10:51 24 浏览 0 评论
了解 LRU 之前,我们应该了解一下缓存,大家都知道计算机具有缓存内存,可以临时存储最常用的数据,当缓存数据超过一定大小时,系统会进行回收,以便释放出空间来缓存新的数据,但从系统中检索数据的成本比较高。
缓存要求:
- 固定大小:缓存需要有一些限制来限制内存使用。
- 快速访问:缓存插入和查找操作应该很快,最好是 O(1) 时间。
- 在达到内存限制的情况下替换条目:缓存应该具有有效的算法来在内存已满时驱逐条目
如果提供一个缓存替换算法来辅助管理,按照设定的内存大小,删除最少使用的数据,在系统回收之前主动释放出空间,会使得整个检索过程变得非常快,因此 LRU 缓存淘汰算法就出现了。
LRU 原理与实现
[LRU (Least Recently Used) 缓存淘汰算法](https://baike.baidu.com/item/LRU)提出最近被频繁访问的数据应具备更高的留存,淘汰那些不常被访问的数据,即最近使用的数据很大概率将会再次被使用,抛弃最长时间未被访问的数据,目的是为了方便以后获取数据变得更快,例如 Vue 的 keep-live 组件就是 LRU 的一种实现。
实现的中心思想拆分为以下几步:
- 新的数据插入到链表头部。
- 每当缓存命中(即缓存数据被访问),则将数据移到链表头部。
- 当缓存内存已满时(链表数量已满时),将链表尾部的数据淘汰。
Example
这里使用一个例子来说明 LRU 实现的流程,详细请[参考这里](https://zhuanlan.zhihu.com/p/34989978)。
1. 最开始时,内存空间是空的,因此依次进入A、B、C是没有问题的
2. 当加入D时,就出现了问题,内存空间不够了,因此根据LRU算法,内存空间中A待的时间最为久远,选择A,将其淘汰
3. 当再次引用B时,内存空间中的B又处于活跃状态,而C则变成了内存空间中,近段时间最久未使用的
4. 当再次向内存空间加入E时,这时内存空间又不足了,选择在内存空间中待的最久的C将其淘汰出内存,这时的内存空间存放的对象就是E->B->D
基于双向链表和 HashMap 实现 LRU
常见的 LRU 算法是基于双向链表和 HashMap 实现的。
双向链表:用于管理缓存数据结点的顺序,新增数据和缓存命中(最近被访问)的数据被放置在 Header 结点,尾部的结点根据内存大小进行淘汰。
HashMap:存储所有结点的数据,当 LRU 缓存命中(进行数据访问)时,进行拦截进行数据置换和删除操作。
双向链表
[双向链表](https://baike.baidu.com/item/%E5%8F%8C%E5%90%91%E9%93%BE%E8%A1%A8/2968731?fr=aladdin)是众多链表中的一种,链表都是采用[链式存储结构](https://baike.baidu.com/item/%E9%93%BE%E5%BC%8F%E5%AD%98%E5%82%A8%E7%BB%93%E6%9E%84),链表中的每一个元素,我们称之为数据结点。
每个数据结点都包含一个数据域和指针域,指针域可以确定结点与结点之间的顺序,通过更新数据结点的指针域的指向可以更新链表的顺序。
双向链表的每个数据结点包含一个数据域和两个指针域:
- proir 指向上一个数据结点;
- data 当前数据结点的数据;
- next 指向下一个数据结点;
指针域确定链表的顺序,那么双向链表拥有双向指针域,数据结点的之间不在是单一指向,而是双向指向。即 proir 指针域指向上一个数据结点,next 指针域指向下一个数据结点。
同理:
- 单向链表只有一个指针域。
- 循环(环状)链表则是拥有双向指针域,且头部结点的指针域指向尾部结点,尾部结点的指针域指向头部结点。
特殊结点:Header 和 Tailer 结点
链表中还有两个特殊的结点,那就算 Header 结点和 Tailer 结点,分别表示头部结点和尾部结点,头部结点表示最新的数据或者缓存命中(最近访问过的数据),尾部结点表示长时间未被使用,即将被淘汰的数据节点。
作为算法大家都会关注其时间和空间复杂度 O(n),基于双向链表双向指针域的优势,为了降级时间复杂度,因此为了保证 LRU 新数据和缓存命中的数据都位于链表最前面(Header),缓存淘汰的时候删除最后的结点(Tailer),又要避免数据查找时从头到尾遍历,降低算法的时间复杂度,同时基于双向链表带来的优势,可以改变个别数据结点的指针域从而达到链表数据的更新,如果提供 Header 和 Tailer 结点作为标识的话,可以使用头插法快速增加结点,根据 Tailer 结点也可以在缓存淘汰时快速更新链表的顺序,避免遍历从头到尾遍历,降低算法的时间复杂度。
排序示例
LRU 链表中有 [6,5,4,3,2,1] 6个数据结点,其中 `6` 所在的数据结点为 Header(头部)结点,`1` 所在的数据结点为 Tailer(尾部)结点。如果此时数据 `3` 被访问(缓存命中),`3` 应该被更新至链表头,用数组的思维应该是删除 `3`,但是如果我们利用双向链表双向指针的优势,可以快速的实现链表顺便的更新:
- `3` 被删除时,`4` 和 `2` 中间没有其他结点,即 `4` 的 `next` 指针域指向 `2` 所在的数据结点;同理,`2` 的 `proir` 指针域指向 `2` 所在的数据结点。
HashMap
至于为什么使用 HashMap,用一句话来概括主要是因为 HashMap 通过 Key 获取速度会快的多,降低算法的时间复杂度。
例如:
- 我们在 get 缓存的时候从 HashMap 中获取的时候基本上时间复杂度控制在 O(1),如果从链表中一次遍历的话时间复杂度是 O(n)。
- 我们访问一个已经存在的节点时候,需要将这个节点移动到 header 节点后,这个时候需要在链表中删除这个节点,并重新在 header 后面新增一个节点。这个时候先去 HashMap 中获取这个节点删除节点关系,避免了从链表中遍历,将时间复杂度从 O(N) 减少为 O(1)
由于前端没有 HashMap 的相关 API,我们可以使用 `Object` 或者 `Map` 来代替。
代码实现
现在让我们运用所掌握的数据结构,设计和实现一个,或者参考 [LeeCode 146 题](https://leetcode-cn.com/problems/lru-cache/)。
链表结点 Entry
```typescript
export class Entry<T> {
value: T
key: string | number
next: Entry<T>
prev: Entry<T>
constructor(val: T) {
this.value = val;
}
}
```
双向链表 Double Linked List
主要职责:
- 管理头部结点和尾部结点
- 插入新数据时,将新数据移到头部结点
- 删除数据时,更新删除结点[前后两个结点的指向域](#排序示例)
```typescript
/**
* Simple double linked list. Compared with array, it has O(1) remove operation.
* @constructor
*/
export class LinkedList<T> {
head: Entry<T>
tail: Entry<T>
private _len = 0
/**
* Insert a new value at the tail
*/
insert(val: T): Entry<T> {
const entry = new Entry(val);
this.insertEntry(entry);
return entry;
}
/**
* Insert an entry at the tail
*/
insertEntry(entry: Entry<T>) {
if (!this.head) {
this.head = this.tail = entry;
}
else {
this.tail.next = entry;
entry.prev = this.tail;
entry.next = null;
this.tail = entry;
}
this._len++;
}
/**
* Remove entry.
*/
remove(entry: Entry<T>) {
const prev = entry.prev;
const next = entry.next;
if (prev) {
prev.next = next;
}
else {
// Is head
this.head = next;
}
if (next) {
next.prev = prev;
}
else {
// Is tail
this.tail = prev;
}
entry.next = entry.prev = null;
this._len--;
}
/**
* Get length
*/
len(): number {
return this._len;
}
/**
* Clear list
*/
clear() {
this.head = this.tail = null;
this._len = 0;
}
}
```
LRU 核心算法
主要职责:
- 将数据添加到链表并更新链表顺序
- 缓存命中时更新链表的顺序
- 内存溢出抛弃过时的链表数据
```typescript
/**
* LRU Cache
*/
export default class LRU<T> {
private _list = new LinkedList<T>()
private _maxSize = 10
private _lastRemovedEntry: Entry<T>
private _map: Dictionary<Entry<T>> = {}
constructor(maxSize: number) {
this._maxSize = maxSize;
}
/**
* @return Removed value
*/
put(key: string | number, value: T): T {
const list = this._list;
const map = this._map;
let removed = null;
if (map[key] == null) {
const len = list.len();
// Reuse last removed entry
let entry = this._lastRemovedEntry;
if (len >= this._maxSize && len > 0) {
// Remove the least recently used
const leastUsedEntry = list.head;
list.remove(leastUsedEntry);
delete map[leastUsedEntry.key];
removed = leastUsedEntry.value;
this._lastRemovedEntry = leastUsedEntry;
}
if (entry) {
entry.value = value;
}
else {
entry = new Entry(value);
}
entry.key = key;
list.insertEntry(entry);
map[key] = entry;
}
return removed;
}
get(key: string | number): T {
const entry = this._map[key];
const list = this._list;
if (entry != null) {
// Put the latest used entry in the tail
if (entry !== list.tail) {
list.remove(entry);
list.insertEntry(entry);
}
return entry.value;
}
}
/**
* Clear the cache
*/
clear() {
this._list.clear();
this._map = {};
}
len() {
return this._list.len();
}
}
```
其他 LRU 算法
除了以上常见的 LRU 算法,随着需求的复杂多样,基于 LRU 的思想也衍生出了许多优化算法,例如:
- LRU-K 算法
- LRU-Two queues(2Q)算法
- LRU-Multi queues(MQ)算法
- [LFU 算法](https://leetcode-cn.com/problems/lfu-cache/)
- [LRU变种算法](https://blog.csdn.net/u010223431/article/details/105498387)
参考链接
- [Zrender - LRU](https://github.com/ecomfe/zrender/blob/master/src/core/LRU.ts)
- [知乎 - 存淘汰算法--LRU算法](https://zhuanlan.zhihu.com/p/34989978)
- [LRU算法](https://www.cnblogs.com/wyq178/p/9976815.html)
- [LRU 策略详解和实现](https://leetcode-cn.com/problems/lru-cache/solution/lru-ce-lue-xiang-jie-he-shi-xian-by-labuladong/)
相关推荐
- 无力吐槽的自动续费(你被自动续费困扰过吗?)
-
今天因为工作需要,需要在百度文库上下载一篇文章。没办法,确实需要也有必要,只能老老实实的按要求买了个VIP。过去在百度文库上有过类似经历,当时为了写论文买了一个月的VIP,后面也没有太注意,直到第二个...
- 百度文库推出“文源计划”创作者可一键认领文档
-
11月7日,百度文库发布了旨在保护创作者权益的“文源计划”。所谓“文源计划”,即为每一篇文档找到源头,让创作者享受更多的权益。据百度文库总经理李小婉介绍,文源计划分为三部分,分别是版权认证、版权扶持和...
- 有开放大学学号的同学,百度文库高校版可以用了。
-
还在网上找百度文库的下载方式,只要从身边的朋友在读开放大学的,那他(她)的学号就可以登陆到国家开放大学图书馆,还使用百度文库高校版来下载。与百度文库稍有不同,但足够使用了。现转国图链接如下:htt...
- 搜索资源方法推荐(搜索资源的方法)
-
今天msgbox就要教大家如何又快又准的搜到各类资源,第一点,排除干扰百度搜索出来啊经常前排展示它的产品以及百度文库,如何去除呢?很简单,后面输入空格减号百度文库,比如你搜高等数学百度文库很多,只要后...
- 一行代码搞定百度文库VIP功能(2021百度文库vip账号密码共享)
-
百度文库作为大家常用查资料找文档的平台,大多数文档我们都可以直接在百度文库找到,然而百度文库也有让人头痛的时候。好不容易找到一篇合适的文档,当你准备复制的时候他却提示你需要开通VIP才能复制~~~下载...
- 百度文库文档批量上传工具用户说明书
-
百度文库文档批量上传工具用户说明书1、软件主要功能1、批量上传文档到百度文库,支持上传到收费、VIP专享、优享以及共享。2、支持自动分类和自动获取标签3、支持多用户切换,一个账户传满可以切换到...
- 百度文库现在都看不到文档是否上传成功,要凉了吗?
-
打开知识店铺,百度文库文档里显示都是下载这一按键,上传的文档也看不到是否成功?咋情况,要取消了吗?没通过审核的也不让你删除,是几个意思,想通吃吗?现在百度上传文档也很费劲,有时弄了半天的资料上传审核过...
- 微信推广引流108式:利用百度文库长期分享软文引流
-
百度文库相对于百度知道、百度百科来说,操作上没那么多条条框框,规则上也相对好把握些。做一条百度知道所花费的精力一般都会比做一条百度文库的要多些,老马个人操作下来觉得百度文库更好把握。但见仁见智吧,今天...
- 职场“避雷”指南 百度文库推出标准化劳动合同范本
-
轰轰烈烈的毕业季结束了,众多应届生在经过了“职场海选”后,已正式成为职场生力军的一员。这一阶段,除了熟悉业务,签订劳动合同、了解职场福利也迅速被提上日程。而随着国人法律意识的增强,百度文库内《劳动合同...
- 《百度文库》:素材精选宝库(百度文库官网首页)
-
《百度文库》:独特功能助力选择高质量素材在当今信息爆炸的时代,如何高效地获取并利用有价值的素材成为了许多人面临的挑战。而《百度文库》作为百度公司推出的一款在线文档分享平台,凭借其丰富的资源、强大的功能...
- 深度整合和开放AI能力 百度文库和网盘推出内容操作系统「沧舟OS」
-
【TechWeb】4月25日消息,Create2025百度AI开发者大会上,百度文库和百度网盘推出全球首个内容操作系统——沧舟OS。基于沧舟OS,百度文库APP全新上线「GenFlow超能搭子」...
- 女子发现大二作业被百度文库要求付费下载,律师:平台侵权,应赔偿
-
近日,28岁的黎女士在百度百科搜索家乡的小地名时,发现了自己在大二完成的课题作业。她继续搜索,发现多个平台收录了该文,比如豆丁网和文档之家等,有的还设置了付费或积分下载。2月15日,九派新闻记者以用户...
- 2016杀入百度文库的新捷径,只有少数人才知道的喔
-
百度的产品在SEO优化中的分量真不用多说,其实很多人都像我一样一直在找捷径。但是我经常发现很多人都是在用死方法。比如发贴吧发帖而不知道去申请一个吧主,知道自问自答而不知道去申请一个合作资格。口碑和贴吧...
- 百度文库付费文档搜索方法(百度文库付费文档搜索方法有哪些)
-
一直以来,百度文库中无论是个人中心还是个人主页,都没有像淘宝一样的店内搜索功能,连最近新开的知识店铺也没有设计店内搜索功能,这无论是对上传用户还是下载用户都不方便,上传用户想要搜索自己的文档无法办到...
- 供读者免费使用!泰达图书馆机构版百度文库新年上新啦
-
在泰达图书馆读者使用百度文库数字资源不需要VIP,免-费-用!惊不惊喜?快来了解一下吧……新年伊始,为满足区域企业、高校、科研院所以及居民群众在教学、科研及学习过程中,对各类文献资源的需求,泰达图书馆...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- 如何绘制折线图 (52)
- javaabstract (48)
- 新浪微博头像 (53)
- grub4dos (66)
- s扫描器 (51)
- httpfile dll (48)
- ps实例教程 (55)
- taskmgr (51)
- s spline (61)
- vnc远程控制 (47)
- 数据丢失 (47)
- wbem (57)
- flac文件 (72)
- 网页制作基础教程 (53)
- 镜像文件刻录 (61)
- ug5 0软件免费下载 (78)
- debian下载 (53)
- ubuntu10 04 (60)
- web qq登录 (59)
- 笔记本变成无线路由 (52)
- flash player 11 4 (50)
- 右键菜单清理 (78)
- cuteftp 注册码 (57)
- ospf协议 (53)
- ms17 010 下载 (60)