Skip to content

Commit 67c9290

Browse files
author
haolin3
committed
new content
1 parent cbe33c2 commit 67c9290

14 files changed

+3314
-4
lines changed

‎README.md

Lines changed: 4 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -273,3 +273,7 @@ English version repo and Gitbook is on [english branch](https://github.com/geekx
273273
| 63、左旋转字符串 | [Left Rotate String](./专栏/剑指offer/58_02_LeftRotateString) |
274274
| 64、滑动窗口的最大值 | [Max In Sliding Window](./专栏/剑指offer/59_01_MaxInSlidingWindow) |
275275
| 65、扑克牌的顺子 | [Continous Cards](./专栏/剑指offer/61_ContinousCards) |
276+
277+
### License
278+
279+
本项目除部分引用开源技术文档的内容外，大部分为本人原创！欢迎任何以学习为目的的传播，但未授权任何平台进行转载！

‎专栏/Linux/一文读懂Linux.md

Lines changed: 1264 additions & 0 deletions
Large diffs are not rendered by default.

‎专栏/操作系统/内存管理.md

Lines changed: 144 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,144 @@
1+
<!-- GFM-TOC -->
2+
* [虚拟内存](#虚拟内存)
3+
* [分页系统地址映射](#分页系统地址映射)
4+
* [页面置换算法](#页面置换算法)
5+
* [1. 最佳](#1-最佳)
6+
* [2. 最近最久未使用](#2-最近最久未使用)
7+
* [3. 最近未使用](#3-最近未使用)
8+
* [4. 先进先出](#4-先进先出)
9+
* [5. 第二次机会算法](#5-第二次机会算法)
10+
* [6. 时钟](#6-时钟)
11+
* [分段](#分段)
12+
* [段页式](#段页式)
13+
* [分页与分段的比较](#分页与分段的比较)
14+
<!-- GFM-TOC -->
15+
16+
17+
# 虚拟内存
18+
19+
虚拟内存的目的是为了让物理内存扩充成更大的逻辑内存，从而让程序获得更多的可用内存。
20+
21+
为了更好的管理内存，操作系统将内存抽象成地址空间。每个程序拥有自己的地址空间，这个地址空间被分割成多个块，每一块称为一页。这些页被映射到物理内存，但不需要映射到连续的物理内存，也不需要所有页都必须在物理内存中。当程序引用到不在物理内存中的页时，由硬件执行必要的映射，将缺失的部分装入物理内存并重新执行失败的指令。
22+
23+
从上面的描述中可以看出，虚拟内存允许程序不用将地址空间中的每一页都映射到物理内存，也就是说一个程序不需要全部调入内存就可以运行，这使得有限的内存运行大程序成为可能。例如有一台计算机可以产生 16 位地址，那么一个程序的地址空间范围是 0\~64K。该计算机只有 32KB 的物理内存，虚拟内存技术允许该计算机运行一个 64K 大小的程序。
24+
25+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/7b281b1e-0595-402b-ae35-8c91084c33c1.png"/> </div><br>
26+
27+
# 分页系统地址映射
28+
29+
内存管理单元（MMU）管理着地址空间和物理内存的转换，其中的页表（Page table）存储着页（程序地址空间）和页框（物理内存空间）的映射表。
30+
31+
一个虚拟地址分成两个部分，一部分存储页面号，一部分存储偏移量。
32+
33+
下图的页表存放着 16 个页，这 16 个页需要用 4 个比特位来进行索引定位。例如对于虚拟地址（0010 000000000100），前 4 位是存储页面号 2，读取表项内容为（110 1），页表项最后一位表示是否存在于内存中，1 表示存在。后 12 位存储偏移量。这个页对应的页框的地址为 （110 000000000100）。
34+
35+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/cf4386a1-58c9-4eca-a17f-e12b1e9770eb.png" width="500"/> </div><br>
36+
37+
# 页面置换算法
38+
39+
在程序运行过程中，如果要访问的页面不在内存中，就发生缺页中断从而将该页调入内存中。此时如果内存已无空闲空间，系统必须从内存中调出一个页面到磁盘对换区中来腾出空间。
40+
41+
页面置换算法和缓存淘汰策略类似，可以将内存看成磁盘的缓存。在缓存系统中，缓存的大小有限，当有新的缓存到达时，需要淘汰一部分已经存在的缓存，这样才有空间存放新的缓存数据。
42+
43+
页面置换算法的主要目标是使页面置换频率最低（也可以说缺页率最低）。
44+
45+
## 1. 最佳
46+
47+
> OPT, Optimal replacement algorithm
48+
49+
所选择的被换出的页面将是最长时间内不再被访问，通常可以保证获得最低的缺页率。
50+
51+
是一种理论上的算法，因为无法知道一个页面多长时间不再被访问。
52+
53+
举例：一个系统为某进程分配了三个物理块，并有如下页面引用序列：
54+
55+
```html
56+
7，0，1，2，0，3，0，4，2，3，0，3，2，1，2，0，1，7，0，1
57+
```
58+
59+
开始运行时，先将 7, 0, 1 三个页面装入内存。当进程要访问页面 2 时，产生缺页中断，会将页面 7 换出，因为页面 7 再次被访问的时间最长。
60+
61+
## 2. 最近最久未使用
62+
63+
> LRU, Least Recently Used
64+
65+
虽然无法知道将来要使用的页面情况，但是可以知道过去使用页面的情况。LRU 将最近最久未使用的页面换出。
66+
67+
为了实现 LRU，需要在内存中维护一个所有页面的链表。当一个页面被访问时，将这个页面移到链表表头。这样就能保证链表表尾的页面是最近最久未访问的。
68+
69+
因为每次访问都需要更新链表，因此这种方式实现的 LRU 代价很高。
70+
71+
```html
72+
4，7，0，7，1，0，1，2，1，2，6
73+
```
74+
75+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/eb859228-c0f2-4bce-910d-d9f76929352b.png"/> </div><br>
76+
## 3. 最近未使用
77+
78+
> NRU, Not Recently Used
79+
80+
每个页面都有两个状态位：R 与 M，当页面被访问时设置页面的 R=1，当页面被修改时设置 M=1。其中 R 位会定时被清零。可以将页面分成以下四类：
81+
82+
- R=0，M=0
83+
- R=0，M=1
84+
- R=1，M=0
85+
- R=1，M=1
86+
87+
当发生缺页中断时，NRU 算法随机地从类编号最小的非空类中挑选一个页面将它换出。
88+
89+
NRU 优先换出已经被修改的脏页面（R=0，M=1），而不是被频繁使用的干净页面（R=1，M=0）。
90+
91+
## 4. 先进先出
92+
93+
> FIFO, First In First Out
94+
95+
选择换出的页面是最先进入的页面。
96+
97+
该算法会将那些经常被访问的页面换出，导致缺页率升高。
98+
99+
## 5. 第二次机会算法
100+
101+
FIFO 算法可能会把经常使用的页面置换出去，为了避免这一问题，对该算法做一个简单的修改：
102+
103+
当页面被访问 (读或写) 时设置该页面的 R 位为 1。需要替换的时候，检查最老页面的 R 位。如果 R 位是 0，那么这个页面既老又没有被使用，可以立刻置换掉；如果是 1，就将 R 位清 0，并把该页面放到链表的尾端，修改它的装入时间使它就像刚装入的一样，然后继续从链表的头部开始搜索。
104+
105+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/ecf8ad5d-5403-48b9-b6e7-f2e20ffe8fca.png"/> </div><br>
106+
107+
## 6. 时钟
108+
109+
> Clock
110+
111+
第二次机会算法需要在链表中移动页面，降低了效率。时钟算法使用环形链表将页面连接起来，再使用一个指针指向最老的页面。
112+
113+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/5f5ef0b6-98ea-497c-a007-f6c55288eab1.png"/> </div><br>
114+
115+
# 分段
116+
117+
虚拟内存采用的是分页技术，也就是将地址空间划分成固定大小的页，每一页再与内存进行映射。
118+
119+
下图为一个编译器在编译过程中建立的多个表，有 4 个表是动态增长的，如果使用分页系统的一维地址空间，动态增长的特点会导致覆盖问题的出现。
120+
121+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/22de0538-7c6e-4365-bd3b-8ce3c5900216.png"/> </div><br>
122+
123+
分段的做法是把每个表分成段，一个段构成一个独立的地址空间。每个段的长度可以不同，并且可以动态增长。
124+
125+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/e0900bb2-220a-43b7-9aa9-1d5cd55ff56e.png"/> </div><br>
126+
127+
# 段页式
128+
129+
程序的地址空间划分成多个拥有独立地址空间的段，每个段上的地址空间划分成大小相同的页。这样既拥有分段系统的共享和保护，又拥有分页系统的虚拟内存功能。
130+
131+
# 分页与分段的比较
132+
133+
- 对程序员的透明性：分页透明，但是分段需要程序员显式划分每个段。
134+
135+
- 地址空间的维度：分页是一维地址空间，分段是二维的。
136+
137+
- 大小是否可以改变：页的大小不可变，段的大小可以动态改变。
138+
139+
- 出现的原因：分页主要用于实现虚拟内存，从而获得更大的地址空间；分段主要是为了使程序和数据可以被划分为逻辑上独立的地址空间并且有助于共享和保护。
140+
141+
142+
143+
144+

‎专栏/操作系统/死锁.md

Lines changed: 149 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,149 @@
1+
<!-- GFM-TOC -->
2+
* [必要条件](#必要条件)
3+
* [处理方法](#处理方法)
4+
* [鸵鸟策略](#鸵鸟策略)
5+
* [死锁检测与死锁恢复](#死锁检测与死锁恢复)
6+
* [1. 每种类型一个资源的死锁检测](#1-每种类型一个资源的死锁检测)
7+
* [2. 每种类型多个资源的死锁检测](#2-每种类型多个资源的死锁检测)
8+
* [3. 死锁恢复](#3-死锁恢复)
9+
* [死锁预防](#死锁预防)
10+
* [1. 破坏互斥条件](#1-破坏互斥条件)
11+
* [2. 破坏占有和等待条件](#2-破坏占有和等待条件)
12+
* [3. 破坏不可抢占条件](#3-破坏不可抢占条件)
13+
* [4. 破坏环路等待](#4-破坏环路等待)
14+
* [死锁避免](#死锁避免)
15+
* [1. 安全状态](#1-安全状态)
16+
* [2. 单个资源的银行家算法](#2-单个资源的银行家算法)
17+
* [3. 多个资源的银行家算法](#3-多个资源的银行家算法)
18+
<!-- GFM-TOC -->
19+
20+
21+
# 必要条件
22+
23+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/c037c901-7eae-4e31-a1e4-9d41329e5c3e.png"/> </div><br>
24+
25+
- 互斥：每个资源要么已经分配给了一个进程，要么就是可用的。
26+
- 占有和等待：已经得到了某个资源的进程可以再请求新的资源。
27+
- 不可抢占：已经分配给一个进程的资源不能强制性地被抢占，它只能被占有它的进程显式地释放。
28+
- 环路等待：有两个或者两个以上的进程组成一条环路，该环路中的每个进程都在等待下一个进程所占有的资源。
29+
30+
# 处理方法
31+
32+
主要有以下四种方法：
33+
34+
- 鸵鸟策略
35+
- 死锁检测与死锁恢复
36+
- 死锁预防
37+
- 死锁避免
38+
39+
# 鸵鸟策略
40+
41+
把头埋在沙子里，假装根本没发生问题。
42+
43+
因为解决死锁问题的代价很高，因此鸵鸟策略这种不采取任务措施的方案会获得更高的性能。
44+
45+
当发生死锁时不会对用户造成多大影响，或发生死锁的概率很低，可以采用鸵鸟策略。
46+
47+
大多数操作系统，包括 Unix，Linux 和 Windows，处理死锁问题的办法仅仅是忽略它。
48+
49+
# 死锁检测与死锁恢复
50+
51+
不试图阻止死锁，而是当检测到死锁发生时，采取措施进行恢复。
52+
53+
## 1. 每种类型一个资源的死锁检测
54+
55+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/b1fa0453-a4b0-4eae-a352-48acca8fff74.png"/> </div><br>
56+
57+
上图为资源分配图，其中方框表示资源，圆圈表示进程。资源指向进程表示该资源已经分配给该进程，进程指向资源表示进程请求获取该资源。
58+
59+
图 a 可以抽取出环，如图 b，它满足了环路等待条件，因此会发生死锁。
60+
61+
每种类型一个资源的死锁检测算法是通过检测有向图是否存在环来实现，从一个节点出发进行深度优先搜索，对访问过的节点进行标记，如果访问了已经标记的节点，就表示有向图存在环，也就是检测到死锁的发生。
62+
63+
## 2. 每种类型多个资源的死锁检测
64+
65+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/e1eda3d5-5ec8-4708-8e25-1a04c5e11f48.png"/> </div><br>
66+
67+
上图中，有三个进程四个资源，每个数据代表的含义如下：
68+
69+
- E 向量：资源总量
70+
- A 向量：资源剩余量
71+
- C 矩阵：每个进程所拥有的资源数量，每一行都代表一个进程拥有资源的数量
72+
- R 矩阵：每个进程请求的资源数量
73+
74+
进程 P<sub>1</sub> 和 P<sub>2</sub> 所请求的资源都得不到满足，只有进程 P<sub>3</sub> 可以，让 P<sub>3</sub> 执行，之后释放 P<sub>3</sub> 拥有的资源，此时 A = (2 2 2 0)。P<sub>2</sub> 可以执行，执行后释放 P<sub>2</sub> 拥有的资源，A = (4 2 2 1) 。P<sub>1</sub> 也可以执行。所有进程都可以顺利执行，没有死锁。
75+
76+
算法总结如下：
77+
78+
每个进程最开始时都不被标记，执行过程有可能被标记。当算法结束时，任何没有被标记的进程都是死锁进程。
79+
80+
1. 寻找一个没有标记的进程 P<sub>i</sub>，它所请求的资源小于等于 A。
81+
2. 如果找到了这样一个进程，那么将 C 矩阵的第 i 行向量加到 A 中，标记该进程，并转回 1。
82+
3. 如果没有这样一个进程，算法终止。
83+
84+
## 3. 死锁恢复
85+
86+
- 利用抢占恢复
87+
- 利用回滚恢复
88+
- 通过杀死进程恢复
89+
90+
# 死锁预防
91+
92+
在程序运行之前预防发生死锁。
93+
94+
## 1. 破坏互斥条件
95+
96+
例如假脱机打印机技术允许若干个进程同时输出，唯一真正请求物理打印机的进程是打印机守护进程。
97+
98+
## 2. 破坏占有和等待条件
99+
100+
一种实现方式是规定所有进程在开始执行前请求所需要的全部资源。
101+
102+
## 3. 破坏不可抢占条件
103+
104+
## 4. 破坏环路等待
105+
106+
给资源统一编号，进程只能按编号顺序来请求资源。
107+
108+
# 死锁避免
109+
110+
在程序运行时避免发生死锁。
111+
112+
## 1. 安全状态
113+
114+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/ed523051-608f-4c3f-b343-383e2d194470.png"/> </div><br>
115+
116+
图 a 的第二列 Has 表示已拥有的资源数，第三列 Max 表示总共需要的资源数，Free 表示还有可以使用的资源数。从图 a 开始出发，先让 B 拥有所需的所有资源（图 b），运行结束后释放 B，此时 Free 变为 5（图 c）；接着以同样的方式运行 C 和 A，使得所有进程都能成功运行，因此可以称图 a 所示的状态时安全的。
117+
118+
定义：如果没有死锁发生，并且即使所有进程突然请求对资源的最大需求，也仍然存在某种调度次序能够使得每一个进程运行完毕，则称该状态是安全的。
119+
120+
安全状态的检测与死锁的检测类似，因为安全状态必须要求不能发生死锁。下面的银行家算法与死锁检测算法非常类似，可以结合着做参考对比。
121+
122+
## 2. 单个资源的银行家算法
123+
124+
一个小城镇的银行家，他向一群客户分别承诺了一定的贷款额度，算法要做的是判断对请求的满足是否会进入不安全状态，如果是，就拒绝请求；否则予以分配。
125+
126+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/d160ec2e-cfe2-4640-bda7-62f53e58b8c0.png"/> </div><br>
127+
128+
上图 c 为不安全状态，因此算法会拒绝之前的请求，从而避免进入图 c 中的状态。
129+
130+
## 3. 多个资源的银行家算法
131+
132+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/62e0dd4f-44c3-43ee-bb6e-fedb9e068519.png"/> </div><br>
133+
134+
上图中有五个进程，四个资源。左边的图表示已经分配的资源，右边的图表示还需要分配的资源。最右边的 E、P 以及 A 分别表示：总资源、已分配资源以及可用资源，注意这三个为向量，而不是具体数值，例如 A=(1020)，表示 4 个资源分别还剩下 1/0/2/0。
135+
136+
检查一个状态是否安全的算法如下：
137+
138+
- 查找右边的矩阵是否存在一行小于等于向量 A。如果不存在这样的行，那么系统将会发生死锁，状态是不安全的。
139+
- 假若找到这样一行，将该进程标记为终止，并将其已分配资源加到 A 中。
140+
- 重复以上两步，直到所有进程都标记为终止，则状态时安全的。
141+
142+
如果一个状态不是安全的，需要拒绝进入这个状态。
143+
144+
145+
146+
147+
148+
149+

‎专栏/操作系统/磁盘调度.md

Lines changed: 65 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,65 @@
1+
<!-- GFM-TOC -->
2+
* [磁盘结构](#磁盘结构)
3+
* [磁盘调度算法](#磁盘调度算法)
4+
* [1. 先来先服务](#1-先来先服务)
5+
* [2. 最短寻道时间优先](#2-最短寻道时间优先)
6+
* [3. 电梯算法](#3-电梯算法)
7+
<!-- GFM-TOC -->
8+
9+
10+
# 磁盘结构
11+
12+
- 盘面（Platter）：一个磁盘有多个盘面；
13+
- 磁道（Track）：盘面上的圆形带状区域，一个盘面可以有多个磁道；
14+
- 扇区（Track Sector）：磁道上的一个弧段，一个磁道可以有多个扇区，它是最小的物理储存单位，目前主要有 512 bytes 与 4 K 两种大小；
15+
- 磁头（Head）：与盘面非常接近，能够将盘面上的磁场转换为电信号（读），或者将电信号转换为盘面的磁场（写）；
16+
- 制动手臂（Actuator arm）：用于在磁道之间移动磁头；
17+
- 主轴（Spindle）：使整个盘面转动。
18+
19+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/014fbc4d-d873-4a12-b160-867ddaed9807.jpg"/> </div><br>
20+
21+
# 磁盘调度算法
22+
23+
读写一个磁盘块的时间的影响因素有：
24+
25+
- 旋转时间（主轴转动盘面，使得磁头移动到适当的扇区上）
26+
- 寻道时间（制动手臂移动，使得磁头移动到适当的磁道上）
27+
- 实际的数据传输时间
28+
29+
其中，寻道时间最长，因此磁盘调度的主要目标是使磁盘的平均寻道时间最短。
30+
31+
## 1. 先来先服务
32+
33+
> FCFS, First Come First Served
34+
35+
按照磁盘请求的顺序进行调度。
36+
37+
优点是公平和简单。缺点也很明显，因为未对寻道做任何优化，使平均寻道时间可能较长。
38+
39+
## 2. 最短寻道时间优先
40+
41+
> SSTF, Shortest Seek Time First
42+
43+
优先调度与当前磁头所在磁道距离最近的磁道。
44+
45+
虽然平均寻道时间比较低，但是不够公平。如果新到达的磁道请求总是比一个在等待的磁道请求近，那么在等待的磁道请求会一直等待下去，也就是出现饥饿现象。具体来说，两端的磁道请求更容易出现饥饿现象。
46+
47+
<div align="center"> <img src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/4e2485e4-34bd-4967-9f02-0c093b797aaa.png"/> </div><br>
48+
49+
## 3. 电梯算法
50+
51+
> SCAN
52+
53+
电梯总是保持一个方向运行，直到该方向没有请求为止，然后改变运行方向。
54+
55+
电梯算法（扫描算法）和电梯的运行过程类似，总是按一个方向来进行磁盘调度，直到该方向上没有未完成的磁盘请求，然后改变方向。
56+
57+
因为考虑了移动方向，因此所有的磁盘请求都会被满足，解决了 SSTF 的饥饿问题。
58+
59+
60+
61+
62+
63+
64+
65+

0 commit comments

Comments
 (0)