之前一段时间偶然在 B 站上刷到了南京大学蒋炎岩(jyy)老师在直播操作系统网课。点进直播间看了一下发现这个老师实力非凡,上课从不照本宣科,而且旁征博引又不吝于亲自动手演示,于是点了关注。后来开始看其网课录播,其中一节的标题吸引了我,多处理器编程:从入门到放弃 (线程库;现代处理器和宽松内存模型)。“多处理器编程”这个词让我联想到去年看的《The Art of Multiprocessor Programming》,于是仔细看了一下这节网课。里面介绍到了一个试例 write_x_read_y,它是用 C 语言和内联汇编写的,它用来说明运行期指令重排。这个试例能够成功观测到运行期指令重排现象。这让我不得不佩服 jyy 的实践精神。之前看了一些介绍 C++ 内存模型的文章,没有一个能用可复现的完整代码说明问题的,全部都是说这段代码可能出现 xx 结果,没有实际的执行结果。在 C++ 内存模型中,这个测试用例除了能够说明运行期指令重排,也能用于说明 happens-before consistency 和 sequential consistency 的差别。于是尝试用 C++ Atomic 来实现这段代码,看看能不能观测到预期结果。
首先线程库 pthread 替换为 std::thread,内联汇编替换为 std::atomic,且 load 和 store 操作全部使用最弱的 std::memory_order_relaxed
内存序。完整的代码如下:
// write_x_read_y.cpp
#include <atomic>
#include <thread>
#include <stdio.h>
static std::atomic_int flag{0};
inline void wait_flag(int id)
{
while (!(flag & (0x1 << id))) {}
}
inline void clear_flag(int id)
{
flag.fetch_and(~(0x1 << id));
}
std::atomic_int x{0}, y{0};
void write_x_read_y()
{
while (true) {
wait_flag(0);
x.store(1, std::memory_order_relaxed); // t1.1
int v = y.load(std::memory_order_relaxed); // t1.2
printf("%d ", v);
clear_flag(0);
}
}
void write_y_read_x()
{
while (true) {
wait_flag(1);
y.store(1, std::memory_order_relaxed); // t2.1
int v = x.load(std::memory_order_relaxed); // t2.2
printf("%d ", v);
clear_flag(1);
}
}
int main()
{
std::thread t1(write_x_read_y), t2(write_y_read_x);
while (true) {
x = 0, y = 0;
flag = 0b11;
while (flag) {}
printf("\n");
fflush(stdout);
}
t1.join();
t2.join();
}
注意这段代码要开启代码优化才能观测到运行期指令重排,这里选择 O2
g++ -o write_x_read_y.out -O2 -pthread -std=c++11 -Wall -Wextra write_x_read_y.cpp
然后使用 jyy 视频里使用的 Unix 命令进行测试并整理结果
./write_x_read_y.out | head -n1000000 | sort | uniq -c
以下结果是在虚拟机环境中执行得到的。宿主机 CPU 型号为 AMD Ryzen 7 5800X,OS 为 Windows 10 x64,虚拟机是 Rocky Linux 8.6。
948739 0 0
50150 0 1
1109 1 0
2 1 1
成功观测到“0 0”。假设程序按照简单交叉执行,执行结果只可能是“0 1”、“1 0”、“1 1”这三种,不可能出现“0 0”。也就是说发生了运行期指令重排。
接下来,将 std::memory_order_relaxed
替换为 std::memory_order_release
和 std::memory_order_acquire
,再测一遍
x.store(1, std::memory_order_release); // t1.1
int v = y.load(std::memory_order_acquire); // t1.2
printf("%d ", v);
y.store(1, std::memory_order_release); // t2.1
int v = x.load(std::memory_order_acquire); // t2.2
printf("%d ", v);
测试结果为:
613684 0 0
360557 0 1
25757 1 0
2 1 1
又出现了“0 0”,也就说明这个试例无法区分 relaxed memory model 和 happens-before consistency。这也与理论相符,虽然 t1.1 happens-before t2.2、t2.1 happens-before t1.2,但是却无法借此推导出约束关系来限制执行结果。“0 0”依然有可能出现。
接下来替换为 std::memory_order_seq_cst
x.store(1, std::memory_order_seq_cst); // t1.1
int v = y.load(std::memory_order_seq_cst); // t1.2
printf("%d ", v);
y.store(1, std::memory_order_seq_cst); // t2.1
int v = x.load(std::memory_order_seq_cst); // t2.2
printf("%d ", v);
测试结果为:
132394 0 1
151 1 0
867455 1 1
这次“0 0”并没有出现,运行期指令重排没有被观测到。这与理论相符,使用 std::memory_order_seq_cst
的所有原子操作可以视为简单交叉执行,也就是 sequential consistency。“0 0”不可能出现。
write_x_read_y 这个试例很好地说明了 C++ 内存模型中的 happens-before consistency 和 sequential consistency 的区别。它的代码片段常见于各种相关文章中,却没有完整的代码和实际的测试结果。这下也算补全了 C++ 内存模型知识的一块拼图。