Java Unsafe 介绍
Unsafe 介绍
Unsafe
是位于 sun.misc
包下的一个类,主要提供一些用于执行低级别、不安全操作的方法,如直接访问系统内存资源、自主管理内存资源等,这些方法在提升 Java 运行效率、增强 Java 语言底层资源操作能力方面起到了很大的作用。但由于 Unsafe
类使 Java 语言拥有了类似 C 语言指针一样操作内存空间的能力,这无疑也增加了程序发生相关指针问题的风险。在程序中过度、不正确使用 Unsafe
类会使得程序出错的概率变大,使得 Java 这种安全的语言变得不再“安全”,因此对 Unsafe
的使用一定要慎重。
另外,Unsafe
提供的这些功能的实现需要依赖本地方法(Native Method)。你可以将本地方法看作是 Java 中使用其他编程语言编写的方法。本地方法使用 native
关键字修饰,Java 代码中只是声明方法头,具体的实现则交给 本地代码。
为什么要使用本地方法呢?
- 需要用到 Java 中不具备的依赖于操作系统的特性,Java 在实现跨平台的同时要实现对底层的控制,需要借助其他语言发挥作用。
- 对于其他语言已经完成的一些现成功能,可以使用 Java 直接调用。
- 程序对时间敏感或对性能要求非常高时,有必要使用更加底层的语言,例如 C/C++甚至是汇编。
在 JUC 包的很多并发工具类在实现并发机制时,都调用了本地方法,通过它们打破了 Java 运行时的界限,能够接触到操作系统底层的某些功能。对于同一本地方法,不同的操作系统可能会通过不同的方式来实现,但是对于使用者来说是透明的,最终都会得到相同的结果。
Unsafe 创建
sun.misc.Unsafe
部分源码如下:
1 | public final class Unsafe { |
Unsafe
类为一单例实现,提供静态方法 getUnsafe
获取 Unsafe
实例。这个看上去貌似可以用来获取 Unsafe
实例。但是,当我们直接调用这个静态方法的时候,会抛出 SecurityException
异常:
1 | Exception in thread "main" java.lang.SecurityException: Unsafe |
为什么 public static
方法无法被直接调用呢?
这是因为在getUnsafe
方法中,会对调用者的classLoader
进行检查,判断当前类是否由Bootstrap classLoader
加载,如果不是的话那么就会抛出一个SecurityException
异常。也就是说,只有启动类加载器加载的类才能够调用 Unsafe 类中的方法,来防止这些方法在不可信的代码中被调用。
为什么要对 Unsafe 类进行这么谨慎的使用限制呢?
Unsafe
提供的功能过于底层(如直接访问系统内存资源、自主管理内存资源等),安全隐患也比较大,使用不当的话,很容易出现很严重的问题。
如若想使用 Unsafe
这个类的话,应该如何获取其实例呢?
这里介绍两个可行的方案。
1、利用反射获得 Unsafe 类中已经实例化完成的单例对象 theUnsafe
。
1 | private static Unsafe reflectGetUnsafe() { |
2、从getUnsafe
方法的使用限制条件出发,通过 Java 命令行命令-Xbootclasspath/a
把调用 Unsafe 相关方法的类 A 所在 jar 包路径追加到默认的 bootstrap 路径中,使得 A 被引导类加载器加载,从而通过Unsafe.getUnsafe
方法安全的获取 Unsafe 实例。
1 | java -Xbootclasspath/a: ${path} // 其中path为调用Unsafe相关方法的类所在jar包路径 |
Unsafe 功能
概括的来说,Unsafe
类实现功能可以被分为下面 8 类:
- 内存操作
- 内存屏障
- 对象操作
- 数据操作
- CAS 操作
- 线程调度
- Class 操作
- 系统信息
内存操作
介绍
如果你是一个写过 C 或者 C++ 的程序员,一定对内存操作不会陌生,而在 Java 中是不允许直接对内存进行操作的,对象内存的分配和回收都是由 JVM 自己实现的。但是在 Unsafe
中,提供的下列接口可以直接进行内存操作:
1 | //分配新的本地空间 |
使用下面的代码进行测试:
1 | private void memoryTest() { |
先看结果输出:
1 | addr: 2433733895744 |
分析一下运行结果,首先使用allocateMemory
方法申请 4 字节长度的内存空间,调用setMemory
方法向每个字节写入内容为byte
类型的 1,当使用 Unsafe 调用getInt
方法时,因为一个int
型变量占 4 个字节,会一次性读取 4 个字节,组成一个int
的值,对应的十进制结果为 16843009。
你可以通过下图理解这个过程:
在代码中调用reallocateMemory
方法重新分配了一块 8 字节长度的内存空间,通过比较addr
和addr3
可以看到和之前申请的内存地址是不同的。在代码中的第二个 for 循环里,调用copyMemory
方法进行了两次内存的拷贝,每次拷贝内存地址addr
开始的 4 个字节,分别拷贝到以addr3
和addr3+4
开始的内存空间上:
拷贝完成后,使用getLong
方法一次性读取 8 个字节,得到long
类型的值为 72340172838076673。
需要注意,通过这种方式分配的内存属于 堆外内存 ,是无法进行垃圾回收的,需要我们把这些内存当做一种资源去手动调用freeMemory
方法进行释放,否则会产生内存泄漏。通用的操作内存方式是在try
中执行对内存的操作,最终在finally
块中进行内存的释放。
为什么要使用堆外内存?
- 对垃圾回收停顿的改善。由于堆外内存是直接受操作系统管理而不是 JVM,所以当我们使用堆外内存时,即可保持较小的堆内内存规模。从而在 GC 时减少回收停顿对于应用的影响。
- 提升程序 I/O 操作的性能。通常在 I/O 通信过程中,会存在堆内内存到堆外内存的数据拷贝操作,对于需要频繁进行内存间数据拷贝且生命周期较短的暂存数据,都建议存储到堆外内存。
典型应用
DirectByteBuffer
是 Java 用于实现堆外内存的一个重要类,通常用在通信过程中做缓冲池,如在 Netty、MINA 等 NIO 框架中应用广泛。DirectByteBuffer
对于堆外内存的创建、使用、销毁等逻辑均由 Unsafe 提供的堆外内存 API 来实现。
下图为 DirectByteBuffer
构造函数,创建 DirectByteBuffer
的时候,通过 Unsafe.allocateMemory
分配内存、Unsafe.setMemory
进行内存初始化,而后构建 Cleaner
对象用于跟踪 DirectByteBuffer
对象的垃圾回收,以实现当 DirectByteBuffer
被垃圾回收时,分配的堆外内存一起被释放。
1 | DirectByteBuffer(int cap) { // package-private |
内存屏障
介绍
在介绍内存屏障前,需要知道编译器和 CPU 会在保证程序输出结果一致的情况下,会对代码进行重排序,从指令优化角度提升性能。而指令重排序可能会带来一个不好的结果,导致 CPU 的高速缓存和内存中数据的不一致,而内存屏障(Memory Barrier
)就是通过阻止屏障两边的指令重排序从而避免编译器和硬件的不正确优化情况。
在硬件层面上,内存屏障是 CPU 为了防止代码进行重排序而提供的指令,不同的硬件平台上实现内存屏障的方法可能并不相同。在 Java8 中,引入了 3 个内存屏障的函数,它屏蔽了操作系统底层的差异,允许在代码中定义、并统一由 JVM 来生成内存屏障指令,来实现内存屏障的功能。
Unsafe
中提供了下面三个内存屏障相关方法:
1 | //内存屏障,禁止load操作重排序。屏障前的load操作不能被重排序到屏障后,屏障后的load操作不能被重排序到屏障前 |
内存屏障可以看做对内存随机访问的操作中的一个同步点,使得此点之前的所有读写操作都执行后才可以开始执行此点之后的操作。以loadFence
方法为例,它会禁止读操作重排序,保证在这个屏障之前的所有读操作都已经完成,并且将缓存数据设为无效,重新从主存中进行加载。
看到这估计很多人会想到volatile
关键字了,如果在字段上添加了volatile
关键字,就能够实现字段在多线程下的可见性。基于读内存屏障,我们也能实现相同的功能。下面定义一个线程方法,在线程中去修改flag
标志位,注意这里的flag
是没有被volatile
修饰的:
1 |
|
在主线程的while
循环中,加入内存屏障,测试是否能够感知到flag
的修改变化:
1 | public static void main(String[] args){ |
运行结果:
1 | subThread change flag to:false |
而如果删掉上面代码中的loadFence
方法,那么主线程将无法感知到flag
发生的变化,会一直在while
中循环。可以用图来表示上面的过程:
了解 Java 内存模型(JMM
)的人应该清楚,运行中的线程不是直接读取主内存中的变量的,只能操作自己工作内存中的变量,然后同步到主内存中,并且线程的工作内存是不能共享的。上面的图中的流程就是子线程借助于主内存,将修改后的结果同步给了主线程,进而修改主线程中的工作空间,跳出循环。
典型应用
在 Java 8 中引入了一种锁的新机制——StampedLock
,它可以看成是读写锁的一个改进版本。StampedLock
提供了一种乐观读锁的实现,这种乐观读锁类似于无锁的操作,完全不会阻塞写线程获取写锁,从而缓解读多写少时写线程“饥饿”现象。由于 StampedLock
提供的乐观读锁不阻塞写线程获取读锁,当线程共享变量从主内存 load 到线程工作内存时,会存在数据不一致问题。
为了解决这个问题,StampedLock
的 validate
方法会通过 Unsafe
的 loadFence
方法加入一个 load
内存屏障。
1 | public boolean validate(long stamp) { |
对象操作
介绍
例子
1 | import sun.misc.Unsafe; |
输出结果:
1 | value before putInt: 0 |
对象属性
对象成员属性的内存偏移量获取,以及字段属性值的修改,在上面的例子中我们已经测试过了。除了前面的putInt
、getInt
方法外,Unsafe 提供了全部 8 种基础数据类型以及Object
的put
和get
方法,并且所有的put
方法都可以越过访问权限,直接修改内存中的数据。阅读 openJDK 源码中的注释发现,基础数据类型和Object
的读写稍有不同,基础数据类型是直接操作的属性值(value
),而Object
的操作则是基于引用值(reference value
)。下面是Object
的读写方法:
1 | //在对象的指定偏移地址获取一个对象引用 |
除了对象属性的普通读写外,Unsafe
还提供了 volatile 读写和有序写入方法。volatile
读写方法的覆盖范围与普通读写相同,包含了全部基础数据类型和Object
类型,以int
类型为例:
1 | //在对象的指定偏移地址处读取一个int值,支持volatile load语义 |
相对于普通读写来说,volatile
读写具有更高的成本,因为它需要保证可见性和有序性。在执行get
操作时,会强制从主存中获取属性值,在使用put
方法设置属性值时,会强制将值更新到主存中,从而保证这些变更对其他线程是可见的。
有序写入的方法有以下三个:
1 | public native void putOrderedObject(Object o, long offset, Object x); |
有序写入的成本相对volatile
较低,因为它只保证写入时的有序性,而不保证可见性,也就是一个线程写入的值不能保证其他线程立即可见。为了解决这里的差异性,需要对内存屏障的知识点再进一步进行补充,首先需要了解两个指令的概念:
Load
:将主内存中的数据拷贝到处理器的缓存中Store
:将处理器缓存的数据刷新到主内存中
顺序写入与volatile
写入的差别在于,在顺序写时加入的内存屏障类型为StoreStore
类型,而在volatile
写入时加入的内存屏障是StoreLoad
类型,如下图所示:
在有序写入方法中,使用的是StoreStore
屏障,该屏障确保Store1
立刻刷新数据到内存,这一操作先于Store2
以及后续的存储指令操作。而在volatile
写入中,使用的是StoreLoad
屏障,该屏障确保Store1
立刻刷新数据到内存,这一操作先于Load2
及后续的装载指令,并且,StoreLoad
屏障会使该屏障之前的所有内存访问指令,包括存储指令和访问指令全部完成之后,才执行该屏障之后的内存访问指令。
综上所述,在上面的三类写入方法中,在写入效率方面,按照put
、putOrder
、putVolatile
的顺序效率逐渐降低。
对象实例化
使用 Unsafe
的 allocateInstance
方法,允许我们使用非常规的方式进行对象的实例化,首先定义一个实体类,并且在构造函数中对其成员变量进行赋值操作:
1 |
|
分别基于构造函数、反射以及 Unsafe
方法的不同方式创建对象进行比较:
1 | public void objTest() throws Exception{ |
打印结果分别为 1、1、0,说明通过allocateInstance
方法创建对象过程中,不会调用类的构造方法。使用这种方式创建对象时,只用到了Class
对象,所以说如果想要跳过对象的初始化阶段或者跳过构造器的安全检查,就可以使用这种方法。在上面的例子中,如果将 A 类的构造函数改为private
类型,将无法通过构造函数和反射创建对象(可以通过构造函数对象 setAccessible 后创建对象),但allocateInstance
方法仍然有效。
典型应用
- 常规对象实例化方式:我们通常所用到的创建对象的方式,从本质上来讲,都是通过 new 机制来实现对象的创建。但是,new 机制有个特点就是当类只提供有参的构造函数且无显示声明无参构造函数时,则必须使用有参构造函数进行对象构造,而使用有参构造函数时,必须传递相应个数的参数才能完成对象实例化。
- 非常规的实例化方式:而 Unsafe 中提供 allocateInstance 方法,仅通过 Class 对象就可以创建此类的实例对象,而且不需要调用其构造函数、初始化代码、JVM 安全检查等。它抑制修饰符检测,也就是即使构造器是 private 修饰的也能通过此方法实例化,只需提类对象即可创建相应的对象。由于这种特性,allocateInstance 在 java.lang.invoke、Objenesis(提供绕过类构造器的对象生成方式)、Gson(反序列化时用到)中都有相应的应用。
数组操作
介绍
arrayBaseOffset
与 arrayIndexScale
这两个方法配合起来使用,即可定位数组中每个元素在内存中的位置。
1 | //返回数组中第一个元素的偏移地址 |
典型应用
这两个与数据操作相关的方法,在 java.util.concurrent.atomic
包下的 AtomicIntegerArray
(可以实现对 Integer
数组中每个元素的原子性操作)中有典型的应用,如下图 AtomicIntegerArray
源码所示,通过 Unsafe
的 arrayBaseOffset
、arrayIndexScale
分别获取数组首元素的偏移地址 base
及单个元素大小因子 scale
。后续相关原子性操作,均依赖于这两个值进行数组中元素的定位,如下图二所示的 getAndAdd
方法即通过 checkedByteOffset
方法获取某数组元素的偏移地址,而后通过 CAS 实现原子性操作。
CAS 操作
介绍
这部分主要为 CAS 相关操作的方法。
1 | /** |
什么是 CAS? CAS 即比较并替换(Compare And Swap),是实现并发算法时常用到的一种技术。CAS 操作包含三个操作数——内存位置、预期原值及新值。执行 CAS 操作的时候,将内存位置的值与预期原值比较,如果相匹配,那么处理器会自动将该位置值更新为新值,否则,处理器不做任何操作。我们都知道,CAS 是一条 CPU 的原子指令(cmpxchg 指令),不会造成所谓的数据不一致问题,Unsafe
提供的 CAS 方法(如 compareAndSwapXXX
)底层实现即为 CPU 指令 cmpxchg
。
典型应用
在 JUC 包的并发工具类中大量地使用了 CAS 操作,像在前面介绍synchronized
和AQS
的文章中也多次提到了 CAS,其作为乐观锁在并发工具类中广泛发挥了作用。在 Unsafe
类中,提供了compareAndSwapObject
、compareAndSwapInt
、compareAndSwapLong
方法来实现的对Object
、int
、long
类型的 CAS 操作。以compareAndSwapInt
方法为例:
1 | public final native boolean compareAndSwapInt(Object o, long offset,int expected,int x); |
参数中o
为需要更新的对象,offset
是对象o
中整形字段的偏移量,如果这个字段的值与expected
相同,则将字段的值设为x
这个新值,并且此更新是不可被中断的,也就是一个原子操作。下面是一个使用compareAndSwapInt
的例子:
1 | private volatile int a; |
运行代码会依次输出:
1 | 1 2 3 4 5 6 7 8 9 |
在上面的例子中,使用两个线程去修改int
型属性a
的值,并且只有在a
的值等于传入的参数x
减一时,才会将a
的值变为x
,也就是实现对a
的加一的操作。流程如下所示:
需要注意的是,在调用compareAndSwapInt
方法后,会直接返回true
或false
的修改结果,因此需要我们在代码中手动添加自旋的逻辑。在AtomicInteger
类的设计中,也是采用了将compareAndSwapInt
的结果作为循环条件,直至修改成功才退出死循环的方式来实现的原子性的自增操作。
线程调度
介绍
Unsafe
类中提供了park
、unpark
、monitorEnter
、monitorExit
、tryMonitorEnter
方法进行线程调度。
1 | //取消阻塞线程 |
方法 park
、unpark
即可实现线程的挂起与恢复,将一个线程进行挂起是通过 park
方法实现的,调用 park
方法后,线程将一直阻塞直到超时或者中断等条件出现;unpark
可以终止一个挂起的线程,使其恢复正常。
此外,Unsafe
源码中monitor
相关的三个方法已经被标记为deprecated
,不建议被使用:
1 | //获得对象锁 |
monitorEnter
方法用于获得对象锁,monitorExit
用于释放对象锁,如果对一个没有被monitorEnter
加锁的对象执行此方法,会抛出IllegalMonitorStateException
异常。tryMonitorEnter
方法尝试获取对象锁,如果成功则返回true
,反之返回false
。
典型应用
Java 锁和同步器框架的核心类 AbstractQueuedSynchronizer
(AQS),就是通过调用LockSupport.park()
和LockSupport.unpark()
实现线程的阻塞和唤醒的,而 LockSupport
的 park
、unpark
方法实际是调用 Unsafe
的 park
、unpark
方式实现的。
1 | public static void park(Object blocker) { |
LockSupport
的park
方法调用了 Unsafe
的park
方法来阻塞当前线程,此方法将线程阻塞后就不会继续往后执行,直到有其他线程调用unpark
方法唤醒当前线程。下面的例子对 Unsafe
的这两个方法进行测试:
1 | public static void main(String[] args) { |
程序输出为:
1 | park main mainThread |
程序运行的流程也比较容易看懂,子线程开始运行后先进行睡眠,确保主线程能够调用park
方法阻塞自己,子线程在睡眠 5 秒后,调用unpark
方法唤醒主线程,使主线程能继续向下执行。整个流程如下图所示:
Class 操作
介绍
Unsafe
对Class
的相关操作主要包括类加载和静态变量的操作方法。
静态属性读取相关的方法
1 | //获取静态属性的偏移量 |
创建一个包含静态属性的类,进行测试:
1 |
|
运行结果:
1 | false |
在 Unsafe
的对象操作中,我们学习了通过objectFieldOffset
方法获取对象属性偏移量并基于它对变量的值进行存取,但是它不适用于类中的静态属性,这时候就需要使用staticFieldOffset
方法。在上面的代码中,只有在获取Field
对象的过程中依赖到了Class
,而获取静态变量的属性时不再依赖于Class
。
在上面的代码中首先创建一个User
对象,这是因为如果一个类没有被初始化,那么它的静态属性也不会被初始化,最后获取的字段属性将是null
。所以在获取静态属性前,需要调用shouldBeInitialized
方法,判断在获取前是否需要初始化这个类。如果删除创建 User 对象的语句,运行结果会变为:
1 | true |
使用defineClass
方法允许程序在运行时动态地创建一个类
1 | public native Class<?> defineClass(String name, byte[] b, int off, int len, ClassLoader loader,ProtectionDomain protectionDomain); |
在实际使用过程中,可以只传入字节数组、起始字节的下标以及读取的字节长度,默认情况下,类加载器(ClassLoader
)和保护域(ProtectionDomain
)来源于调用此方法的实例。下面的例子中实现了反编译生成后的 class 文件的功能:
1 | private static void defineTest() { |
在上面的代码中,首先读取了一个class
文件并通过文件流将它转化为字节数组,之后使用defineClass
方法动态的创建了一个类,并在后续完成了它的实例化工作,流程如下图所示,并且通过这种方式创建的类,会跳过 JVM 的所有安全检查。
除了defineClass
方法外,Unsafe 还提供了一个defineAnonymousClass
方法:
1 | public native Class<?> defineAnonymousClass(Class<?> hostClass, byte[] data, Object[] cpPatches); |
使用该方法可以用来动态的创建一个匿名类,在Lambda
表达式中就是使用 ASM 动态生成字节码,然后利用该方法定义实现相应的函数式接口的匿名类。在 JDK 15 发布的新特性中,在隐藏类(Hidden classes
)一条中,指出将在未来的版本中弃用 Unsafe
的defineAnonymousClass
方法。
典型应用
Lambda 表达式实现需要依赖 Unsafe
的 defineAnonymousClass
方法定义实现相应的函数式接口的匿名类。
系统信息
介绍
这部分包含两个获取系统相关信息的方法。
1 | //返回系统指针的大小。返回值为4(32位系统)或 8(64位系统)。 |
典型应用
这两个方法的应用场景比较少,在java.nio.Bits
类中,在使用pageCount
计算所需的内存页的数量时,调用了pageSize
方法获取内存页的大小。另外,在使用copySwapMemory
方法拷贝内存时,调用了addressSize
方法,检测 32 位系统的情况。
总结
在本文中,我们首先介绍了 Unsafe
的基本概念、工作原理,并在此基础上,对它的 API 进行了说明与实践。相信大家通过这一过程,能够发现 Unsafe
在某些场景下,确实能够为我们提供编程中的便利。但是回到开头的话题,在使用这些便利时,确实存在着一些安全上的隐患,在我看来,一项技术具有不安全因素并不可怕,可怕的是它在使用过程中被滥用。尽管之前有传言说会在 Java9 中移除 Unsafe
类,不过它还是照样已经存活到了 Java16。按照存在即合理的逻辑,只要使用得当,它还是能给我们带来不少的帮助,因此最后还是建议大家,在使用 Unsafe
的过程中一定要做到使用谨慎使用、避免滥用。