1.innodb引擎简单介绍
2.innodb体系架构
体系结构内会涉及到undo和redo日志,补充undo以及redo日志,参考: https://www.cnblogs.com/xinysu/p/6555082.html
1.master threadmaster thread是一个非常核心的后台线程,主要负责将缓冲池中的数据异步刷新到磁盘,保证数据的一致性,包括脏页的刷新、合并插入缓冲(insert buffer)、undo页的回收等。
2.io thread?在innodb存储引擎中大量使用了aio(async io)来处理写io请求,这样可以极大提高数据库的性能。而io thread的工作主要是负责这些io请求的回调(call back)处理。从innodb 1.0.x版本开始,read thread和writethread分别增大到了4个。
3. purge thread,事务被提交后,其所使用的undolog可能不再需要,因此需要purgethread来回收已经使用并分配的undo页。从innodb 1.2版本开始,innodb支持多个purge thread,这样做的目的是为了进一步加快undo页的回收。
3.innodb内的缓存池
innodb存储引擎是基于磁盘存储的,并将其中的记录按照页的方式进行管理。在数据库系统中,由于cpu速度与磁盘速度之间的鸿沟,基于磁盘的数据库系统通常使用缓冲池技术来提高数据库的整体性能。
缓存池工作流程:
在数据库中进行读取页的操作,首先将从磁盘读到的页存放在缓冲池中,这个过程称为将页“fix”在缓冲池中。下一次再读相同的页时,首先判断该页是否在缓冲池中。若在缓冲池中,称该页在缓冲池中被命中,直接读取该页。否则,读取磁盘上的页。对于数据库中页的修改操作,则首先修改在缓冲池中的页,然后再以一定的频率刷新到磁盘上。这里需要注意的是,页从缓冲池刷新回磁盘的操作并不是在每次页发生更新时触发,而是通过一种称为checkpoint的机制刷新回磁盘。同样,这也是为了提高数据库的整体性能。
缓冲池中缓存的数据页类型有:索引页、数据页、undo页、插入缓冲(insertbuffer)、自适应哈希索引(adaptive hash index)、innodb存储的锁信息(lock info)、数据字典信息(data dictionary)等。
查看缓存池大小:
show variables like 'innodb_buffer_pool_size'
innodb_buffer_pool_size:6442450944(6gb)
从innodb 1.0.x版本开始,允许有多个缓冲池实例。每个页根据哈希值平均分配到不同缓冲池实例中。这样做的好处是减少数据库内部的资源竞争,增加数据库的并发处理能力
查看缓存池个数:
show variables like 'innodb_buffer_pool_instances'
innodb_buffer_pool_instances:8
4.checkpoint
checkpoint出现的背景:
1.缓冲池的设计目的为了协调cpu速度与磁盘速度的鸿沟。因此页的操作首先都是在缓冲池中完成的。如果一条dml语句,如update或delete改变了页中的记录,那么此时页是脏的,即缓冲池中的页的版本要比磁盘的新。数据库需要将新版本的页从缓冲池刷新到磁盘。
2.为了避免发生数据丢失的问题,当前事务数据库系统普遍都采用了write ahead log策略,即当事务提交时,先写重做日志,再修改页。当由于发生宕机而导致数据丢失时,通过重做日志来完成数据的恢复。这也是事务acid中d(durability持久性)的要求。
3.当数据库发生宕机时,数据库不需要重做所有的日志,因为checkpoint之前的页都已经刷新回磁盘。故数据库只需对checkpoint后的重做日志进行恢复。这样就大大缩短了恢复的时间。
checkpoint触发的时机:
checkpoint发生的时间、条件及脏页的选择等都非常复杂。而checkpoint所做的事情无外乎是将缓冲池中的脏页刷回到磁盘。不同之处在于每次刷新多少页到磁盘,每次从哪里取脏页,以及什么时间触发checkpoint。在innodb存储引擎内部,有两种checkpoint:1)sharp checkpoint? 2)fuzzy checkpoint (模糊checkpoint)
sharp checkpoint发生在数据库关闭时将所有的脏页都刷新回磁盘,这是默认的工作方式,即参数innodb_fast_shutdown=1。
fuzzy checkpoint,这里目前只看master thread这种:
master thread中发生的checkpoint,差不多以每秒或每十秒的速度从缓冲池的脏页列表中刷新一定比例的页回磁盘。这个过程是异步的,即此时innodb存储引擎可以进行其他的操作,用户查询线程不会阻塞。
5.总结
内容从《mysql技术内幕》整理汇总而来,下一篇文章开始梳理mysql的索引体系。