MySQL的MVVC是个什么东东

MVVC是什么 MVVC,全称Multi-Version Concurrency Control 多版本的并发控制,Multi-Version Concurrency Control,是一个可以提升数据库并发读写性能的技术。 一般的,如果对数据的库表的一行记录进行读写操作,为了保证数据的一致性,往往需要对这一行记录进行加锁操作。而加锁带来的问题就是开销变大,性能降低。而MVVC便是对这一问题提出的一种改进策略。 快照读和当前读 首先,我们先了解一下两个概念——快照读和当前读。 当前读 当前读可以理解为,所有的当前读操作都是针对的数据库最新版本的数据,在操作的时候会对资源加悲观锁,防止其他事务对数据进行修改。 如delete、update、insert、select for update、select lock in share mode等操作均是当前读 需要注意的时,在串行化的事务隔离级别下,所有的操作均是当前读 快照读 快照读的实现是基于MVVC的,读取的可能是某个版本的快照数据。 MVCC 数据库中有哪些并发场景? 读-读 读操作不会造成数据一致性问题,也没有并发控制的需要 读-写 可能造成数据不一致,需要对线程安全进行控制,否则会造成脏读、幻读、不可重复读的错误 写-写 多线程存在问题,可能会造成数据丢失 MVCC能解决什么场景下的问题? 解决读-写场景下的并发问题,可以实现读写均不会阻塞,解决脏读、幻读、不可重复读的问题 不可解决写-写场景下的并发控制问题,一般可结合乐观锁或者悲观锁来实现 MVCC如何实现并发控制的? 其实现主要依靠undo日志,版本链,Read View三个技术手段。 undo日志 undo可以理解为每次针对记录行修改时,原数据的备份。每一次针对原纪录的修改都会生成一个undo日志,将原数据拷贝到日志中记录起来 用于事务回滚 是的每个事务均有自己特有的日志记录集合 undo日志一般分为插入日志和更新日志。插入日志是执行insert操作生成的日志,在事务回滚时需要使用,在事务提交后可以丢弃掉;更新日志不仅在事务回滚的时候需要,在快照读的时候也需要,不能随便删除 版本链 数据表记录的每一行均有3个隐藏列 db_trx_id 事务id db_roll_pointer 回滚指针,指向上一个版本 db_row_id 隐藏的自增主键 这是一个简单的示例图。 很容易理解,每次修改都会undo日志,通过版本指针将这些日志串联起来,形成版本链。 Read View 读视图可以理解为快照读是生成的整个数据库系统的一个快照。其可以用来做可见性判断。因为每一个事务均有唯一的id,可以用此id来控制此事务可以看到的数据,可以是最新版本的,也可以是历史版本的。 其有如下几个参数: trx_ids 目前系统中未提交的事务id集合 low_limit_id 最大事务版本号加1 up_limit_id 处于活跃状态中的最好事务版本号 creator_trx_id 创建read view的事务版本号 可见性判断代码 MVCC和事务隔离级别的关系 MVCC如何实现RR和RC的隔离级别 在RC的隔离级别下,只要提交了都可以被其他事务读取到,每一个快照读均会生成一个最新的read view ...

September 27, 2024

分布式锁的几种常见实现方式

数据库乐观锁 实现方式 用表中一行记录来表示锁,其中表示锁的字段采用唯一约束 当多个线程同时执行插入语句时,只有一个能插入成功,可以认为获得到了锁,其他则会报错:ERROR 1062 (23000): Duplicate entry ‘1’ for key ‘uiq_idx_resource’),这种情况可以认为没有获得到锁 当需要释放锁时,可以删除这一条记录就可以了 这种锁的特点: 锁没有失效时间,一旦锁释放失败,便会一直留在数据库中,影响其他线程获取锁。可以采用定时任务对其进行清理 锁依赖数据库,需要考虑单点故障问题。同时也要考虑给数据库性能带来的影响 锁是非阻塞的,一旦插入失败,直接便会报错,需要采用轮询的方式来实现 锁也是非可重入的,一旦一个线程获取到了锁,由于数据库中已经存在了这一条记录,其本身也不能再次获取到这个锁。这一点可以将主机和线程信息存入数据库,如果存在锁,并且锁也归属于当前线程,则可以将此锁再次分配给它 Redis实现 基本上基于setnx命令实现 SETNX 是SET if Not eXists的简写 解释: 当且仅当 key 不存在,将 key 的值设为 value,返回1; 若给定的 key 已经存在,则 SETNX 不做任何动作,返回0。 @Component public class RedisService { @Autowired private RedisTemplate<String,String> redisTemplate; private static final String COMPARE_AND_DELETE = "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end"; public Boolean getLock(String key,String value){ return redisTemplate.opsForValue().setIfAbsent(key, value, 2, TimeUnit.MINUTES); } public void releaseLock(String key,String value){ List<String> keys = Collections.singletonList(key); redisTemplate.execute(new DefaultRedisScript<>(COMPARE_AND_DELETE,Long.class), keys, value); } } 这里并没有直接使用delete命令,是为了防止删除其他线程的key。、 ...

September 27, 2024

Mysql查询优化

查询执行流程 如图所示,mysql的查询一般分为如下步骤: 客服端发送一条查询给服务器 服务器先检查查询缓存,如果命中缓存,则立刻返回存储在缓存中的结果。否则进入下一个阶段。 服务器端进行SQL解析、预处理,在由优化器生成对应的执行计划。 MySQL根据优化器生成的执行计划,调用存储引擎的API来执行查询 将结果返回给客户端 注意点 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT,如果非负则加上UNSIGNED VARCHAR的长度只分配真正需要的空间 使用枚举或整数代替字符串类型 尽量使用TIMESTAMP而非DATETIME, 单表不要有太多字段,建议在20以内 避免使用NULL字段,很难查询优化且占用额外索引空间 用整型来存IP 索引 索引并不是越多越好,要根据查询有针对性的创建,考虑在WHERE和ORDER BY命令上涉及的列建立索引,可根据EXPLAIN来查看是否用了索引还是全表扫描 应尽量避免在WHERE子句中对字段进行NULL值判断,否则将导致引擎放弃使用索引而进行全表扫描 值分布很稀少的字段不适合建索引,例如"性别"这种只有两三个值的字段 字符字段最好不要做主键 不用外键,由程序保证约束 尽量不用UNIQUE,由程序保证约束 使用多列索引时主意顺序和查询条件保持一致,同时删除不必要的单列索引 SQL 可通过开启慢查询日志来找出较慢的SQL 不做列运算:SELECT id WHERE age + 1 = 10,任何对列的操作都将导致表扫描,它包括数据库教程函数、计算表达式等等,查询时要尽可能将操作移至等号右边 sql语句尽可能简单:一条sql只能在一个cpu运算;大语句拆小语句,减少锁时间;一条大sql可以堵死整个库 不用SELECT * OR改写成IN:OR的效率是n级别,IN的效率是log(n)级别,in的个数建议控制在200以内 不用函数和触发器,在应用程序实现 避免%xxx式查询 少用JOIN 使用同类型进行比较,比如用'123’和'123’比,123和123比 尽量避免在WHERE子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描 对于连续数值,使用BETWEEN不用IN:SELECT id FROM t WHERE num BETWEEN 1 AND 5 列表数据不要拿全表,要使用LIMIT来分页,每页数量也不要太大

September 27, 2024
苏ICP备2021016520号-1