<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Mysql on 飞乐</title><link>https://www.feilewu.cn/tags/mysql/</link><description>Recent content in Mysql on 飞乐</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Fri, 27 Sep 2024 19:10:53 +0800</lastBuildDate><atom:link href="https://www.feilewu.cn/tags/mysql/index.xml" rel="self" type="application/rss+xml"/><item><title>MySQL的MVVC是个什么东东</title><link>https://www.feilewu.cn/posts/halo-posts/mysql%E7%9A%84mvvc%E6%98%AF%E4%B8%AA%E4%BB%80%E4%B9%88%E4%B8%9C%E4%B8%9C/</link><pubDate>Fri, 27 Sep 2024 19:10:53 +0800</pubDate><guid>https://www.feilewu.cn/posts/halo-posts/mysql%E7%9A%84mvvc%E6%98%AF%E4%B8%AA%E4%BB%80%E4%B9%88%E4%B8%9C%E4%B8%9C/</guid><description>&lt;h2 id="mvvc是什么"&gt;MVVC是什么&lt;/h2&gt;
&lt;p&gt;MVVC，全称Multi-Version Concurrency Control&lt;/p&gt;
&lt;p&gt;多版本的并发控制，Multi-Version Concurrency Control，是一个可以提升数据库并发读写性能的技术。&lt;/p&gt;
&lt;p&gt;一般的，如果对数据的库表的一行记录进行读写操作，为了保证数据的一致性，往往需要对这一行记录进行加锁操作。而加锁带来的问题就是开销变大，性能降低。而MVVC便是对这一问题提出的一种改进策略。&lt;/p&gt;
&lt;h3 id="快照读和当前读"&gt;快照读和当前读&lt;/h3&gt;
&lt;p&gt;首先，我们先了解一下两个概念——快照读和当前读。&lt;/p&gt;
&lt;h4 id="当前读"&gt;当前读&lt;/h4&gt;
&lt;p&gt;当前读可以理解为，所有的当前读操作都是针对的数据库最新版本的数据，在操作的时候会对资源加悲观锁，防止其他事务对数据进行修改。&lt;/p&gt;
&lt;p&gt;如delete、update、insert、select for update、select lock in share mode等操作均是当前读&lt;/p&gt;
&lt;p&gt;需要注意的时，在串行化的事务隔离级别下，所有的操作均是当前读&lt;/p&gt;
&lt;h4 id="快照读"&gt;快照读&lt;/h4&gt;
&lt;p&gt;快照读的实现是基于MVVC的，读取的可能是某个版本的快照数据。&lt;/p&gt;
&lt;h3 id="mvcc"&gt;MVCC&lt;/h3&gt;
&lt;h4 id="数据库中有哪些并发场景"&gt;数据库中有哪些并发场景？&lt;/h4&gt;
&lt;ul&gt;
&lt;li&gt;读-读 读操作不会造成数据一致性问题，也没有并发控制的需要&lt;/li&gt;
&lt;li&gt;读-写 可能造成数据不一致，需要对线程安全进行控制，否则会造成脏读、幻读、不可重复读的错误&lt;/li&gt;
&lt;li&gt;写-写 多线程存在问题，可能会造成数据丢失&lt;/li&gt;
&lt;/ul&gt;
&lt;h5 id="mvcc能解决什么场景下的问题"&gt;MVCC能解决什么场景下的问题？&lt;/h5&gt;
&lt;ul&gt;
&lt;li&gt;解决读-写场景下的并发问题，可以实现读写均不会阻塞，解决脏读、幻读、不可重复读的问题&lt;/li&gt;
&lt;li&gt;不可解决写-写场景下的并发控制问题，一般可结合乐观锁或者悲观锁来实现&lt;/li&gt;
&lt;/ul&gt;
&lt;h5 id="mvcc如何实现并发控制的"&gt;MVCC如何实现并发控制的？&lt;/h5&gt;
&lt;p&gt;其实现主要依靠undo日志，版本链，Read View三个技术手段。&lt;/p&gt;
&lt;h6 id="undo日志"&gt;undo日志&lt;/h6&gt;
&lt;p&gt;undo可以理解为每次针对记录行修改时，原数据的备份。每一次针对原纪录的修改都会生成一个undo日志，将原数据拷贝到日志中记录起来&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;用于事务回滚&lt;/li&gt;
&lt;li&gt;是的每个事务均有自己特有的日志记录集合&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;undo日志一般分为插入日志和更新日志。插入日志是执行insert操作生成的日志，在事务回滚时需要使用，在事务提交后可以丢弃掉；更新日志不仅在事务回滚的时候需要，在快照读的时候也需要，不能随便删除&lt;/p&gt;
&lt;h6 id="版本链"&gt;版本链&lt;/h6&gt;
&lt;p&gt;数据表记录的每一行均有3个隐藏列&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;db_trx_id 事务id&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;db_roll_pointer 回滚指针，指向上一个版本&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;db_row_id 隐藏的自增主键&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;img alt="img" loading="lazy" src="https://pic.feilewu.cn/uploads/img/2021/06/16/20210616171819.image"&gt;&lt;/p&gt;
&lt;p&gt;这是一个简单的示例图。&lt;/p&gt;
&lt;p&gt;&lt;img alt="img" loading="lazy" src="https://pic.feilewu.cn/uploads/img/2021/06/16/20210616171824.image"&gt;&lt;/p&gt;
&lt;p&gt;很容易理解，每次修改都会undo日志，通过版本指针将这些日志串联起来，形成版本链。&lt;/p&gt;
&lt;h6 id="read-view"&gt;Read View&lt;/h6&gt;
&lt;p&gt;读视图可以理解为快照读是生成的整个数据库系统的一个快照。其可以用来做可见性判断。因为每一个事务均有唯一的id，可以用此id来控制此事务可以看到的数据，可以是最新版本的，也可以是历史版本的。&lt;/p&gt;
&lt;p&gt;其有如下几个参数：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;trx_ids 目前系统中未提交的事务id集合&lt;/li&gt;
&lt;li&gt;low_limit_id 最大事务版本号加1&lt;/li&gt;
&lt;li&gt;up_limit_id 处于活跃状态中的最好事务版本号&lt;/li&gt;
&lt;li&gt;creator_trx_id 创建read view的事务版本号&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;可见性判断代码&lt;/p&gt;
&lt;p&gt;&lt;img alt="img" loading="lazy" src="https://pic.feilewu.cn/uploads/img/2021/06/16/20210616171829.image"&gt;&lt;/p&gt;
&lt;h3 id="mvcc和事务隔离级别的关系"&gt;MVCC和事务隔离级别的关系&lt;/h3&gt;
&lt;h4 id="mvcc如何实现rr和rc的隔离级别"&gt;MVCC如何实现RR和RC的隔离级别&lt;/h4&gt;
&lt;p&gt;在RC的隔离级别下，只要提交了都可以被其他事务读取到，每一个快照读均会生成一个最新的read view&lt;/p&gt;</description></item><item><title>分布式锁的几种常见实现方式</title><link>https://www.feilewu.cn/posts/halo-posts/%E5%88%86%E5%B8%83%E5%BC%8F%E9%94%81%E7%9A%84%E5%87%A0%E7%A7%8D%E5%B8%B8%E8%A7%81%E5%AE%9E%E7%8E%B0%E6%96%B9%E5%BC%8F/</link><pubDate>Fri, 27 Sep 2024 19:10:53 +0800</pubDate><guid>https://www.feilewu.cn/posts/halo-posts/%E5%88%86%E5%B8%83%E5%BC%8F%E9%94%81%E7%9A%84%E5%87%A0%E7%A7%8D%E5%B8%B8%E8%A7%81%E5%AE%9E%E7%8E%B0%E6%96%B9%E5%BC%8F/</guid><description>&lt;h2 id="数据库乐观锁"&gt;数据库乐观锁&lt;/h2&gt;
&lt;h3 id="实现方式"&gt;实现方式&lt;/h3&gt;
&lt;p&gt;用表中一行记录来表示锁，其中表示锁的字段采用唯一约束&lt;/p&gt;
&lt;p&gt;当多个线程同时执行插入语句时，只有一个能插入成功，可以认为获得到了锁，其他则会报错：ERROR 1062 (23000): Duplicate entry ‘1’ for key ‘uiq_idx_resource’），这种情况可以认为没有获得到锁&lt;/p&gt;
&lt;p&gt;当需要释放锁时，可以删除这一条记录就可以了&lt;/p&gt;
&lt;p&gt;这种锁的特点：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;锁没有失效时间，一旦锁释放失败，便会一直留在数据库中，影响其他线程获取锁。可以采用定时任务对其进行清理&lt;/li&gt;
&lt;li&gt;锁依赖数据库，需要考虑单点故障问题。同时也要考虑给数据库性能带来的影响&lt;/li&gt;
&lt;li&gt;锁是非阻塞的，一旦插入失败，直接便会报错，需要采用轮询的方式来实现&lt;/li&gt;
&lt;li&gt;锁也是非可重入的，一旦一个线程获取到了锁，由于数据库中已经存在了这一条记录，其本身也不能再次获取到这个锁。这一点可以将主机和线程信息存入数据库，如果存在锁，并且锁也归属于当前线程，则可以将此锁再次分配给它&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="redis实现"&gt;Redis实现&lt;/h2&gt;
&lt;p&gt;基本上基于setnx命令实现&lt;/p&gt;
&lt;p&gt;SETNX 是SET if Not eXists的简写&lt;/p&gt;
&lt;p&gt;解释：&lt;/p&gt;
&lt;p&gt;当且仅当 key 不存在，将 key 的值设为 value，返回1；
若给定的 key 已经存在，则 SETNX 不做任何动作，返回0。&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-java" data-lang="java"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#a6e22e"&gt;@Component&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#66d9ef"&gt;public&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;class&lt;/span&gt; &lt;span style="color:#a6e22e"&gt;RedisService&lt;/span&gt; {
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#a6e22e"&gt;@Autowired&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;private&lt;/span&gt; RedisTemplate&lt;span style="color:#f92672"&gt;&amp;lt;&lt;/span&gt;String,String&lt;span style="color:#f92672"&gt;&amp;gt;&lt;/span&gt; redisTemplate;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;private&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;static&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;final&lt;/span&gt; String COMPARE_AND_DELETE &lt;span style="color:#f92672"&gt;=&lt;/span&gt; &lt;span style="color:#e6db74"&gt;&amp;#34;if redis.call(&amp;#39;get&amp;#39;, KEYS[1]) == ARGV[1] then return redis.call(&amp;#39;del&amp;#39;, KEYS[1]) else return 0 end&amp;#34;&lt;/span&gt;;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;public&lt;/span&gt; Boolean &lt;span style="color:#a6e22e"&gt;getLock&lt;/span&gt;(String key,String value){
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;return&lt;/span&gt; redisTemplate.&lt;span style="color:#a6e22e"&gt;opsForValue&lt;/span&gt;().&lt;span style="color:#a6e22e"&gt;setIfAbsent&lt;/span&gt;(key, value, 2, TimeUnit.&lt;span style="color:#a6e22e"&gt;MINUTES&lt;/span&gt;);
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; }
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;public&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;void&lt;/span&gt; &lt;span style="color:#a6e22e"&gt;releaseLock&lt;/span&gt;(String key,String value){
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; List&lt;span style="color:#f92672"&gt;&amp;lt;&lt;/span&gt;String&lt;span style="color:#f92672"&gt;&amp;gt;&lt;/span&gt; keys &lt;span style="color:#f92672"&gt;=&lt;/span&gt; Collections.&lt;span style="color:#a6e22e"&gt;singletonList&lt;/span&gt;(key);
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; redisTemplate.&lt;span style="color:#a6e22e"&gt;execute&lt;/span&gt;(&lt;span style="color:#66d9ef"&gt;new&lt;/span&gt; DefaultRedisScript&lt;span style="color:#f92672"&gt;&amp;lt;&amp;gt;&lt;/span&gt;(COMPARE_AND_DELETE,Long.&lt;span style="color:#a6e22e"&gt;class&lt;/span&gt;), keys, value);
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; }
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;}
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;这里并没有直接使用delete命令，是为了防止删除其他线程的key。、&lt;/p&gt;</description></item><item><title>Mysql查询优化</title><link>https://www.feilewu.cn/posts/halo-posts/mysql%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96/</link><pubDate>Fri, 27 Sep 2024 19:10:52 +0800</pubDate><guid>https://www.feilewu.cn/posts/halo-posts/mysql%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96/</guid><description>&lt;h2 id="查询执行流程"&gt;查询执行流程&lt;/h2&gt;
&lt;p&gt;&lt;img alt="1627131-20190326142945691-999174680" loading="lazy" src="https://pic.feilewu.cn/uploads/img/1627131-20190326142945691-999174680_1619025212512.png"&gt;
如图所示，mysql的查询一般分为如下步骤：&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;客服端发送一条查询给服务器&lt;/li&gt;
&lt;li&gt;服务器先检查查询缓存，如果命中缓存，则立刻返回存储在缓存中的结果。否则进入下一个阶段。&lt;/li&gt;
&lt;li&gt;服务器端进行SQL解析、预处理，在由优化器生成对应的执行计划。&lt;/li&gt;
&lt;li&gt;MySQL根据优化器生成的执行计划，调用存储引擎的API来执行查询&lt;/li&gt;
&lt;li&gt;将结果返回给客户端&lt;/li&gt;
&lt;/ol&gt;
&lt;h2 id="注意点"&gt;注意点&lt;/h2&gt;
&lt;h3 id="字段"&gt;字段&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED&lt;/li&gt;
&lt;li&gt;VARCHAR的长度只分配真正需要的空间&lt;/li&gt;
&lt;li&gt;使用枚举或整数代替字符串类型&lt;/li&gt;
&lt;li&gt;尽量使用TIMESTAMP而非DATETIME，&lt;/li&gt;
&lt;li&gt;单表不要有太多字段，建议在20以内&lt;/li&gt;
&lt;li&gt;避免使用NULL字段，很难查询优化且占用额外索引空间&lt;/li&gt;
&lt;li&gt;用整型来存IP&lt;/li&gt;
&lt;/ul&gt;
&lt;h3 id="索引"&gt;索引&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描&lt;/li&gt;
&lt;li&gt;应尽量避免在WHERE子句中对字段进行NULL值判断，否则将导致引擎放弃使用索引而进行全表扫描&lt;/li&gt;
&lt;li&gt;值分布很稀少的字段不适合建索引，例如&amp;quot;性别&amp;quot;这种只有两三个值的字段&lt;/li&gt;
&lt;li&gt;字符字段最好不要做主键&lt;/li&gt;
&lt;li&gt;不用外键，由程序保证约束&lt;/li&gt;
&lt;li&gt;尽量不用UNIQUE，由程序保证约束&lt;/li&gt;
&lt;li&gt;使用多列索引时主意顺序和查询条件保持一致，同时删除不必要的单列索引&lt;/li&gt;
&lt;/ul&gt;
&lt;h3 id="sql"&gt;SQL&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;可通过开启慢查询日志来找出较慢的SQL&lt;/li&gt;
&lt;li&gt;不做列运算：SELECT id WHERE age + 1 = 10，任何对列的操作都将导致表扫描，它包括数据库教程函数、计算表达式等等，查询时要尽可能将操作移至等号右边&lt;/li&gt;
&lt;li&gt;sql语句尽可能简单：一条sql只能在一个cpu运算;大语句拆小语句，减少锁时间;一条大sql可以堵死整个库&lt;/li&gt;
&lt;li&gt;不用SELECT *&lt;/li&gt;
&lt;li&gt;OR改写成IN：OR的效率是n级别，IN的效率是log(n)级别，in的个数建议控制在200以内&lt;/li&gt;
&lt;li&gt;不用函数和触发器，在应用程序实现&lt;/li&gt;
&lt;li&gt;避免%xxx式查询&lt;/li&gt;
&lt;li&gt;少用JOIN&lt;/li&gt;
&lt;li&gt;使用同类型进行比较，比如用'123&amp;rsquo;和'123&amp;rsquo;比，123和123比&lt;/li&gt;
&lt;li&gt;尽量避免在WHERE子句中使用!=或&amp;lt;&amp;gt;操作符，否则将引擎放弃使用索引而进行全表扫描&lt;/li&gt;
&lt;li&gt;对于连续数值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5&lt;/li&gt;
&lt;li&gt;列表数据不要拿全表，要使用LIMIT来分页，每页数量也不要太大&lt;/li&gt;
&lt;/ul&gt;</description></item></channel></rss>