<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/"><channel><title>Scala on 飞乐</title><link>https://www.feilewu.cn/tags/scala/</link><description>Recent content in Scala on 飞乐</description><generator>Hugo</generator><language>zh-cn</language><lastBuildDate>Fri, 27 Sep 2024 19:10:53 +0800</lastBuildDate><atom:link href="https://www.feilewu.cn/tags/scala/index.xml" rel="self" type="application/rss+xml"/><item><title>IDEA搭建Scala项目-helloworld</title><link>https://www.feilewu.cn/posts/halo-posts/idea%E6%90%AD%E5%BB%BAscala%E9%A1%B9%E7%9B%AE-helloworld/</link><pubDate>Fri, 27 Sep 2024 19:10:53 +0800</pubDate><guid>https://www.feilewu.cn/posts/halo-posts/idea%E6%90%AD%E5%BB%BAscala%E9%A1%B9%E7%9B%AE-helloworld/</guid><description>&lt;h2 id="安装scala插件"&gt;安装Scala插件&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;打开idea的settings&lt;/li&gt;
&lt;li&gt;进入plugins，搜索Scala&lt;/li&gt;
&lt;li&gt;安装&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;img loading="lazy" src="https://pic.feilewu.cn/uploads/2024/09/30/833f38d6-4e80-4a2e-90cb-b2983dd88fa6.png"&gt;&lt;/p&gt;
&lt;h2 id="安装scala-sdk"&gt;安装Scala sdk&lt;/h2&gt;
&lt;h3 id="官网"&gt;官网&lt;/h3&gt;
&lt;p&gt;&lt;a href="https://www.scala-lang.org/download/scala2.html"&gt;https://www.scala-lang.org/download/scala2.html&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;根据环境自由选择&lt;/p&gt;
&lt;p&gt;&lt;img loading="lazy" src="https://pic.feilewu.cn/uploads/2024/09/30/5bab8a4f-0075-4788-9aca-df28a4a801d0.png"&gt;&lt;/p&gt;
&lt;h3 id="idea自动下载"&gt;IDEA自动下载&lt;/h3&gt;
&lt;p&gt;&lt;img loading="lazy" src="https://pic.feilewu.cn/uploads/2024/09/30/2cd9c3d8-1be8-403a-96d3-8f93c3a69879.png"&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;项目模块上右键，选择 add framework support，选择Scala，然后下载适当的SDK&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;img loading="lazy" src="https://pic.feilewu.cn/uploads/2024/09/30/a7256b53-3c98-4442-ad04-dbaabb3f93f7.png"&gt;&lt;/p&gt;
&lt;h2 id="hello-word"&gt;Hello word&lt;/h2&gt;
&lt;h3 id="新建scala源码目录新建scala-class类型选object"&gt;新建Scala源码目录，新建Scala class，类型选Object&lt;/h3&gt;
&lt;p&gt;&lt;img loading="lazy" src="https://pic.feilewu.cn/uploads/2024/09/30/84f99319-e504-44a7-a6c9-d992bcff632b.png"&gt;&lt;/p&gt;
&lt;h3 id="编写代码"&gt;编写代码&lt;/h3&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-scala" data-lang="scala"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#66d9ef"&gt;object&lt;/span&gt; &lt;span style="color:#a6e22e"&gt;Demo&lt;/span&gt; &lt;span style="color:#f92672"&gt;{&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;def&lt;/span&gt; main&lt;span style="color:#f92672"&gt;(&lt;/span&gt;args&lt;span style="color:#66d9ef"&gt;:&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;Array&lt;/span&gt;&lt;span style="color:#f92672"&gt;[&lt;/span&gt;&lt;span style="color:#66d9ef"&gt;String&lt;/span&gt;&lt;span style="color:#f92672"&gt;])&lt;/span&gt;&lt;span style="color:#66d9ef"&gt;:&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;Unit&lt;/span&gt; &lt;span style="color:#f92672"&gt;=&lt;/span&gt; &lt;span style="color:#f92672"&gt;{&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; println&lt;span style="color:#f92672"&gt;(&lt;/span&gt;&lt;span style="color:#e6db74"&gt;&amp;#34;hello world&amp;#34;&lt;/span&gt;&lt;span style="color:#f92672"&gt;)&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#f92672"&gt;}&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#f92672"&gt;}&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-shell" data-lang="shell"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;hello world
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</description></item><item><title>Scala基础--关键字，数据类型，函数</title><link>https://www.feilewu.cn/posts/halo-posts/scala%E5%9F%BA%E7%A1%80--%E5%85%B3%E9%94%AE%E5%AD%97%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B%E5%87%BD%E6%95%B0/</link><pubDate>Fri, 27 Sep 2024 19:10:53 +0800</pubDate><guid>https://www.feilewu.cn/posts/halo-posts/scala%E5%9F%BA%E7%A1%80--%E5%85%B3%E9%94%AE%E5%AD%97%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B%E5%87%BD%E6%95%B0/</guid><description>&lt;h2 id="基础语法"&gt;基础语法&lt;/h2&gt;
&lt;h3 id="注意点"&gt;注意点&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;Scala 区分大小写&lt;/li&gt;
&lt;li&gt;类名类似于Java&lt;/li&gt;
&lt;li&gt;方法名命名类似于Java&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;老规矩，先上Hello World&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;"&gt;&lt;code class="language-scala" data-lang="scala"&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#66d9ef"&gt;object&lt;/span&gt; &lt;span style="color:#a6e22e"&gt;Demo&lt;/span&gt; &lt;span style="color:#f92672"&gt;{&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#66d9ef"&gt;def&lt;/span&gt; main&lt;span style="color:#f92672"&gt;(&lt;/span&gt;args&lt;span style="color:#66d9ef"&gt;:&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;Array&lt;/span&gt;&lt;span style="color:#f92672"&gt;[&lt;/span&gt;&lt;span style="color:#66d9ef"&gt;String&lt;/span&gt;&lt;span style="color:#f92672"&gt;])&lt;/span&gt;&lt;span style="color:#66d9ef"&gt;:&lt;/span&gt; &lt;span style="color:#66d9ef"&gt;Unit&lt;/span&gt; &lt;span style="color:#f92672"&gt;=&lt;/span&gt; &lt;span style="color:#f92672"&gt;{&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; println&lt;span style="color:#f92672"&gt;(&lt;/span&gt;&lt;span style="color:#e6db74"&gt;&amp;#34;hello world&amp;#34;&lt;/span&gt;&lt;span style="color:#f92672"&gt;)&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt; &lt;span style="color:#f92672"&gt;}&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;span style="display:flex;"&gt;&lt;span&gt;&lt;span style="color:#f92672"&gt;}&lt;/span&gt;
&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;h3 id="关键字"&gt;关键字&lt;/h3&gt;
&lt;table&gt;
&lt;thead&gt;
&lt;tr&gt;
&lt;th&gt;abstract&lt;/th&gt;
&lt;th&gt;case&lt;/th&gt;
&lt;th&gt;catch&lt;/th&gt;
&lt;th&gt;class&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td&gt;def&lt;/td&gt;
&lt;td&gt;do&lt;/td&gt;
&lt;td&gt;else&lt;/td&gt;
&lt;td&gt;extends&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;false&lt;/td&gt;
&lt;td&gt;final&lt;/td&gt;
&lt;td&gt;finally&lt;/td&gt;
&lt;td&gt;for&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;forSome&lt;/td&gt;
&lt;td&gt;if&lt;/td&gt;
&lt;td&gt;implicit&lt;/td&gt;
&lt;td&gt;import&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;lazy&lt;/td&gt;
&lt;td&gt;match&lt;/td&gt;
&lt;td&gt;new&lt;/td&gt;
&lt;td&gt;null&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;object&lt;/td&gt;
&lt;td&gt;override&lt;/td&gt;
&lt;td&gt;package&lt;/td&gt;
&lt;td&gt;private&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;protected&lt;/td&gt;
&lt;td&gt;return&lt;/td&gt;
&lt;td&gt;sealed&lt;/td&gt;
&lt;td&gt;super&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;this&lt;/td&gt;
&lt;td&gt;throw&lt;/td&gt;
&lt;td&gt;trait&lt;/td&gt;
&lt;td&gt;try&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;true&lt;/td&gt;
&lt;td&gt;type&lt;/td&gt;
&lt;td&gt;val&lt;/td&gt;
&lt;td&gt;var&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;while&lt;/td&gt;
&lt;td&gt;with&lt;/td&gt;
&lt;td&gt;yield&lt;/td&gt;
&lt;td&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;-&lt;/td&gt;
&lt;td&gt;:&lt;/td&gt;
&lt;td&gt;=&lt;/td&gt;
&lt;td&gt;=&amp;gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&amp;lt;-&lt;/td&gt;
&lt;td&gt;&amp;lt;:&lt;/td&gt;
&lt;td&gt;&amp;lt;%&lt;/td&gt;
&lt;td&gt;&amp;gt;:&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;#&lt;/td&gt;
&lt;td&gt;@&lt;/td&gt;
&lt;td&gt;&lt;/td&gt;
&lt;td&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;h3 id="注释"&gt;注释&lt;/h3&gt;
&lt;p&gt;注释也和Java类似&lt;/p&gt;</description></item><item><title>Spark学习之Spark简述</title><link>https://www.feilewu.cn/posts/halo-posts/spark%E5%AD%A6%E4%B9%A0%E4%B9%8Bspark%E7%AE%80%E8%BF%B0/</link><pubDate>Fri, 27 Sep 2024 19:10:53 +0800</pubDate><guid>https://www.feilewu.cn/posts/halo-posts/spark%E5%AD%A6%E4%B9%A0%E4%B9%8Bspark%E7%AE%80%E8%BF%B0/</guid><description>&lt;h2 id="spark生态"&gt;Spark生态&lt;/h2&gt;
&lt;p&gt;&lt;img loading="lazy" src="https://pic.feilewu.cn/uploads/2026/10/09/fcb444ea-c498-4e99-b20b-7d5b64c6a90e.png"&gt;
Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的&lt;/p&gt;
&lt;p&gt;Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。&lt;/p&gt;
&lt;p&gt;Spark Streaming：对实时数据流进行处理和控制。Spark Streaming允许程序能够像普通RDD一样处理实时数据&lt;/p&gt;
&lt;p&gt;MLlib：一个常用机器学习算法库，算法被实现为对RDD的Spark操作。这个库包含可扩展的学习算法，比如分类、回归等需要对大量数据集进行迭代的操作。&lt;/p&gt;
&lt;p&gt;GraphX：控制图、并行图操作和计算的一组算法和工具的集合。GraphX扩展了RDD API，包含控制图、创建子图、访问路径上所有顶点的操作。&lt;/p&gt;
&lt;h2 id="spark的运行流程"&gt;Spark的运行流程&lt;/h2&gt;
&lt;p&gt;&lt;img loading="lazy" src="https://pic.feilewu.cn/uploads/2026/10/09/8b096236-1128-4ab3-a187-a3d5007b1322.png"&gt;
构建Spark Application的运行环境，启动SparkContext&lt;/p&gt;
&lt;p&gt;SparkContext向资源管理器（可以是Standalone，Mesos，Yarn）申请运行Executor资源，并启动StandaloneExecutorbackend，&lt;/p&gt;
&lt;p&gt;Executor向SparkContext申请Task&lt;/p&gt;
&lt;p&gt;SparkContext将应用程序分发给Executor&lt;/p&gt;
&lt;p&gt;SparkContext构建成DAG图，将DAG图分解成Stage、将Taskset发送给Task Scheduler，最后由Task Scheduler将Task发送给Executor运行&lt;/p&gt;
&lt;p&gt;Task在Executor上运行，运行完释放所有资源&lt;/p&gt;
&lt;h2 id="spark与hadoop"&gt;Spark与Hadoop&lt;/h2&gt;
&lt;p&gt;MapReduce采用硬盘保存临时数据，而Spark采用内存保存临时数据&lt;/p&gt;
&lt;p&gt;&lt;img loading="lazy" src="https://pic.feilewu.cn/uploads/2026/10/09/1a902c9f-e51b-4b9f-86f1-8613188fc1f6.png"&gt;&lt;/p&gt;</description></item></channel></rss>