IDEA搭建Scala项目-helloworld

安装Scala插件 打开idea的settings 进入plugins,搜索Scala 安装 安装Scala sdk 官网 https://www.scala-lang.org/download/scala2.html 根据环境自由选择 IDEA自动下载 项目模块上右键,选择 add framework support,选择Scala,然后下载适当的SDK Hello word 新建Scala源码目录,新建Scala class,类型选Object 编写代码 object Demo { def main(args: Array[String]): Unit = { println("hello world") } } hello world

September 27, 2024

Scala基础--关键字,数据类型,函数

基础语法 注意点 Scala 区分大小写 类名类似于Java 方法名命名类似于Java 老规矩,先上Hello World object Demo { def main(args: Array[String]): Unit = { println("hello world") } } 关键字 abstract case catch class def do else extends false final finally for forSome if implicit import lazy match new null object override package private protected return sealed super this throw trait try true type val var while with yield - : = => <- <: <% >: # @ 注释 注释也和Java类似 ...

September 27, 2024

Spark学习之Spark简述

Spark生态 Spark Core:包含Spark的基本功能;尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的 Spark SQL:提供通过Apache Hive的SQL变体Hive查询语言(HiveQL)与Spark进行交互的API。每个数据库表被当做一个RDD,Spark SQL查询被转换为Spark操作。 Spark Streaming:对实时数据流进行处理和控制。Spark Streaming允许程序能够像普通RDD一样处理实时数据 MLlib:一个常用机器学习算法库,算法被实现为对RDD的Spark操作。这个库包含可扩展的学习算法,比如分类、回归等需要对大量数据集进行迭代的操作。 GraphX:控制图、并行图操作和计算的一组算法和工具的集合。GraphX扩展了RDD API,包含控制图、创建子图、访问路径上所有顶点的操作。 Spark的运行流程 构建Spark Application的运行环境,启动SparkContext SparkContext向资源管理器(可以是Standalone,Mesos,Yarn)申请运行Executor资源,并启动StandaloneExecutorbackend, Executor向SparkContext申请Task SparkContext将应用程序分发给Executor SparkContext构建成DAG图,将DAG图分解成Stage、将Taskset发送给Task Scheduler,最后由Task Scheduler将Task发送给Executor运行 Task在Executor上运行,运行完释放所有资源 Spark与Hadoop MapReduce采用硬盘保存临时数据,而Spark采用内存保存临时数据

September 27, 2024
苏ICP备2021016520号-1