大数据学习：Spark知识总结

Spark一、Spark基础及安装（单机）二、Spark核心组件、运行架构及RDD创建三、Spark的RDD算子操作四、Spark算子：Java版本（map、flatMap、distinct、subtract、combineByKey等）五、RDD算子：reduceByKey、foldByKey、SortByKey六、Spark算子：groupByKey、cogroup、subtractByKey

小五家的二哈

314人浏览 · 2020-11-26 19:56:39

小五家的二哈 · 2020-11-26 19:56:39 发布

Spark

一、Spark基础及安装（单机）

二、Spark核心组件、运行架构及RDD创建

三、Spark的RDD算子操作

四、Spark算子：Java版本（map、flatMap、distinct、subtract、combineByKey等）

五、RDD算子：reduceByKey、foldByKey、SortByKey

六、Spark算子：groupByKey、cogroup、subtractByKey、join

七、Spark文件保存到本地或HDFS：saveAsTextFile和saveAsObjectFile

八、Spark RDD算子：分区操作，mapPartitions和mapPartitionsWIthIndex

九、Spark RDD算子：RDD分区，HashPartitioner、RangePartitioner、自定义分区

十、Spark RDD的依赖于DAG的工作原理

十一、Spark加载CSV和JSON文件（附在虚拟机中执行jar包）

十二、SparkSQL Dataset的创建

十三、Spark SQL操作外部数据源（Parquet、Hive）

十四、Spark SQL 内置函数和自定义函数UDF

十五、Spark SQL:MySQL经典50题（SQL版和Spark版）

十六、dataFrame存入到Hive

十七、Spark：图（Graph）

十八、Graph图的算子(subgraph、joinVertices、outerJoinVertices),PageRank算法

十九、Spark GraphX 中的 pregel函数(转载)

技术共进，成长同行——讯飞AI开发者社区

更多推荐

论文笔记：AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models（AlphaEdit）

论文发表于人工智能顶会ICLR（基于定位和修改的模型编辑方法（针对和等）会破坏LLM中最初保存的知识，特别是在顺序编辑场景。为此，本文提出AlphaEdit：1、在将保留知识应用于参数之前，将扰动投影到保留知识的零空间上。2、从理论上证明，这种预测确保了在查询保留的知识时，编辑后的LLM的输出保持不变，从而减轻中断问题。3、对各种LLM（包括LLaMA3、GPT2XL和GPT-J）的广泛实验表明，