首页技术文章正文

在数据处理中哪些场景可以使用Spark?

更新时间:2021-03-12 来源:黑马程序员 浏览量:

1577370495235_学IT就到黑马程序员.gif


在数据科学应用中,数据工程师可以利用Spark进行数据分析与建模,由于Spark具有良好的易用性,数据工程师只需要具备一定的SQL语言基础、统计学、机器学习等方面的经验,以及使用Python、Matlab或者R语言的基础编程能力,就可以使用Spark进行上述工作。


在数据处理应用中,大数据工程师将Spark技术应用于广告、报表、推荐系统等业务中,在广告业务中,利用Spark系统进行应用分析、效果分析、定向优化等业务,在推荐系统业务中,利用Spark内置机器学习算法训练模型数据,进行个性化推荐及热点点击分析等业务。

1615515557964_Spark应用场景.jpg


Spark拥有完整而强大的技术栈,如今已吸引了国内外各大公司的研发与使用,淘宝技术团队使用Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等,应用于商品推荐、社区发现等功能。腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通投放系统上。优酷土豆则将Spark应用于视频推荐(图计算)、广告等业务的研发与拓展,相信在将来,Spark会在更多的应用场景中发挥重要作用。



猜你喜欢:    
实时计算Spark Streaming工作原理是什么?

Spark有哪些特点,Spark的生态系统包含哪些组件?

Spark Mllib分层抽样操作步骤

黑马程序员大数据开发培训

分享到:
在线咨询 我要报名
和我们在线交谈!