全部 新闻动态 技术文章 常见问题 技术问答

• • 

    反爬虫系统实战教程【大数据培训】

    通过不断的订座但不支付，利用这些虚占的座位进行非法盈利，通过系统日志分析等，发现官网存在大量的非法占座会员及非会员手机号用户。 为了限制伪装技术越来越强的爬虫访问和恶意占座行为，需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。查看全文>>

    技术文章2020-06-02 |黑马程序员 |反爬虫系统
  • 

    Spark Streaming是什么？有什么特点？

    ​ Spark Streaming是构建在Spark上的实时计算框架，且是对Spark Core API的一个扩展，它能够实现对流数据进行实时处理，并具有很好的可扩展性、高吞吐量和容错性。Spark Streaming具有如下显著特点。查看全文>>

    技术文章2020-05-29 |黑马程序员 |Spark Streaming
  • 

    什么是实时计算？常用的实计算框架有哪些？【大数据培训】

    近年来，Web应用、网络监控、传感监测、电信金融、生产制造等领域,对数据实时处理的需求不断增强，而Spark中的SparkStreaming实时计算框架就是为了实现对数据实时处理的需求而设计的。在电子商务中，淘宝、京东等网站从用户点击的行为(如加入购物车)和浏览的历史记录中发现用户的购买意图和兴趣，然后通过Sparkstreaming实时计算框架分析处理,为之推荐相关商品,从而有效地提高商品的销售量，同时也增加了用户的满意度，可谓是“一举两得”。查看全文>>

    技术文章2020-05-29 |黑马程序员 |实时计算
  • 

    Kafka是什么？kafka有什么优点？

    Kafka是一个高吞吐量的分布式发布订阅消息系统，它在实时计算系统中有着非常强大的功能。通常情况下，使用Kafka构建系统或应用程序之间的数据管道，用来转换或响应实时数据，使数据能够及时地进行业务计算，得出相应结果。查看全文>>

    技术文章2020-05-29 |黑马程序员 |kafka有什么优点
  • 

    大数据系统中的消息传递模式【大数据培训】

    大数据系统面临的首要困难是海量数据之间该如何进行传输。为了解决大数据集的传输困难，就必须要构建一个消息系统。一个消息系统负责将数据从一个应用程序传递到另外一个应用程序中，应用程序只关注数据，无须关注数据在多个应用之间是如何传递的，分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。查看全文>>

    技术文章2020-05-29 |黑马程序员 |大数据,消息传递模式
  • 

    大数据培训之flink从入门到精通视频教程【黑马程序员】

    了解Flink，了解集群环境搭建运维，学习Flink中重要概念、原理和API的用法，通过知识点 + 案例教学法帮助小白快速掌握Flink。查看全文>>

    技术文章2020-05-14 |黑马程序员 |flink
  << < 1... 15 16 17 18 19 20 21 ...33 > >>