Spark-Streaming介绍

文章目录

  • 概述
    • Spark Streaming的特点
    • 实时计算所处的位置

新的场景需求

  • 集群监控
    一般的大型集群和平台, 都需要对其进行监控的需求。
    要针对各种数据库, 包括 MySQL, HBase 等进行监控
    要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等
    要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等

    官网
    /

概述

Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行实时的处理，具有高吞吐量和容错能力强等特点。

Spark Streaming的特点

  • 1.易用
    可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。
  • 2.容错
    SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。
  • 3.易整合到Spark体系
    流式处理与批处理和交互式查询相结合。

实时计算所处的位置

Spark-Streaming介绍

文章目录

  • 概述
    • Spark Streaming的特点
    • 实时计算所处的位置

新的场景需求

  • 集群监控
    一般的大型集群和平台, 都需要对其进行监控的需求。
    要针对各种数据库, 包括 MySQL, HBase 等进行监控
    要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等
    要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等

    官网
    /

概述

Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行实时的处理，具有高吞吐量和容错能力强等特点。

Spark Streaming的特点

  • 1.易用
    可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。
  • 2.容错
    SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。
  • 3.易整合到Spark体系
    流式处理与批处理和交互式查询相结合。

实时计算所处的位置