合并的流處理

InfoSphere Streams 主要設計目的是：

• 快速響應事件和不斷變化的業務條件與需求。
  

• 支持以比現有系統快幾個數量級的速度對數據執行持續分析。
  

• 快速適應不斷變化的數據形式和類型。
  

• 管理新的流模式的高可用性、異構性和分布。
  

• 為共享的信息提供安全性和信息機密性。

InfoSphere Streams 提供了一種編程模型和 IDE 來定義數據來源，還提供了已融合到處理執行單元中的運算符軟件來分析模塊。以及基礎架構來支持從這些組件合成可擴展的流處理應用程序。主要平臺組件包括：

• 運行時環境：這包括平臺服務，以及一個用于在單個主機或一組集成的主機上部署和監視 Streams 應用程序的調度程序。
  

• 編程模型：您可使用 SPL（Streams Processing Language，流處理語言，一種聲明性語言）來編寫 Streams 應用程序。可使用該語言陳述您的需求，運行時環境會承擔確定如何最佳地服務該請求的責任。在此模型中，一個 Streams 應用程序表示為一個由運算符和連接它們的流組成的圖表。
  

• 監視工具和管理接口：Streams 應用程序處理數據的速度比普通的操作系統監視實用程序快得多。InfoSphere Streams 提供了可處理此環境的工具。

流處理語言

SPL，InfoSphere Streams 的編程語言，是一種分布式數據流合成語言。它是一種類似 C++ 或 Java? 的可擴展且全功能的語言，支持用戶定義的數據類型。您可以使用 SPL 或原生語言（C++ 或 Java）編寫自定義函數。也可以使用 C++ 或 Java 編寫用戶定義的運算符。

InfoSphere Streams 持續應用程序會描述一個導向圖，該圖由各個互聯且處理多個數據流的運算符組成。數據流可來自系統外部，或者在應用程序內部生成。SPL 程序的基本構建塊包括：

• 流：一個無限的結構化元組序列。它可逐個元組地由運算符使用或通過一個窗口的定義來使用。
  

• 元組：屬性及其類型的一個結構化列表。流上的每個元組擁有由其流類型指定的形式。
  

• 流類型：指定元組中每個屬性的名稱和數據類型。
  

• 窗口：一個有限、有序的元組分組。它可以基于計數、時間、屬性值或標點符號。
  

• 運算符：SPL 的基礎構建塊，它的運算符會處理來自流的數據并可生成新流。
  

• 處理元素 (PE)：基礎執行單元。一個 PE 可封裝單個運算符或多個合并的運算符。
  

• 作業：一個已部署好的用來執行的 Streams 應用程序。它由一個或多個 PE 組成。除了一組 PE 之外，SPL 編譯器還會生成一個 ADL（Application Description Language，應用程序描述語言）文件來描述應用程序的結構。該 ADL 文件包含每個 PE 的詳細信息，比如要加載和執行哪個二進制文件，調度限制、流格式和一個內部運算符數據流圖。
  

  
  

SPL 程序的 InfoSphere Streams 運行時視圖：

InfoSphere Streams 能夠幫助您：

分析動態數據:

• 支持分析連續數據，包括文本、圖像、音頻、語音、視頻、Web 流量、電子郵件、GPS 數據、財務交易、衛星數據和傳感器日志。

• 包含用于高級分析的工具箱和加速器，包括近乎實時地分析來自遠程通信系統的大量流數據的遠程通信事件數據加速器，以及用于分析社交媒體數據的社交數據加速器。

• 在運行時計算集群的一個或多個節點上分發程序部分，幫助實現每秒數百萬條消息量以及毫秒級別流通速度。

• 使您能夠從大量瑣碎信息中僅過濾和抽取相關數據，從而幫助降低數據存儲成本。

• 基于數據量或分析復雜性，從單個服務器擴展至成千上萬個計算機節點。

• 提供安全性功能和機密性以用于共享信息。

簡化流應用程序開發

• 您能夠通過拖拽操作構建應用程序，還能使用數據可視化功能（例如，圖表和圖形）向運行中的應用程序動態地添加新視圖。

• 支持您創建、編輯、可視化、測試、調試和運行 Streams Processing Language (SPL) 應用程序。

• 提供組合功能以提高應用程序模塊化程度，支持大型或分布式應用程序開發團隊。

• 使您能夠在單個流定義中嵌套和聚集數據類型。

• 支持在開發集群上構建應用程序并投入生產，而無需重新編譯。

擴展現有系統的價值

• 適應快速變化的數據表單和類型。

• 您能夠快速開發可映射至各種硬件配置的新應用程序。

• 支持復用現有 Java 或 C++ 代碼，以及預測模型標記語言 (PMML) 模型。

• 包含一個有限的 IBM InfoSphere BigInsights 許可證 - 一個用于分析大量靜態非結構化數據的基于 Hadoop 的產品。

• 集成 IBM DB2、IBM Informix、IBM Netezza、IBM solidDB、IBM InfoSphere Warehouse、IBM Smart Analytics System、Oracle、Microsoft SQL Server 和 MySQL。

開發環境

InfoSphere Streams 提供了一個敏捷開發環境，該環境由 Eclipse IDE、Streams Live Graph 視圖和一個流調試器組成。該平臺還包含用于加速和簡化特定功能或行業的解決方案開發的工具包。

此外，您可定義您自己的工具包，提供可重用的運算符和函數集，并創建跨領域和特定于領域的加速器。它們可包含原始和組合運算符，也可同時使用原生和 SPL 函數。

BigInsights 和 InfoSphere Streams 之間的集成和交互

不斷從系統中生成大量寶貴數據的公司正面臨為以下兩個重要用途而分析數據的問題困擾：及時感知和響應當前事件，根據歷史知識進行預測，從而指導響應。這一情形產生了無縫運行移動數據（當前數據）和靜止數據（歷史數據）分析、處理海量、多樣性、高速產生的數據的需求。IBM 的移動數據 (InfoSphere Streams) 與靜止數據 (BigInsights) 平臺的集成解決了 3 個主要應用場景的需求：

• 可伸縮的數據獲取：通過 Streams 持續將數據獲取到 BigInsights 中。例如，通常需要獲取來自社交媒體來源（比如 Twitter 和 Facebook）的非結構化文本數據，以提取各種類型的態度和線索。在這種情況下，如果文本提取在獲取數據時執行，那么盡早消除垃圾郵件等無關數據會讓效率高很多。這種集成使公司能夠避免巨額的非必要存儲成本。

• 加速和充實：從 BigInsights 生辰歷史上下文來加速分析和充實傳入的 Streams 數據。BigInsights 可用于分析在較長的時間窗口內從各種連續和靜態的數據來源吸收和集成的數據。此分析的結果為各種在線分析提供了上下文，可用于將它們引導至一種已知狀態。回到社交媒體應用程序的場景，一條傳入的 Twitter 消息僅擁有發布該消息的人的 ID。但是，歷史數據可通過屬性（比如影響者）充實該信息，為執行下游分析以適當應對此用戶所表達的態度提供機會。

• 自適應分析模型：BigInsights 上的分析操作（比如數據挖掘、機器學習或統計建模）所生成的模型。這些可用作分析 Streams 上的傳入數據的基礎，基于實時觀察結果而更新。

IBM 大數據平臺的移動數據和靜止數據部分可通過 3 種主要的組件類型來集成：

• 通用分析：相同的分析功能可用在 Streams 和 BigInsights 上。

• 通用數據格式：Streams 格式運算符可在 Streams 元組格式和 BigInsights 使用的數據格式之間轉換數據。

• 數據交換適配器：Streams Source 和 Sink 適配器可用于與 BigInsights 交換數據。