數據采集一直是困擾著所有制造工廠的傳統痛點，自動化設備品牌類型繁多，廠家和數據接口各異，國外廠家本地支持有限，不同采購年代。即便產量停機數據自動采集了，也不等于整個制造過程數據都獲得了，只要還有其他人工參與環節，這些數據就不完整。

工業數據采集類型

互聯網的數據主要來自于互聯網用戶和服務器等網絡設備，主要是大量的文本數據、社交數據以及多媒體數據等，而工業數據主要來源于機器設備數據、工業信息化數據和產業鏈相關數據。

從數據采集的類型上看，不僅要涵蓋基礎的數據，還將逐步包括半結構化的用戶行為數據，網狀的社交關系數據，文本或音頻類型的用戶意見和反饋數據，設備和傳感器采集的周期性數據，網絡爬蟲獲取的互聯網數據，以及未來越來越多有潛在意義的各類數據。主要包括以下幾種：

• 海量的Key-Value數據-在傳感器技術飛速發展的今天，包括光電、熱敏、氣敏、力敏、磁敏、聲敏、濕敏等不同類別的工業傳感器在現場得到了大量應用，而且很多時候機器設備的數據大概要到ms的精度才能分析海量的工業數據，因此，這部分數據的特點是每條數據內容很少，但是頻率極高。

• 文檔數據-包括工程圖紙、仿真數據、設計的CAD圖紙等，還有大量的傳統工程文檔。

• 信息化數據-由工業信息系統產生的數據，一般是通過數據庫形式存儲的，這部分數據是最好采集的。

• 接口數據-由已經建成的工業自動化或信息系統提供的接口類型的數據，包括txt格式、JSON格式、XML格式等。

• 視頻數據-工業現場會有大量的視頻監控設備，這些設備會產生大量的視頻數據。

• 圖像數據-包括工業現場各類圖像設備拍攝的圖片（例如，巡檢人員用手持設備拍攝的設備、環境信息圖片）。

• 音頻數據-包括語音及聲音信息（例如，操作人員的通話、設備運轉的音量等）。

• 其他數據-例如遙感遙測信息、三維高程信息等等。

數據采集的方法

傳統的數據采集方法包括人工錄入、調查問卷、電話隨訪等方式，大數據時代到來后，一個突出的變化是數據采集的方法有了質的飛躍，下面所介紹的數據采集方式的突破直接改變著大數據應用的場景。

• 傳感器

傳感器是一種檢測裝置，能感受到被測量的信息，并能將檢測感受到的信息，按一定規律變換成為電信號或其他所需形式的信息輸出，以滿足信息的傳輸、處理、存儲、顯示、記錄和控制等要求。在生產車間中一般存在許多的傳感節點，24小時監控著整個生產過程，當發現異常時可迅速反饋至上位機，可以算得上是數據采集的感官接受系統，屬于數據采集的底層環節。

傳感器在采集數據的過程中主要特性是其輸入與輸出的關系。

其靜態特性反映了傳感器在被測量各個值處于穩定狀態時的輸入和輸出關系，這意味著當輸入為常量，或變化極慢時，這一關系就稱為靜態特性。我們總是希望傳感器的輸入與輸出成唯一的對照關系，最好是線性關系。

一般情況下，輸入與輸出不會符合所要求的線性關系，同時由于存在這遲滯、蠕變等因素的影響，使輸入輸出關系的唯一性也不能實現。因此我們不能忽視工廠中的外界影響，其影響程度取決于傳感器本身，可通過傳感器本身的改善加以抑制，有時也可以加對外界條件加以限制

• RFID技術

RFID（Radio Frequency Identification，射頻識別）技術是一種非接觸式的自動識別技術，通過射頻信號自動識別目標對象并獲取相關的數據信息。利用射頻方式進行非接觸雙向通信，達到識別目的并交換數據。RFID技術可識別高速運動物體并可同時識別多個標簽，操作快捷方便。

在工作時，RFID讀寫器通過天線發送出一定頻率的脈沖信號，當RFID標簽進入磁場時，憑借感應電流所獲得的能量發送出存儲在芯片中的產品信息（Passive Tag，無源標簽或被動標簽），或者主動發送某一頻率的信號（Active Tag，有源標簽或主動標簽）。

閱讀器對接收的信號進行解調和解碼然后送到后臺主系統進行相關處理；主系統根據邏輯運算判斷該卡的合法性，針對不同的設定做出相應的處理和控制，發出指令信號控制執行機構動作。

RFID技術解決了物品信息與互聯網實現自動連接的問題，結合后續的大數據挖掘工作，能發揮其強大的威力。

數據采集技術難點

在當今的制造業領域，數據采集是一個難點。很多企業的生產數據采集主要依靠傳統的手工作業方式，采集過程中容易出現人為的記錄錯誤且效率低下。

有些企業雖然引進了相關技術手段，并且應用了數據采集系統，但是由于系統本身的原因以及企業沒有選擇最適合自己的數據采集系統，因此也無法實現信息采集的實時性、精確性和延伸性管理，各單元出現了信息斷層的現象。

技術難點主要包括以下幾方面：

• 數據量巨大

任何系統，在不同的數據量面前，需要的技術難度都是完全不同的。

如果單純是將數據采到，可能還比較好完成，但采集之后還需要處理，因為必須考慮數據的規范與清洗，因為大量的工業數據是“臟”數據，直接存儲無法用于分析，在存儲之前，必須進行處理，對海量的數據進行處理，從技術上又提高了難度。

• 工業數據的協議不標準

互聯網數據采集一般都是我們常見的HTTP等協議，但在工業領域，會出現ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各類型的工業協議，而且各個自動化設備生產及集成商還會自己開發各種私有的工業協議，導致在工業協議的互聯互通上，出現了極大地難度。

很多開發人員在工業現場實施綜合自動化等項目時，遇到的最大問題及時面對眾多的工業協議，無法有效的進行解析和采集。

• 視頻傳輸所需帶寬巨大

傳統工業信息化由于都是在現場進行數據采集，視頻數據傳輸主要在局域網中進行，因此，帶寬不是主要的問題。

但隨著云計算技術的普及及公有云的興起，大數據需要大量的計算資源和存儲資源，因此工業數據逐步遷移到公有云已經是大勢所趨了。但是，一個工業企業可能會有幾十路視頻，成規模的企業會有上百路視頻，這么大量的視頻文件如何通過互聯網順暢到傳輸到云端，是開發人員需要面臨的巨大挑戰。

• 對原有系統的采集難度大

在工業企業實施大數據項目時，數據采集往往不是針對傳感器或者PLC，而是采集已經完成布署的自動化系統上位機數據。

這些自動化系統在部署時廠商水平參差不齊，大部分系統是沒有數據接口的，文檔也大量缺失，大量的現場系統沒有點表等基礎設置數據，使得對于這部分數據采集的難度極大。

• 安全性考慮不足

原先的工業系統都是運行在局域網中，安全問題不是突出考慮的重點。一旦需要通過云端調度工業之中最為核心的生產能力，又沒有對安全的充分考慮，造成損失，是難以彌補的。

慧都工業大數據分析方案將精益生產理論體系進行了完美的融合和應用，并對大數據總體架構進行了更細致明確的解讀，提供自主研發的大數據平臺，實現ETL、數據管理及存儲、數據建模。