本篇文章和大家說說數(shù)據(jù)采集的那些事兒......

實現(xiàn)工業(yè)4.0，需要高度的工業(yè)化、自動化基礎，是漫長的征程。工業(yè)大數(shù)據(jù)是未來工業(yè)在全球市場競爭中發(fā)揮優(yōu)勢的關鍵。無論是德國工業(yè)4.0、美國工業(yè)互聯(lián)網(wǎng)還是《中國制造2025》，各國制造業(yè)創(chuàng)新戰(zhàn)略的實施基礎都是工業(yè)大數(shù)據(jù)的搜集和特征分析，及以此為未來制造系統(tǒng)搭建的無憂環(huán)境。不論智能制造發(fā)展到何種程度，數(shù)據(jù)采集都是生產(chǎn)中最實際最高頻的需求，也是工業(yè)4.0的先決條件。

數(shù)字化工廠不等于無人工廠，產(chǎn)品配置，制造流程越復雜越多變，越需要人的參與；在數(shù)字化工廠當中，工人更多地是處理異常情況，調(diào)整設備。但數(shù)據(jù)采集一直是困擾著所有制造工廠的傳統(tǒng)痛點，自動化設備品牌類型繁多，廠家和數(shù)據(jù)接口各異，國外廠家本地支持有限，不同采購年代。即便產(chǎn)量停機數(shù)據(jù)自動采集了，也不等于整個制造過程數(shù)據(jù)都獲得了，只要還有其他人工參與環(huán)節(jié)，這些數(shù)據(jù)就不完整。

工業(yè)數(shù)據(jù)采集類型

互聯(lián)網(wǎng)的數(shù)據(jù)主要來自于互聯(lián)網(wǎng)用戶和服務器等網(wǎng)絡設備，主要是大量的文本數(shù)據(jù)、社交數(shù)據(jù)以及多媒體數(shù)據(jù)等，而工業(yè)數(shù)據(jù)主要來源于機器設備數(shù)據(jù)、工業(yè)信息化數(shù)據(jù)和產(chǎn)業(yè)鏈相關數(shù)據(jù)。

從數(shù)據(jù)采集的類型上看，不僅要涵蓋基礎的數(shù)據(jù)，還將逐步包括半結構化的用戶行為數(shù)據(jù)，網(wǎng)狀的社交關系數(shù)據(jù)，文本或音頻類型的用戶意見和反饋數(shù)據(jù)，設備和傳感器采集的周期性數(shù)據(jù)，網(wǎng)絡爬蟲獲取的互聯(lián)網(wǎng)數(shù)據(jù)，以及未來越來越多有潛在意義的各類數(shù)據(jù)。主要包括以下幾種：

1、海量的Key-Value數(shù)據(jù)。在傳感器技術飛速發(fā)展的今天，包括光電、熱敏、氣敏、力敏、磁敏、聲敏、濕敏等不同類別的工業(yè)傳感器在現(xiàn)場得到了大量應用，而且很多時候機器設備的數(shù)據(jù)大概要到ms的精度才能分析海量的工業(yè)數(shù)據(jù)，因此，這部分數(shù)據(jù)的特點是每條數(shù)據(jù)內(nèi)容很少，但是頻率極高。

2、文檔數(shù)據(jù)。包括工程圖紙、仿真數(shù)據(jù)、設計的CAD圖紙等，還有大量的傳統(tǒng)工程文檔。

3、信息化數(shù)據(jù)。由工業(yè)信息系統(tǒng)產(chǎn)生的數(shù)據(jù)，一般是通過數(shù)據(jù)庫形式存儲的，這部分數(shù)據(jù)是最好采集的。

4、接口數(shù)據(jù)。由已經(jīng)建成的工業(yè)自動化或信息系統(tǒng)提供的接口類型的數(shù)據(jù)，包括txt格式、JSON格式、XML格式等。

5、視頻數(shù)據(jù)。工業(yè)現(xiàn)場會有大量的視頻監(jiān)控設備，這些設備會產(chǎn)生大量的視頻數(shù)據(jù)。

6、圖像數(shù)據(jù)。包括工業(yè)現(xiàn)場各類圖像設備拍攝的圖片（例如，巡檢人員用手持設備拍攝的設備、環(huán)境信息圖片）。

7、音頻數(shù)據(jù)。包括語音及聲音信息（例如，操作人員的通話、設備運轉(zhuǎn)的音量等）。

8、其他數(shù)據(jù)。例如遙感遙測信息、三維高程信息等等。

數(shù)據(jù)采集的方法

傳統(tǒng)的數(shù)據(jù)采集方法包括人工錄入、調(diào)查問卷、電話隨訪等方式，大數(shù)據(jù)時代到來后，一個突出的變化是數(shù)據(jù)采集的方法有了質(zhì)的飛躍，下面所介紹的數(shù)據(jù)采集方式的突破直接改變著大數(shù)據(jù)應用的場景。

1、傳感器

傳感器是一種檢測裝置，能感受到被測量的信息，并能將檢測感受到的信息，按一定規(guī)律變換成為電信號或其他所需形式的信息輸出，以滿足信息的傳輸、處理、存儲、顯示、記錄和控制等要求。在生產(chǎn)車間中一般存在許多的傳感節(jié)點，24小時監(jiān)控著整個生產(chǎn)過程，當發(fā)現(xiàn)異常時可迅速反饋至上位機，可以算得上是數(shù)據(jù)采集的感官接受系統(tǒng)，屬于數(shù)據(jù)采集的底層環(huán)節(jié)。

傳感器在采集數(shù)據(jù)的過程中主要特性是其輸入與輸出的關系。

其靜態(tài)特性反映了傳感器在被測量各個值處于穩(wěn)定狀態(tài)時的輸入和輸出關系，這意味著當輸入為常量，或變化極慢時，這一關系就稱為靜態(tài)特性。我們總是希望傳感器的輸入與輸出成唯一的對照關系，最好是線性關系。

一般情況下，輸入與輸出不會符合所要求的線性關系，同時由于存在這遲滯、蠕變等因素的影響，使輸入輸出關系的唯一性也不能實現(xiàn)。因此我們不能忽視工廠中的外界影響，其影響程度取決于傳感器本身，可通過傳感器本身的改善加以抑制，有時也可以加對外界條件加以限制。

2、RFID技術

RFID（Radio Frequency Identification，射頻識別）技術是一種非接觸式的自動識別技術，通過射頻信號自動識別目標對象并獲取相關的數(shù)據(jù)信息。利用射頻方式進行非接觸雙向通信，達到識別目的并交換數(shù)據(jù)。RFID技術可識別高速運動物體并可同時識別多個標簽，操作快捷方便。

在工作時，RFID讀寫器通過天線發(fā)送出一定頻率的脈沖信號，當RFID標簽進入磁場時，憑借感應電流所獲得的能量發(fā)送出存儲在芯片中的產(chǎn)品信息（Passive Tag，無源標簽或被動標簽），或者主動發(fā)送某一頻率的信號（Active Tag，有源標簽或主動標簽）。

閱讀器對接收的信號進行解調(diào)和解碼然后送到后臺主系統(tǒng)進行相關處理；主系統(tǒng)根據(jù)邏輯運算判斷該卡的合法性，針對不同的設定做出相應的處理和控制，發(fā)出指令信號控制執(zhí)行機構動作。

RFID技術解決了物品信息與互聯(lián)網(wǎng)實現(xiàn)自動連接的問題，結合后續(xù)的大數(shù)據(jù)挖掘工作，能發(fā)揮其強大的威力。

數(shù)據(jù)采集技術難點

在當今的制造業(yè)領域，數(shù)據(jù)采集是一個難點。很多企業(yè)的生產(chǎn)數(shù)據(jù)采集主要依靠傳統(tǒng)的手工作業(yè)方式，采集過程中容易出現(xiàn)人為的記錄錯誤且效率低下。

有些企業(yè)雖然引進了相關技術手段，并且應用了數(shù)據(jù)采集系統(tǒng)，但是由于系統(tǒng)本身的原因以及企業(yè)沒有選擇最適合自己的數(shù)據(jù)采集系統(tǒng)，因此也無法實現(xiàn)信息采集的實時性、精確性和延伸性管理，各單元出現(xiàn)了信息斷層的現(xiàn)象。

技術難點主要包括以下幾方面：

1、數(shù)據(jù)量巨大。任何系統(tǒng)，在不同的數(shù)據(jù)量面前，需要的技術難度都是完全不同的。

如果單純是將數(shù)據(jù)采到，可能還比較好完成，但采集之后還需要處理，因為必須考慮數(shù)據(jù)的規(guī)范與清洗，因為大量的工業(yè)數(shù)據(jù)是“臟”數(shù)據(jù)，直接存儲無法用于分析，在存儲之前，必須進行處理，對海量的數(shù)據(jù)進行處理，從技術上又提高了難度。

2、工業(yè)數(shù)據(jù)的協(xié)議不標準?；ヂ?lián)網(wǎng)數(shù)據(jù)采集一般都是我們常見的HTTP等協(xié)議，但在工業(yè)領域，會出現(xiàn)ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各類型的工業(yè)協(xié)議，而且各個自動化設備生產(chǎn)及集成商還會自己開發(fā)各種私有的工業(yè)協(xié)議，導致在工業(yè)協(xié)議的互聯(lián)互通上，出現(xiàn)了極大地難度。

很多開發(fā)人員在工業(yè)現(xiàn)場實施綜合自動化等項目時，遇到的最大問題及時面對眾多的工業(yè)協(xié)議，無法有效的進行解析和采集。

3、視頻傳輸所需帶寬巨大。傳統(tǒng)工業(yè)信息化由于都是在現(xiàn)場進行數(shù)據(jù)采集，視頻數(shù)據(jù)傳輸主要在局域網(wǎng)中進行，因此，帶寬不是主要的問題。

但隨著云計算技術的普及及公有云的興起，大數(shù)據(jù)需要大量的計算資源和存儲資源，因此工業(yè)數(shù)據(jù)逐步遷移到公有云已經(jīng)是大勢所趨了。但是，一個工業(yè)企業(yè)可能會有幾十路視頻，成規(guī)模的企業(yè)會有上百路視頻，這么大量的視頻文件如何通過互聯(lián)網(wǎng)順暢到傳輸?shù)皆贫?，是開發(fā)人員需要面臨的巨大挑戰(zhàn)。

4、對原有系統(tǒng)的采集難度大。在工業(yè)企業(yè)實施大數(shù)據(jù)項目時，數(shù)據(jù)采集往往不是針對傳感器或者PLC，而是采集已經(jīng)完成部屬的自動化系統(tǒng)上位機數(shù)據(jù)。

這些自動化系統(tǒng)在部署時廠商水平參差不齊，大部分系統(tǒng)是沒有數(shù)據(jù)接口的，文檔也大量缺失，大量的現(xiàn)場系統(tǒng)沒有點表等基礎設置數(shù)據(jù)，使得對于這部分數(shù)據(jù)采集的難度極大。

5、安全性考慮不足。原先的工業(yè)系統(tǒng)都是運行在局域網(wǎng)中，安全問題不是突出考慮的重點。

一旦需要通過云端調(diào)度工業(yè)之中最為核心的生產(chǎn)能力，又沒有對安全的充分考慮，造成損失，是難以彌補的。2015年，受網(wǎng)絡安全事件影響的工業(yè)企業(yè)占比達到30%，因病毒造成停機的企業(yè)高達20%。僅美國國土安全部的工業(yè)控制系統(tǒng)網(wǎng)絡應急響應小組(ICS-CERT)就收到了295起針對關鍵基礎設施的攻擊事件。

工業(yè)數(shù)據(jù)采集方案案例

方案一：物聯(lián)網(wǎng)工業(yè)現(xiàn)場數(shù)據(jù)采集系統(tǒng)

本項目屬于物聯(lián)網(wǎng)終端傳感器系統(tǒng)的一種，通過裝在機器上的無線模塊，采集指定機器PLC工作信息，上傳到主機，主機處理數(shù)據(jù)后上傳到云服務器，用戶可在手機、平板、電腦上查看機器工作信息，并可以有限度地設置機器工作參數(shù)。

方案二：太陽能充電的數(shù)據(jù)采集數(shù)傳模塊

本方案成品底部槽位可以嵌入工業(yè)上標準din35的導軌，方便安裝；自帶兩路數(shù)字量輸入、兩路模擬量輸入、八路IO輸出。方案還采用了太陽能充電模式，集成GPRS模塊，可掉線自動復位，避免一般外置DTU掉線后需要發(fā)短信重啟的問題。

方案三：U盤數(shù)據(jù)轉(zhuǎn)存，無紙記錄儀解決方案

無紙記錄儀是采用了最新U盤數(shù)據(jù)存儲和數(shù)據(jù)轉(zhuǎn)存技術的新型無紙記錄儀。根據(jù)用戶要求其數(shù)據(jù)存儲容量最大可配置到32G，可以滿足任何工業(yè)現(xiàn)場的數(shù)據(jù)存儲要求。特別是通過U盤將儀表記錄的數(shù)據(jù)取出方式，與IC卡等其他方式相比，其具有數(shù)據(jù)存儲量大，使用方便可靠等優(yōu)點，適合現(xiàn)場實際使用。