在城市水務(wù)行業(yè)中,各省市水務(wù)集團(tuán)與水務(wù)公司作為國有資產(chǎn)管理和基礎(chǔ)設(shè)施投資運(yùn)營主體,負(fù)責(zé)城鎮(zhèn)供水、排水防汛、污水處理、中水回用、河道運(yùn)維、污泥處置、海水淡化、水務(wù)工程建設(shè)等各類水務(wù)相關(guān)業(yè)務(wù)。根據(jù)國務(wù)院國資委與各地方國資委新基建數(shù)字化轉(zhuǎn)型以及智慧水務(wù)規(guī)劃的目標(biāo)任務(wù),各水務(wù)運(yùn)營主體提出了通過數(shù)字化轉(zhuǎn)型提升集團(tuán)生產(chǎn)效能,助推水務(wù)事業(yè)高質(zhì)量發(fā)展的要求。
水務(wù)業(yè)務(wù)的數(shù)字化轉(zhuǎn)型過程可分為「數(shù)據(jù)先行、夯實(shí)基礎(chǔ)」、「資源整合、管理提升」、「管理創(chuàng)新、戰(zhàn)略發(fā)展」三個(gè)階段實(shí)施。 而構(gòu)建一個(gè)物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)則是「數(shù)據(jù)先行,夯實(shí)基礎(chǔ)」階段的重要任務(wù)。
本文將分享青島研博結(jié)合 EMQ 物聯(lián)網(wǎng)數(shù)據(jù)基礎(chǔ)設(shè)施軟件構(gòu)建智慧水務(wù)平臺(tái)產(chǎn)品的實(shí)踐經(jīng)驗(yàn)。
廠站建設(shè)不標(biāo)準(zhǔn)
廠站數(shù)據(jù)未實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)集中監(jiān)管,各個(gè)廠站自控系統(tǒng)建設(shè)標(biāo)準(zhǔn)未統(tǒng)一,網(wǎng)絡(luò)部署無規(guī)劃,各個(gè)廠站 PLC 和組態(tài)軟件的點(diǎn)表沒有統(tǒng)一的標(biāo)準(zhǔn)規(guī)范,制約了數(shù)據(jù)匯聚及大數(shù)據(jù)分析應(yīng)用,不利于數(shù)據(jù)挖掘工作。
抄表標(biāo)準(zhǔn)不統(tǒng)一,系統(tǒng)壁壘嚴(yán)重
隨著各供水企業(yè)遠(yuǎn)傳水表數(shù)量逐漸增多,各水表廠家的數(shù)據(jù)傳輸標(biāo)準(zhǔn)不統(tǒng)一,導(dǎo)致遠(yuǎn)傳水表不能互換;各水表廠家各自搭建了抄表平臺(tái),存在抄表平臺(tái)重復(fù)建設(shè)和數(shù)據(jù)壁壘問題,不利于集團(tuán)統(tǒng)一管理。
數(shù)據(jù)質(zhì)量無法支撐大數(shù)據(jù)平臺(tái)
部分水務(wù)集團(tuán)規(guī)劃建設(shè)了集團(tuán)大數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一治理,大數(shù)據(jù)中心必須有高質(zhì)量的感知層數(shù)據(jù)支撐。由于廠站數(shù)據(jù)、抄表數(shù)據(jù)以及其他業(yè)務(wù)數(shù)據(jù)沒有統(tǒng)一接入規(guī)范,數(shù)據(jù)質(zhì)量參差不齊。各類數(shù)據(jù)分散在各個(gè)系統(tǒng)中,很難形成可為大數(shù)據(jù)中心提供實(shí)時(shí)性強(qiáng),格式規(guī)范的數(shù)據(jù)源。
為了更好地服務(wù)于當(dāng)前水務(wù)數(shù)字化轉(zhuǎn)型的需求,青島研博提出了基于物聯(lián)網(wǎng)技術(shù)實(shí)現(xiàn)水務(wù)物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)的建設(shè)思路:
廠站數(shù)據(jù)在邊緣側(cè)統(tǒng)一采集并規(guī)范化處理上報(bào)
為了解決廠站生產(chǎn)數(shù)據(jù)分散和數(shù)據(jù)壁壘問題,通過將已有廠站、管網(wǎng)的各類工業(yè)自動(dòng)化設(shè)備與系統(tǒng)的數(shù)據(jù)在廠站邊緣側(cè)進(jìn)行實(shí)時(shí)采集,數(shù)據(jù)格式統(tǒng)一處理,將各廠站數(shù)據(jù)統(tǒng)一接入到上層的物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)中。
從各個(gè)廠站上傳周期需要根據(jù)現(xiàn)場(chǎng)的物理設(shè)備進(jìn)行確認(rèn),但一般速率都比較快。每個(gè)廠站要采集的數(shù)據(jù)都不相同,點(diǎn)數(shù)不同,以其中某廠站為例,需要接入各種類型設(shè)備。 如某大型廠站主站設(shè)備包括:攪拌器,內(nèi)回流泵(遠(yuǎn)程就地、故障、手動(dòng)自動(dòng),開、停),電動(dòng)閥門(閥位、開度、開到位、關(guān)到位、故障),生物池空氣閥門(調(diào)節(jié)閥、閥位),外回流池,刮泥機(jī),液位計(jì),流量計(jì),進(jìn)口氨氮,氨氮硝氮一體機(jī),溶解氧探頭,ORP(測(cè)試微生物),MLSS(污泥濃度); 子站設(shè)備包括:鼓風(fēng)機(jī)流量,壓力,鼓風(fēng)機(jī),計(jì)量泵,液位計(jì),卸料泵,混合泵,電動(dòng)閥,流量計(jì)。大廠站采集點(diǎn)位在幾千點(diǎn),小型廠站采集點(diǎn)規(guī)模也在在幾百點(diǎn)。
在實(shí)際項(xiàng)目中,廠區(qū)可以分為新建廠區(qū)和老廠區(qū)兩種,老廠區(qū)基本上 PLC 比較老舊,而且不可以對(duì)現(xiàn)有 PLC 程序進(jìn)行改造,需要對(duì)接廠區(qū)現(xiàn)有 SCADA 系統(tǒng)(一般對(duì)接 OPC-DA 接口)將數(shù)據(jù)采集出來后進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換,然后上傳到物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)中。新建廠區(qū)可以要求新建廠區(qū)的 PLC 支持 OPC UA 協(xié)議或者 Modbus TCP 協(xié)議,通過對(duì)接這兩種協(xié)議將數(shù)據(jù)上傳到物聯(lián)網(wǎng)統(tǒng)一接入平臺(tái)。
遠(yuǎn)傳水表統(tǒng)一接入
針對(duì)抄表平臺(tái)重復(fù)建設(shè)和數(shù)據(jù)壁壘問題,通過建立一套不受硬件廠商限制,實(shí)現(xiàn)不同品牌遠(yuǎn)傳水表接入的數(shù)據(jù)采集系統(tǒng),具備對(duì)各供水企業(yè)遠(yuǎn)傳水表數(shù)據(jù)統(tǒng)一接入的能力。 物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)可以通過不同的通信方式,同時(shí)支持 TCP、UDP、MQTT、COAP 等物聯(lián)網(wǎng)通訊協(xié)議連接感知層設(shè)備、工程系統(tǒng)和運(yùn)營商物聯(lián)網(wǎng)平臺(tái)等系統(tǒng)進(jìn)行對(duì)接、采集與數(shù)據(jù)匯聚。
接入數(shù)據(jù)匯聚,統(tǒng)一處理,對(duì)接大數(shù)據(jù)平臺(tái)
通過建設(shè)物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng),將海量水務(wù)設(shè)備數(shù)據(jù)匯聚在數(shù)據(jù)中心。在平臺(tái)數(shù)據(jù)匯聚層進(jìn)行對(duì)各類數(shù)據(jù)按照水務(wù)運(yùn)營部門對(duì)數(shù)據(jù)源格式進(jìn)行統(tǒng)一處理,并實(shí)時(shí)對(duì)接后臺(tái)的大數(shù)據(jù)中心的數(shù)據(jù)服務(wù)接口,從而支撐水務(wù)大數(shù)據(jù)分析的需求。
綜合上述方案與需求,統(tǒng)一接入物聯(lián)網(wǎng)平臺(tái)主要需要具備以下能力:
邊緣側(cè)各類工控協(xié)議的對(duì)接,邊緣數(shù)據(jù)處理以及與數(shù)據(jù)中心平臺(tái)實(shí)時(shí)對(duì)接上報(bào)數(shù)據(jù);
平臺(tái)側(cè)多種物聯(lián)網(wǎng)設(shè)備與各類物聯(lián)網(wǎng)協(xié)議統(tǒng)一接入,并且提供對(duì)接第三方數(shù)據(jù)平臺(tái)能力;
平臺(tái)高可靠海量數(shù)據(jù)匯聚,低時(shí)延低實(shí)時(shí)數(shù)據(jù)處理與北向大數(shù)據(jù)平臺(tái)對(duì)接能力;
青島研博在評(píng)估考察了各類基礎(chǔ)軟件能力后,選擇了采用 EMQ 的云邊整體數(shù)據(jù)接入產(chǎn)品作為研博平臺(tái)的數(shù)據(jù)底座。具體實(shí)施方案如下:
廠站通過部署支持標(biāo)準(zhǔn) Linux 的工業(yè)網(wǎng)關(guān)硬件配合安裝 EMQ 邊緣工業(yè)協(xié)議網(wǎng)關(guān)軟件 Neuron ,將網(wǎng)關(guān)接入廠站的生產(chǎn)網(wǎng)絡(luò)中,然后通過配置 Neuron 以及現(xiàn)場(chǎng) PLC 和 SCADA 系統(tǒng)通信獲取數(shù)據(jù)。
為了符合水務(wù)運(yùn)營部門對(duì)廠站數(shù)據(jù)上報(bào)格式的統(tǒng)一化要求,在邊緣側(cè)的工業(yè)網(wǎng)關(guān)中安裝 EMQ 提供的輕量級(jí)流數(shù)據(jù)處理引擎 eKuiper,在廠站本地將數(shù)據(jù)格式轉(zhuǎn)換為標(biāo)準(zhǔn)的上行報(bào)文格式。
eKuiper 規(guī)則配置參考:
最終廠站數(shù)據(jù)報(bào)文將以 JSON 格式呈現(xiàn):
{ "time": 1629963922278, "topic": "Up/NABSPAP/79120285/61404601/Sensor", "deviceTag": "61404601", "productKey": "79120285", "groupId": "NABSPAP", "deviceId": "123456789012345678", "Data": [ { "Value": "92", "Name": "FLOW", "Error_Number": 0 }, { "Value": "92", "Name": "ZLJFLOW", "Error_Number": 0 } ], "channelId": "0", "protocol": "MQTT"}
廠站內(nèi)網(wǎng)通過運(yùn)營商專網(wǎng)服務(wù)對(duì)接上級(jí)單位生產(chǎn)網(wǎng)。邊緣網(wǎng)關(guān)通過 MQTT 協(xié)議將標(biāo)準(zhǔn)化的廠站數(shù)據(jù)報(bào)文實(shí)時(shí)發(fā)給到生產(chǎn)網(wǎng)中 EMQX 的 MQTT 集群服務(wù)中。在生產(chǎn)網(wǎng)與辦公網(wǎng)之間,通過 EMQX 集群橋接方式穿越防火墻進(jìn)行數(shù)據(jù)實(shí)時(shí)橋接,最終將實(shí)時(shí)數(shù)據(jù)寫到辦公網(wǎng)中的 EMQX 集群中。
通常水表數(shù)據(jù)采集包括大表與戶表兩大類,新型的大表與戶表采用可以 MQTT 協(xié)議直接對(duì)接統(tǒng)一數(shù)據(jù)平臺(tái)。 表計(jì)上報(bào)的 MQTT Payload 通過水務(wù)運(yùn)營管理部門的統(tǒng)一規(guī)劃的上行報(bào)文規(guī)范進(jìn)行數(shù)據(jù)傳輸。戶表上傳周期每天一次、大表半小時(shí)上傳一次。
每個(gè)戶表數(shù)據(jù)包含:
數(shù)據(jù)類型 | 別名(Name) | 單位 | 數(shù)據(jù)類型 |
---|---|---|---|
瞬時(shí)流量 | FLOW | 0.001m³/h | String |
正累積流量 | ZLJFLOW | m³ | String |
負(fù)累積流量 | FLJFLOW | m³ | String |
水溫 | TEMP | ℃ | String |
壓力 | PRESS | KPa | String |
金額 | MONEY | 元 | String |
累積運(yùn)行時(shí)間 | WKHOUR | h | String |
結(jié)算日期 | DATE | 年-月-日 | String |
結(jié)算日累積流量 | DAYFLOW | m³ | String |
實(shí)際時(shí)間 | TIMESTAMP | 時(shí)間戳 | String |
每個(gè)大表數(shù)據(jù)包含:
數(shù)據(jù)類型 | 別名(Name) | 單位 | 數(shù)據(jù)類型 |
---|---|---|---|
瞬時(shí)流量 | FLOW | 0.001m³/h | String |
正累積流量 | ZLJFLOW | m³ | String |
負(fù)累積流量 | FLJFLOW | m³ | String |
壓力 | PRESS | KPa | String |
現(xiàn)有表計(jì)主要為直連設(shè)備 NB 水表與 M-Bus 水表以及采集網(wǎng)關(guān),對(duì)接方式有以下三種方案:
水表與采集網(wǎng)關(guān)符合水務(wù)運(yùn)營主體制定的統(tǒng)一接入規(guī)范直接上傳
由營銷系統(tǒng)通過配表操作,向物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)推送新增或更換表具信息。物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)按統(tǒng)一接入規(guī)范進(jìn)行對(duì)接;
NB 水表通過運(yùn)營商平臺(tái)上傳數(shù)據(jù)
由營銷系統(tǒng)通過配表操作,向物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)推送新增或更換表具信息。 物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)按照運(yùn)營商上行協(xié)議,進(jìn)行數(shù)據(jù)對(duì)接,但運(yùn)營商平臺(tái)傳送數(shù)據(jù)類型需符合統(tǒng)一接入規(guī)范;
通過自定義上行協(xié)議與系統(tǒng)對(duì)接
現(xiàn)實(shí)業(yè)務(wù)中存在某些國際品牌,如西門子,只能通過廠家自定義上行協(xié)議與系統(tǒng)對(duì)接的設(shè)備。由營銷系統(tǒng)通過配表操作,向物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)推送新增或更換表具信息,物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)按照廠家自定義上行協(xié)議進(jìn)行對(duì)接。
作為較大的市級(jí)水務(wù)系統(tǒng),表計(jì)大約在幾十萬臺(tái)左右,結(jié)合廠站數(shù)據(jù)以及其他類型設(shè)備,需要系統(tǒng)可以支持百萬設(shè)備并發(fā)連接能力。EMQX 作為高性能物聯(lián)網(wǎng)消息中間件,在平臺(tái)接入層提供了海量數(shù)據(jù)統(tǒng)一匯聚能力。由于水務(wù)平臺(tái)系統(tǒng)的業(yè)務(wù)關(guān)鍵性,需要采用 EMQX 多節(jié)點(diǎn)集群滿足了系統(tǒng)高可用需要,避免接入層的單點(diǎn)故障。
EMQX 內(nèi)置提供了 MQTT 協(xié)議接入、NB 設(shè)備常用的 CoAP/LwM2M 協(xié)議接入、運(yùn)營商 HTTP RestAPI 接入數(shù)據(jù)接入。同時(shí),EMQX 針對(duì)企業(yè)私有協(xié)議提供了協(xié)議擴(kuò)展能力,青島研博通過自研開發(fā) EMQX 私有協(xié)議插件,實(shí)現(xiàn)了一套平臺(tái)全協(xié)議棧統(tǒng)一接入。
通過對(duì)水務(wù)廠站與水表數(shù)據(jù)的統(tǒng)一接入,可以將設(shè)備數(shù)據(jù)匯聚到集團(tuán) EMQX 集群中。在設(shè)備數(shù)據(jù)對(duì)接北向大數(shù)據(jù)平臺(tái)前,可以按要求在 EMQX 中對(duì)原始數(shù)據(jù)進(jìn)行清洗與整理,使數(shù)據(jù)規(guī)范化。
由于每種設(shè)備協(xié)議的不同采集的數(shù)據(jù)格式也是千差萬別,為了方便后續(xù)對(duì)數(shù)據(jù)的有效使用,需要對(duì)數(shù)據(jù)統(tǒng)一構(gòu)建數(shù)據(jù)模型?;?EMQX 內(nèi)置的高性能實(shí)時(shí)規(guī)則引擎,數(shù)據(jù)被篩選后形成預(yù)處理數(shù)據(jù),將數(shù)據(jù)的各個(gè)維度(時(shí)間、空間、業(yè)務(wù))等進(jìn)行標(biāo)準(zhǔn)化處理,構(gòu)建統(tǒng)一設(shè)備數(shù)據(jù)模型。有了統(tǒng)一的數(shù)據(jù)模型以后,可以更好的支撐后續(xù)的數(shù)據(jù)計(jì)算和大數(shù)據(jù)分析。設(shè)備統(tǒng)一規(guī)范參考結(jié)構(gòu)如下:
通過 EMQX 規(guī)則引擎的處理后的數(shù)據(jù),一方面對(duì)接大數(shù)據(jù)平臺(tái)的大數(shù)據(jù)服務(wù)(如 Kafka 服務(wù)),另一方面數(shù)據(jù)存儲(chǔ)到本地的時(shí)序數(shù)據(jù)庫中,實(shí)現(xiàn)了對(duì)數(shù)據(jù)的實(shí)時(shí)分流。以下為 EMQX 規(guī)則引擎配置:
性能測(cè)試
為了確保統(tǒng)一接入系統(tǒng)性能,我們對(duì)產(chǎn)品進(jìn)行了模擬性能測(cè)試。測(cè)試模擬 10 萬臺(tái)設(shè)備連接雙節(jié)點(diǎn) EMQX 到 Kafka 和 TDengine,模擬每臺(tái)設(shè)備間隔一分鐘發(fā)兩條數(shù)據(jù),主要關(guān)注平均響應(yīng)時(shí)間不高于 100 毫秒,吞吐量不低于 1000TPS,響應(yīng)成功率不低于百分之 99.999%。
測(cè)試報(bào)告如下:
到本文截稿日,本方案已經(jīng)在各地區(qū)實(shí)際項(xiàng)目中接入各類大小水廠數(shù)十個(gè),采集點(diǎn)超過 300000 點(diǎn),表計(jì)設(shè)備超過 50000 個(gè)。青島研博打造的統(tǒng)一接入系統(tǒng),為應(yīng)用層實(shí)現(xiàn)了對(duì)水表各類設(shè)備的統(tǒng)一設(shè)備管理、智能配置等平臺(tái)能力。同時(shí),每月為上層大數(shù)據(jù)平臺(tái)提供超過 1TB 的高質(zhì)量實(shí)時(shí)數(shù)據(jù)。
研博水務(wù)物聯(lián)網(wǎng)管理平臺(tái)
青島研博基于自身在數(shù)據(jù)可視化方面多年積累,結(jié)合統(tǒng)一接入平臺(tái)實(shí)時(shí)數(shù)據(jù),實(shí)現(xiàn)了對(duì)水務(wù)系統(tǒng)各個(gè)網(wǎng)點(diǎn)和廠站的實(shí)時(shí)數(shù)據(jù)大屏展示、分區(qū)數(shù)據(jù)自定義展示能力,為水務(wù)運(yùn)營主體的業(yè)務(wù)精細(xì)化管理與快速業(yè)務(wù)決策提供有力支撐。
除了提供產(chǎn)品,青島研博在物聯(lián)網(wǎng)統(tǒng)一接入系統(tǒng)項(xiàng)目實(shí)施過程中,通過對(duì)每個(gè)廠站詳細(xì)調(diào)研以及基于工業(yè)物聯(lián)網(wǎng)技術(shù)架構(gòu)實(shí)現(xiàn)的廠站數(shù)據(jù)實(shí)時(shí)采集架構(gòu)改造,針對(duì)存在的問題編制了廠站建設(shè)改造指導(dǎo)方案,為新廠站及現(xiàn)有廠站自動(dòng)化改造提供建設(shè)規(guī)范,從根本上解決了水廠數(shù)據(jù)無法統(tǒng)一匯聚的問題。
原創(chuàng)文章,作者:EMQ,如若轉(zhuǎn)載,請(qǐng)注明出處:https://www.emqx.com/zh/blog/emq-helps-qingdao-yanbo-build-a-smart-water-platform
免責(zé)聲明:市場(chǎng)有風(fēng)險(xiǎn),選擇需謹(jǐn)慎!此文僅供參考,不作買賣依據(jù)。
本站違法和不良信息舉報(bào) 聯(lián)系郵箱: 5855973@qq.com
關(guān)于我們| 客服中心| 廣告服務(wù)| 建站服務(wù)| 聯(lián)系我們
中國焦點(diǎn)日?qǐng)?bào)網(wǎng) 版權(quán)所有 滬ICP備2022005074號(hào)-20,未經(jīng)授權(quán),請(qǐng)勿轉(zhuǎn)載或建立鏡像,違者依法必究。