发布时间:2019-12-26所属分类:农业论文浏览:1次
摘 要: 摘要:水资源数据开发利用是智慧水利建设的重要环节。分析了我国智慧水利发展的现状,给出水利数据资源建设中数据管理信息系统的架构,阐述了采用系统工程综合集成到提升的思想深化水资源数据融合的方法。分析了水资源数据融合在数据标准化、数据完整性、真
摘要:水资源数据开发利用是智慧水利建设的重要环节。分析了我国智慧水利发展的现状,给出水利数据资源建设中数据管理信息系统的架构,阐述了采用系统工程综合集成到提升的思想深化水资源数据融合的方法。分析了水资源数据融合在数据标准化、数据完整性、真伪核查、数据功效利用等方面面临的挑战,提出规范行业数据标准,通过优化数据采样传输、加强数据相关性分析和数据融合提高数据质量等对策,指出了水利数据分析挖掘与利用的方向。
关键词:智慧城市;智慧水利;数据融合;大数据;综合集成
随着新一代信息技术的发展,我国政府社会管理和公共服务领域走向数字化、网络化、智慧化。建设智慧城市、实现城市建设管理升级是当今信息社会的发展要务。智慧水利对提升我国水资源管理利用、促进水资源可持续发展有重要意义。
近年,我国不断加强水利信息化建设,在保障水安全、严格水资源管理等方面出台了一系列政策,包括《全国水利信息化“十三五”规划》《水利部信息化建设与管理办法》《全国水利改革发展“十三五”规划》《关于全面推行河长制的意见》等,提出提升水安全保障能力,结合先进的信息技术强化水利监管,加强水利现代化建设,实现智慧水利。
智慧水利的实现需要借助物联网技术、无线网络、云计算等技术的支持,一般采用数采仪、水质水压表等监测传感设备,经无线网络将采样数据上传云端,为水利防汛抗旱、水务管理等业务提供监测、预警、分析等智慧应用。
一、智慧水利的发展现状
早在2012年江苏省无锡市就建立了“水利部物联网技术应用示范基地”,之后全国各地也相继开展智慧水利项目建设,建立水利门户、“三防”决策、视频监控、水库监管等各方面的信息系统。“智慧水利”项目的建设旨在有效提高水质监测、防汛抗旱以及水资源优化配置的水平,提高水利现代化水平,保障经济社会发展。水利信息化发展到现阶段,我国智慧水利的应用发展仍面临诸多挑战。各类系统分别建设,集成应用的建设能力不足;普遍重视水利信息化硬件设施建设,软件开发和应用效率低;已开发的信息系统之间信息难以共享,形成信息孤岛,数据资源的综合利用不足,造成较大的浪费。在中央层面,水利部门已初步建立了水资源基础数据库、业务数据库、管理数据库、监测数据库、多媒体数据库等各类水利业务数据库,建成取用水户、水功能区、省界断面三大监控体系和中央、流域、省三级信息平台,支撑水资源业务日常运转。然而,在对水资源数据的利用方面面临着数据不完整、真伪难辨、利用率不足等问题,无法满足水资源数据的进一步处理分析和智能化决策的需求。
智慧水利的实现以信息化硬件基础设施为基础,以物联网、云计算、大数据等新一代信息技术为主线,通过智慧感知、建模、分析、集成与处理,最大程度地开发利用我国水利信息数据,向居民、企业、社会提供信息服务,全面提升水利规划水平,增强社会公共服务能力。因此,建设面向智慧水利的水资源数据管理系统是实现智慧水利的基础,是实现水资源数据综合管理到利用提升的有效途径。
二、水资源数据管理系统建设
面向智慧水利的数据资源管理系统建设涉及底层硬件设施、数据资源库以及面向政府、企业、社会公众等多用户的决策支持信息系统。因此,水资源数据管理系统是一个综合系统,其建设包括网络硬件搭建、数据库建立以及数据备份、业务管理需求确定、软件系统开发、网络安全体系建设等诸多方面。其中,网络硬件搭建是水资源数据管理系统的基石,数据库的建立是软件系统进一步开发的基础,业务管理需求是系统建立的目标也是管理系统开发的基础。在智慧水利数据管理信息系统建设中,各要素相互关联、互为条件,系统要素复杂,难以将目标准确量化,需要加强顶层设计,重视数据的融合、流通、共享开放和深化应用。因此,智慧水利建设成败的关键是建设开放共享、互联互通、智能融合的智慧水利数据管理系统。
智慧水利数据管理系统在整体架构上包含感知层、网络层、数据层、应用层,图1给出了面向智慧水利的水资源数据管理系统架构图。其中感知层为信息获取层,通过传感器、监控摄像头、电脑等多媒体终端,遥感卫星、GPS系统等进行数据实时感知,快速获取。网络层通过高速通信网络,即无线网络(蓝牙、3G/4G网)或有线网络,将感知层与互联网或水利专网连接,实现广域互联。数据层是由网络传输得到的元数据通过提取、转化等标准化处理形成的,数据层的数据主要为水利资源数据库,包含基础地理数据库、水文空间数据库、地下水数据库、水利行业基础数据库等,这些数据来自水利部门部署的各类监测点、业务系统及子系统的日常监测和运行数据。由于以上系统时时刻刻都产生数据,各类日常监测数据集成将达到PB级,数据量巨大,因此有必要借助云平台进行数据存储。此外,数据层的数据由不同类的采集终端、不同系统的数据汇聚而来,数据格式不一,因此各类数据标准化并有效融合是关键问题。应用层将实现水利数据信息的集成,实现统一管理平台下各类数据的查询、分析、利用。在架构上包含应用支撑层及其之上的业务应用,共同构成统一的水资源数据管理系统综合门户。应用支撑层方面,包括基础的GIS服务、数据库服务、门户管理、系统管理等功能。在业务应用方面,水资源数据管理系统可由多个子系统构成,如地下水动态调控系统、农业智能节水系统、水资源监测系统、水利建设与管理系统,以及其他水利信息公众服务系统。
综上分析,水利数据资源管理系统是一个复杂的综合系统,水资源数据管理涉及多个部门,实现水资源数据的高效融合,形成面向智慧水利的水资源数据集成体系,可以借鉴系统工程理论分阶段分步完成,实现水资源数据的综合集成到综合提升。构建水资源数据集成体系大致分为四步:①进行水资源数据集成的定性分析。结合领域专家知识,对现阶段水资源数据的特性、种类、分布等定性分析,给出水资源数据管理系统中数据融合的挑战与应对措施。②进一步开展数据的定量分析。针对定性分析结果,研究定量表示方式,开展从定性到定量的水资源数据分析。③对定量处理后的数据进行分析,对存在的问题提出定性解决方案。④再一次进行定量化分析,不断调整,重复执行以上过程,直到获得满足现阶段管理需求的水资源数据集,达到水资源数据阶段性的综合利用与提升,为水利部门提供基于水资源数据的水资源管理和利用。
本文主要结合现阶段智慧水利建设的特点,对智慧水利数据的融合进行定性分析,给出水资源数据管理系统中数据融合的挑战,并提出数据融合的具体对策。
三、水资源数据管理系统数据融合的挑战
建设高效、统一、开放的水资源数据管理系统,实现水资源多源数据融合面临诸多挑战。
1.多源水资源数据标准不统一,缺乏顶层设计,难以集成融合
由于各地发展水平参差不齐,部分地区水利信息化基础设施建设滞后,基础水文等数据难以有效监测。此外,尽管各地市均建设了水资源数据管理系统,但由于系统都是结合各自需求和资源特点设计,各数据平台技术标准不一致,彼此之间难以相互操作,难以在元数据层面进行数据整合,更无法提供更高层面的数据集成融合与服务。因此,需要统筹融合各类水利数据资源,建立统一的国家水利管理信息系统标准规范体系,建立统一的业务规范、数据标准、管理规范和安全规范。此外,有必要开展面向水利数据组织管理的数据模型分析,将多源数据特征抽象表示,对底层数据进行汇聚、组织关联和扩展。
2.水资源数据获取经过较多环节,完整性难以保证
在水资源监测数据获取的多个环节中,诸多数据需要通过加工、分析、处理得到。例如,取用水量数据涉及供水、用水、耗水、排水等方面,由于监控点布置不完备,无法获得全面的取用水数据。研究表明,现有的水资源数据监控仅能获得部分实际取用水数据,其余数据均需要根据行业用水定额分析推算得到。因此,水资源信息平台的数据若不经处理,难以支撑水资源管理制度的考核。
3.水资源数据真实性难以直观判断,无法直接用于水资源管理现状分析
随着经济发展,用水量显著增加,我国取水用户种类多、数量大,数据监测难度较大。而水利信息管理分散在不同部门,如水利部门、统计部门、城乡建设部门、环保部门等均各自独立开展水资源数据统计,用水量、排水量等水利数据统计口径、方法、范围均不同,数据差异也较大,水资源数据管理系统中,缺乏核查各类水利数据真伪的有效方法,水资源数据的真实性难辨。
4.水资源数据的功效发挥不足,利用率亟待提高
多元、异构的水资源数据难免存在数据冗余、数据之间关联被割裂、利用效率受限等情况,且各类数据之间的关联也并非直观可见。因此,有待深入挖掘数据价值,为基于水利数据的管理决策提供数据支撑。亟须采用数据处理、大数据挖掘等方面的技术,对水利数据关联分析,挖掘找出数据规律、数据之间的关联,进行水利数据的有效集成,提升水资源数据管理信息系统中数据的决策支撑作用,提高水资源数据的管理功能,为智慧水利建设提供决策支持。
四、水资源数据管理系统数据融合的对策
针对水利数据标准不统一,数据完备性、真伪性、功效性等水资源数据融合的挑战,应结合专家知识和其他领域信息化中数据库建设的经验给出水资源数据融合的对策。
应加强国家层面的水利信息化顶层设计。形成跨部门、跨层级的水利信息化小组,打破条块分割,统筹水资源管理,加强部门功能性分工,协同推进国家级的水利数据管理平台建设和水利数据资源共享。在水资源数据管理系统建设中首先要对建设的难点进行分解,逐个突破。在突破基础数据处理之后,再对数据进行综合分析,实现综合集成到综合提升。
针对数据标准不统一、缺乏顶层设计,要完善国家水利行业标准体系,建立数据标准、管理规范和安全规范。此外,对水利数据进行抽象化处理,建立数据模型,从分散的水利数据中抽取出数据实体及其关联的属性,归纳各实体之间的关联关系。具体方法上可以借助语义网技术,建立水利数据本体,为数据的有效汇聚、组织关联、扩展提供支撑。
针对水资源数据完整性不足问题,可以从提高水资源数据传输效率和挖掘水资源数据间相关性两方面提高水资源数据的价值。可以探索高效的数据采样和数据恢复技术,应用于水资源数据融合的数据感知层传输和数据存储环节。例如,一比特数据采样具有低复杂度、低成本的特点,可以实现海量数据的实时传输。因此,可以探索在系统数据采集环节采用一比特采样理论进行取水口、入河排污口等视频监测数据的采样,从而提高数据传输效率。次奈奎斯特采样结合稀疏信息重构技术可以通过采样较少数据实现大数据的压缩传输,并重构原始信号数据,将其应用于水文监测站的数据采样,可有效提高水文监测站监测频率,解决数据稀疏的问题。低秩矩阵恢复技术能够有效去除数据传输的噪声,将相关技术应用到水资源数据处理与恢复,可以去除水资源数据监测环节受自然影响或人为干预产生的数据噪声影响。此外,水资源数据具有多层次、跨行业、多源获取的特点,数据属性多元,如需水量、用水量、排水量、需水类型等,多个属性之间都有较强的相关性,但往往水资源数据监测中存在部分数据缺失。张量分解技术可以挖掘数据内在的张量结构,通过特征分解、关联性分析、数据填充等方法恢复完整的数据集。采用张量分解技术分析、扩展水资源数据,从而提高水资源数据完备性。
在水资源数据真伪性判断方面,可以引入数据挖掘与融合分析技术。例如,水资源数据监测中不同时段、地点测到的同一指标,可以采用协方差交叉算法进行数据融合与判断;对异常数据可采用支持向量机、D-S证据论等方法进行水资源数据融合与判断;对数据监测中不同部门的多层次监测数据,可以采用矩阵分解技术进行异构数据融合。此外,需要结合水资源专家的经验知识进行判断。通过将信息技术、数据挖掘与专家知识结合分析决策,挖掘水资源数据的内在规律,甄别数据的真实性,提高数据准确性。
针对水资源数据功效提升,应结合大数据时代下最严格水资源管理“三条红线”的要求进行数据挖掘利用,最终形成面向决策支撑的水资源知识数据集。由水资源元数据到支持智能决策分析知识信息的转化,需对水资源管理中关键数据指标进行综合分析,具体实现中需要借助机器学习、大数据挖掘的方法实现,根据我国水资源管理的迫切性和现实需求,可以选择用水总量进行分析,通过综合评估、趋势分析、风险分析等获取用水总量及趋势。例如,采用基于混沌神经元网络对省市用水总量进行评估。对用水总量趋势的预测也是必要的,用水总量趋势变化的准确估计可为水资源监测预警提供重要依据。根据用水变化历史数据,用水量不断增长,且呈现一定的周期性,因此可采用Markov转移模型进行趋势预测。通过用水总量的历史状态和当前状态推测未来发展状态,并采用收敛算法对预测结果进行优化。
推荐阅读:水利类中文核心期刊有哪些
从事水利工作研究的人员,无论是工作需要,还是评职称都要求发表与水利相关的论文。至于发表在什么期刊上,许多人并不是很清楚。本文小编给大家介绍几本水利类影响比较大,含金量比较高的核心期刊。大家在发表论文时可以作为参考,有投稿需求的作者,可以咨询在线编辑。
要实现水资源数据的深度融合,应在以上对水资源数据融合定性分析的基础上,研究定量分析方法。之后对分析结果再次进行判定,发现问题,提出新的解决方案,进行新的定量分析,循环往复从而得到满意的水资源数据。对海量水资源数据的定量分析,应开展智慧水资源数据融合与决策支持原型系统开发。系统中包含用于验证数据处理完备性的数据处理和关联分析模块、用于验证数据真伪性的数据挖掘和数据融合模块以及用于验证数据功效性的决策支持模块。水资源数据融合与决策支持原型系统应采用先进的技术,支持数据并行化处理,并包含海量数据智能化处理的人工智能技术开发包。
五、结语
水资源数据融合是实现智慧水利水资源信息管理系统应用集成的关键,也是实现水利部门用数据说话、严格水资源管理考核、辅助决策支撑的关键。实现水资源数据的深度融合,应结合水资源管理考核的要求进行定量分析,借助大数据挖掘技术对关键数据指标进行分析、挖掘、预测,并开发验证平台进行大量分析验证,最终得出有效解决方案,为我国智慧水利建设以及智慧城市建设水安全保障提出解决方案。
SCISSCIAHCI