营业厅选址分析解决方案

需求与特征


随着近年电网公司大规模的信息化建设以及下一代智能化电网的全面建设,电网公司数据量急剧增长,“数据量大、数据类型多、实时性强”的大数据“3V”特征日益明显。当前,电网公司已经积累了大量的包括市场营销、资产管理、物资管理、安全生产等领域在内的企业经营管理数据和电网运行数据,总数据量已经达到PB,并包含了大量的视频、音频、图像等非结构化数据;同时,数据仍以每年30%的复合增长率高速膨胀。但公司积累的大量宝贵数据资源并未得到有效利用,造成了巨大的数据资源浪费,目前电网公司通过自建大数据中心或引入第三方大数据平台,提升公司对大数据资源的综合管理和应用能力。

解决方案


彩讯大数据平台总体技术架构

Richdata 全称大数据智能分析平台,是一个跟具体行业业务无关的、中间性的大数据分析挖掘平台,通过这个产品所具备的高性能实时和离线计算能力、丰富的统计、分析、挖掘模型,为行业全流程、全周期的生产运营活动提供商业智能支持。Richdata与行业具体的解决方案结合后,延伸出行业化的数据产品,从而形成大数据应用产品族。

 

营业厅选址应用介绍

营业厅选址方案是以彩讯大数据平台提供的对海量离线历史数据进行分布式存储与计算能力为支撑,与电网行业具体的应用场景相结合衍生出来的行业化解决方案,能快速产出满足客户需求的整体最优选址结果。

整体技术架构

计算过程及步骤

 

数据流图

方案价值


1)实现海量历史多源数据的批量采集和存储;

2)实现对海量离线数据的分布式并行计算;

3)快速迭代模型的实现。

典型案例


某省电网公司要求实现供电范围内营业厅数量的优化,将其中10%的营业厅去掉,基本要求是在城区任意地点的半径4公里内、在农村任意地点的半径10公里内的范围一定有供电营业厅。从业务系统中获取的变压器信息记录共有48万条(也即共有48万台专变加公变),每个片区两两变压器共有8.8亿条数据(即两两变压器之间的关系之和),每条数据包含变压器的两个编码、距离、位置信息、所属地市局等字段,共有100byte,共有650G的数据。整个地市的变压器记录参与计算所要花费的时间为3~4天。

为解决营业厅选址计算速度慢的瓶颈,引入大数据平台,部署在15台X86服务器(CPU E5 2630 V2,硬盘900G*8,内存192G)上,通过基于HDFS的分布存储、MapReduce的分布式计算、分析技术,提高计算模型的效率。以往计算耗时需要3-4天,大数据计算时间为257秒,约4分钟,效率提升了近60倍。