邬江兴院士:上海大数据试验场可应对“大数据挑战”
发布时间:2019-05-20 报送来源:上观新闻

https://images.shobserver.com/news/690_390/2019/5/19/447922b0-5c1f-49da-b938-a10889fb9026.jpg

无人驾驶、智慧城市大脑……要实现这些高科技应用场景,都需要解决大数据问题。本周末举行的2019数据处理技术与产业峰会上,中国工程院院士、国家数字交换系统工程技术研究中心主任邬江兴表示,随着数字化设备大规模、持续性使用,现有技术如不能集中分析和处理数据,就会出现大数据问题。为此,他认为要建设面向数据科学研究、为大数据技术开发而设计的大数据试验场,研究新算法和新算力,从未实现“网强算强”的未来计算。

数据处理技术与产业峰会是我国数据处理领域规格高、覆盖面全的专业性大会。会上,由国家工业信息安全发展研究中心牵头,联合中国电子技术标准化研究院、国家信息中心数字中国研究院等科研机构及企业共同发起倡议,成立“数据处理技术与产业推进组”,旨在打造数据存储、数据处理等领域技术研发和应用推进的服务平台,聘任国家工业安全发展研究中心副主任李新社等6位专家组成推进组专家委员会。会上还举行了签约仪式,上海市嘉定区政府、国家信息中心数字中国研究院、柏睿数据科技(北京)有限公司签署三方战略合作协议,将共同打造智慧工业互联网园区。

在主旨报告《未来计算与大数据试验场》中,邬江兴院士以黑洞照片问世为例,解释了当前数据计算面临的挑战:一是数据网络传输问题,无法实时传输这么大的数据量到数据处理中心;二是数据同步计算问题,数据处理中心“冲洗”这张照片需要花两年时间。“因为数据量庞大得不可能靠网络传递,科研团队当时使用硬盘来记录每台望远镜的原始观测数据,再把硬盘寄到数据处理中心。整个过程中,涉及数据量之多、处理难度之大是前所未有的。”

https://images.shobserver.com/img/2019/5/19/2fda70e4c4db490fbc1b3d0122e7c78e.jpg

要实现万物互联的城市计算体系,形成智慧城市大脑,也需要数据传输和处理能力的提升。以一座中等城市的摄像头信息处理为例,一个摄像头一天采集的数据量大约是40千兆(GB),如果这座城市装有10000个摄像头,一天的数据量约为410太字节(TB)。依照现有的大数据处理能力,需要2400台计算服务器,才有可能在期望时间内对所有数据进行有效分析。对于无人驾驶场景而言,现有的数据处理能力只能够支持控制在60公里时速以下的汽车,当车速达到每小时60公里以上,计算能力就无法支撑。

邬江兴指出,“大数据挑战”不仅是要面对“数据大”的挑战,还要面对多元化数据的挑战。为降低应用技术门槛,创建大规模实验环境势在必行。据介绍,上海正在建设大数据试验场,这在国际上尚无先例。建设路线是以高校为起点,逐步建成地区试验场及国家大数据科学基础设施。目前,复旦大学已建成先导技术系统,上海大数据试验场功能型平台即将启动建设。国家大数据科学基础设施项目则处于酝酿阶段。