港航大数据实验室(以下简写为“实验室”),是为航运物流数据资产共享集聚、推动大数据应用场景落地、实现航运数字化转型赋能、兑现航运数据发展红利的功能性平台,是发掘航运物流数据中蕴含的价值,并帮助政府和港航、物流、贸易企业解决数字化经营业务需求的开放性实验室,致力于打造贯穿航运物流数据采集、流通、协同、共享和应用全链条大数据创新生态。
实验室是上海市交通委员会制定的《2015年上海航运中心建设重点任务》之一,任务明确指出要“搭建适合港航领域大数据存储和分析的实验环境,建立港航大数据实验室”。
2015年,完成了一期建设,搭建起了基于HDFS和Cassandra数据库的船舶轨迹数据分布式存储环境,并将全球过去3年的船舶轨迹大约300多亿条数据存入其中,提供了多种数据查询接口,并进行了一些基于AIS大数据分析的研究。这些工作主要包括:1、实现长三角水域船舶气体排放分布的计算,并用热力图方式显示排放分布情况和变化情况;2、计算指定码头的港口作业效率,包括平均等待时间、平均靠泊时间、吞吐量估算等;3、通过船舶轨迹的聚类分析,拟合出航道分布情况,并实现干线和支线的分类算法等。
2016年,实验室二期建设旨在研究大数据分析方面的关键技术,尽快发挥实验室对航运中心建设的积极作用。工作内容为建立基于Spark+Cassandra技术的AIS大数据分布式分析系统,主要用途包括:船舶行为自动识别、船舶轨迹预测、航线运力统计、港口服务能力评估、全球港口信息库建设、海事安全数据挖掘系统开发等。
实验室的建设目标是:1)为我国港航领域大数据问题研究提供技术平台;2)为上海国际航运中心建设提供大数据服务;3)为广大港航企业提供大数据的咨询、培训、战略规划、技术方案、技术研发、数据分析、数据可视化等增值数据服务。由于建设成效显著被列入“上海航运中心建设十三五规划”的信息化建设目标之中。
实验室搭建了适合港航领域大数据存储和分析的实验环境、研究并掌握了国际领先的港航大数据分析关键技术和应用方案,在航运物流大数据领域已有扎实基础和较强行业影响力。在大数据应用方面走在了全球前列。其中,4D船舶轨迹压缩算法、船舶行为自送识别算法、船舶轨迹精确预测算法等核心技术已达到世界领先水平。
一方面,实验室积累了船舶轨迹数据逾1100亿条,宏观经济、贸易、航运统计数据逾400万条,全球船期、船舶档案、码头地理数据逾20万组,申请相关发明专利及著作权逾15项,基于实验室成果出版航运大数据专著3部。在时空行为特征挖掘、轨迹压缩算法、轨迹聚类算法、运价预测模型、视频识别等方面拥有自有核心技术,部分已达国际领先水平。如,提前7天平均误差控制在4小时之内的班轮ETA预测算法,被应用于中外运运易通平台和华为全球供应链管理。
分 类 | 数据源名称 | 数量/存储量 | 时间跨度 | 空间跨度 |
船舶轨迹数据 | 全球集装箱船舶轨迹数据 | 48亿条 | 2012-至今 | 全球 |
全球干散货船舶轨迹数据 | 236亿条 | 2012-至今 | 全球 | |
全球油轮轨迹数据 | 39亿条 | 2012-至今 | 全球 | |
全球其它货轮轨迹数据 | 150亿条 | 2012-至今 | 全球 | |
全球其它 轨迹数据 | 460亿条 | 2012-至今 | 全球 | |
港航统计数据 | 全国港口分货种吞吐量统计数据 | 250万条 | 2010-至今 | 全国 |
口岸贸易统计数据 | 20万条 | 2014-2016 | 全国 | |
其他港航统计数据 | 110万条 | 1970-至今 | 全国 | |
港口基础数据 | 全球港口数据 | 9800条 | 截至目前 | 全球 |
全球码头数据 | 20000条 | 截至目前 | 全球 | |
全球船舶档案数据 | 12万条 | 1900-2017 | 全球 |
分类 | 掌握的数据 |
港口码头数据 | 全球港口吞吐量排名、港口货物 吐量数据、港口集装箱吞吐量数据、港口货物库存量数据、船舶靠泊数据、码头运营商数据、港口基础数据等 |
航运市场数据 | 航运运价指数数据、航次租金数据、航次运价数据、航运市场海运量数据、船舶运力、新船价格、二手船价格、订单量数据等 |
航运服务数据 | 航运服务基础数据、船舶注册数据、海事法律数据、航运金融数据、船舶管理数据、邮轮产业数据、航运人才数据、口岸检查数据等 |
经济指标数据 | 宏观经济数据、煤炭产业、电力产业、铁矿石产业、粮食产业、燃油价格、石油化工 业、汽车产业、房地产业、冶金产业、农林牧渔、进出口贸易额、 易量数据等 |
景气指数数据 | 中国航运景气指数、中国航运信心指数、中国航运景气动向指数、中国航运景气预警指数等 |
另一方面,实验室大数据技术已被广泛应用于政府的航运智慧治理和企业的智慧经营场景之中(涵盖主要龙头企业),并得到了行业的充分认可,形成了广泛的影响。面向港口,为天津港集团、浙江海港集团、招商港口等完成了大数据应用思路和场景设计等;面向航运,为中外运股份、招商轮船、中远海散货、中国船级社、上海船舶设计院、运去哪等完成了大数据分析算法和分析工具研发等工作;面向政府,为部水运局完成了岸电精准推广分析,为海南自贸港完成了国际物流枢纽数字化方案,为舟山海事服务基地完成保税油供大数据分析和经济贡献度分析,为平潭交建局完成了国际海事补给大数据分析等。
实验室联合研究中心各部门共同研究并发布大数据分析产品《沿海部分集装箱港口服务评价指数》《基于大数据的全球集装箱热门航线、船型分析》《基于大数据的内贸散货船东运营效率排名》《基于AIS系统全球海岬型船舶动态监测分析》《基于船舶AIS大数据的全球20个主要集装箱港口综合服务效率评价》《基于大数据的内贸集装箱海运公司营运效率排名》《基于AIS全球主要干散货船队的动态监测分析》和《基于大数据的全球集装箱船舶运营绩效分析与航线优化研究》等大数据分析成果。获得多个业界奖项:南大中国智库CTTI2017精品成果奖(报告《港航大数据实验室经济运行分析研究报告》入选“2017中国智库治理暨思想理论传播高峰论坛”的“CTTI来源智库”8项精品成果之一,被刊登在光明日报上),2017 年中国(小谷围)“互联网+交通运输”创新创业大赛一等奖、2018年中国(小谷围)“互联网+交通运输”创新创业大赛三等奖、2020年和2021年蝉联“智慧航运”数据创新应用大赛“过洋牵星”奖(中国交通通信信息中心、中国航海学会组织)。
2023年,实验室积极协调共建单位进行大数据合作研发,实验室与洋山港海事局联合研发的“洋山港国际航行集装箱船舶进出港安全准点指数”正式上线并在北外滩论坛发布,实验室联合招商轮船研发的“干散货业务大数据智慧经营平台研发与应用”荣获中国航海学会科学技术三等奖,实验室联合中交大数据(上海)公司研发的“港航路一体化数据协同服务平台”荣获第二十九届智能交通世界大会创新大赛奖,实验室与中远海运科技合作推进船视宝大数据服务平台研发陆续推出全球港口拥堵、海运关键节点通行监控、全球船舶加油监控、船舶碳排放等应用。中国航运数据库入库数据量突破460万条,并启动了数据库网站的升级改版工作。与中国船东协会合作申请的团体标准《航运大数据船舶第1部分:数据分类与代码》和《航运大数据船舶第2部分:数据安全合规指南》完成了立项公示,并起动了标准编制撰写工作,团体标准《船舶油水计量系统性能测试方法》完成立项。未来,实验室将进一步推动港航专业大模型技术研发,专业语料库建设。
2019年10月,全国政协副主席、交通运输部党组书记杨传堂专程到港航大数据实验室机房所在地调研,参观了港航大数据实验室的研究成果,杨传堂书记对其研究成果给予充分肯定。
时任交通运输部副部长翁孟勇视察
交通运输部水运局局长李天碧视察
中国外运股份有限公司与上海海事大学共建上海国际航运研究中心“航运物流大数据实验室”揭牌仪式