数据中台


公路交通自动站观测数据采集流程

<h2>数据源</h2> <ul> <li> <h5>来源</h5> <p>CMACast</p> </li> <li> <h5>获取方式</h5> <p>IP:117.85.62.55 目录:/public/ftpsurfdata/OBS_DOM_AWS/DOM/CMA</p> </li> </ul> <h2>入库流程</h2> <ul> <li> <h5>小时数据入库流程</h5> <ol> <li>定时任务响应(每小时执行1次);</li> <li>遍历数据目录下所有文件,逐个解析;</li> <li>解析成功:数据写入rds的业务表(surf_chn_trafw_hor,surf_chn_trafw_pre)中,数据写入mysql的备份表(surf_chn_trafw_hor_yyyyMM,surf_chn_trafw_pre_yyyyMM)中,从目录删除原始文件;</li> <li>解析失败:原始文件存入/obs/surf_trafw_obs/yyyyMM/dd异常目录中;</li> <li>结束。</li> </ol> </li> <li> <h5>分钟数据入库流程</h5> <ol> <li>定时任务响应(每小时执行1次);</li> <li>遍历数据目录下所有文件,逐个解析;</li> <li>解析成功:数据写入rds的业务表(surf_chn_trafw_min,surf_chn_trafw_pre中,数据写入mysql的备份表(surf_chn_trafw_min_yyyyMM,surf_chn_trafw_pre_yyyyMM)中,从目录删除原始文件;</li> <li>解析失败:原始文件存入/obs/surf_trafw_obs/yyyyMM/dd异常目录中;</li> <li>结束。</li> </ol> </li> </ul> <hr /> <ul> <li>撰写人:王雪阳</li> </ul>

页面列表

ITEM_HTML