数据中台


探空站观测数据采集流程

<h2>数据源</h2> <ul> <li> <h5>来源</h5> <p>CMACast</p> </li> <li> <h5>获取方式</h5> <p>IP:117.85.62.55 目录: /public/ftpdata/OBS_DOM_PUB/UPAR/CMA (txt文件) /public/data2 (burf文件)</p> </li> </ul> <h2>入库流程</h2> <ul> <li> <h5>key数据入库流程</h5> <ol> <li>定时任务响应(30分钟执行1次);</li> <li>遍历数据目录下所有文件,逐个解析;</li> <li>解析成功:数据写入rds的业务表(upar_wea_c_mul_min_key)中,数据写入mysql的备份表(upar_wea_c_mul_min_key_yyyyMM)中,从目录删除原始文件;</li> <li>解析失败:原始文件存入/obs/upar_obs/yyyyMM/dd异常目录中;</li> <li>结束。</li> </ol> </li> <li> <h5>value数据入库流程</h5> <ol> <li>定时任务响应(30分钟执行1次);</li> <li>遍历数据目录下所有文件,逐个解析;</li> <li>解析成功:数据写入rds的业务表(upar_wea_c_mul_min)中,数据写入mysql的备份表(upar_wea_c_mul_min_yyyyMM)中,从目录删除原始文件;</li> <li>解析失败:原始文件存入/obs/upar_obs/yyyyMM/dd异常目录中;</li> <li>结束。</li> </ol> </li> </ul> <hr /> <ul> <li>撰写人:王雪阳</li> </ul>

页面列表

ITEM_HTML