数据中台


BUFR采集入库流程

<h2>数据源</h2> <ul> <li> <h5>来源</h5> <p>CMACast</p> </li> <li> <h5>获取方式</h5> <p>IP:117.85.62.55 目录:/public/surfbintotxt</p> </li> </ul> <h2>入库流程</h2> <ul> <li> <h5>小时数据入库流程</h5> <ol> <li>定时任务响应(每5min执行1次);</li> <li>遍历数据目录下所有文件,逐个解析;</li> <li>解析成功:数据写入rds的surf_chn_mul_hor业务表中,数据写入mysql的surf_chn_mul_hor备份表中,从目录删除原始文件;</li> <li>解析失败:原始文件存入/home/swfs/bdp_monitor_test/data/err_data/bufrrerhour异常目录中;</li> <li>结束。</li> </ol> </li> <li> <h5>分钟数据入库流程</h5> <ol> <li>定时任务响应(每5min执行1次);</li> <li>遍历数据目录下所有文件,逐个解析;</li> <li>解析成功:数据写入rds的surf_chn_mul_min业务表中,数据写入mysql的surf_chn_mul_min备份表中,从目录删除原始文件;</li> <li>解析失败:原始文件存入/home/swfs/bdp_monitor_test/data/err_data/buffermin异常目录中;</li> <li>结束。</li> </ol> </li> </ul> <hr /> <ul> <li>撰写人:李颖杰</li> </ul>

页面列表

ITEM_HTML