海量主运输系统接口文档


数据库文档

<h2>数据库实时同步</h2> <p>Mysql已经通过canal实现了与hbase的同步</p> <blockquote> <p>虽然只有一个mysql,后面可以再加 没有问题</p> </blockquote> <p><img src="https://www.showdoc.com.cn/server/api/attachment/visitfile/sign/9f704ae70eed43d43febb93a72ddbd32" alt="" /></p> <h2>服务器信息和Mysql账号密码</h2> <p>106.12.123.152 root baiduyun@142536</p> <p>数据库:hailiang</p> <p>Mysql版本5.7</p> <p>124.71.174.198:3306 用户名:root 密码:123456</p> <h2>进入hbase命令行</h2> <p>先进入服务器</p> <pre><code class="language-shell">docker exec -it hbase1 hbase shell</code></pre> <h2>hbase表结构</h2> <p>mysql表结构如下,5个表</p> <p><img src="https://www.showdoc.com.cn/server/api/attachment/visitfile/sign/6b0441343ee9f9823e93a73e4a16817d" alt="" /></p> <p>hbase也是5个表</p> <p><img src="https://www.showdoc.com.cn/server/api/attachment/visitfile/sign/f6160bf6d37abcf05c609f58794a2463" alt="" /></p> <p>通过canal将mysql同步到hbase,两个数据库中各个表的字段名字和含义均一致。这里我没找到直观的方法展示,只能通过scan命令看一下,可以用java自行测试验证</p> <p><img src="https://www.showdoc.com.cn/server/api/attachment/visitfile/sign/8f57cec2d118bd1630a55c22082ff146" alt="" /></p> <h2>zookeeper节点</h2> <h3>远程调试</h3> <p>zookeeper原来的hadoop1hadoop2hadoop3改成172.17.0.2即可</p> <p>因为只有一个节点所以理论上实际上可以实现在大家的本机运行代码,写这个ip就行106.12.123.152。不过我也不清楚可以尝试一下</p> <h2>编码问题</h2> <p>注意,从上图里能看到奇怪的编码,是中文编码问题,这个需要后端去转码 目前没有找到直接的改变hbase编码的方法。</p> <blockquote> <p>Mysql中是utf8没有问题</p> </blockquote> <h2>数据测试</h2> <p>大家之前都写过代码实现批量向mysql插入数据吧 这次用上了</p>

页面列表

ITEM_HTML