个人学习资料整理

各个框架简介以及详情


netty整理

<h1>netty简介</h1> <pre><code>1) Netty 是由 JBOSS 提供的一个 Java 开源框架, 现为 Github 上的独立项目。 2) Netty 是一个异步的、 基于事件驱动的网络应用框架, 用以快速开发高性能、 高可靠性的网络 IO 程序。 3) Netty 主要针对在 TCP 协议下, 面向 Clients 端的高并发应用, 或者 Peer-to-Peer 场景下的大量数据持续传输的应用。 4) Netty 本质是一个 NIO 框架, 适用于服务器通讯相关的多种应用场景。 5) 要透彻理解 Netty , 需要先学习 NIO , 这样我们才能阅读 Netty 的源码。</code></pre> <h1>netty 的应用场景</h1> <pre><code>1 互联网行业: 在分布式系统中, 各个节点之间需要远程服务调用,高性能的 RPC 框架必不可少,Netty 作为异步高性能的通信框架,往往作为基础通信组件被使用。 (1)典型的应用有: Dubbo的RPC框架使用Dubbo协议进行节点间通信,Dubbo协议默认使用Netty作为基础通信组件,实现各进程节点之间的内部通信 2 游戏行业: (1) Netty 作为高性能的基础通信组件, 提供了 TCP/UDP 和 HTTP 协议栈, 方便定制和开发私有协议栈, 账号登录服务器 (2) 地图服务器之间可以方便的通过 Netty 进行高性能的通信 3大数据领域: (1) 经典的 Hadoop 的高性能通信和序列化组件 Avro 的 RPC 框架, 默认采用 Netty 进行跨界点通信 (2) 它的 Netty Service 基于 Netty 框架二次封装实现。</code></pre> <h1>netty 的线程模型</h1> <pre><code>netty的线程模型是基于Reactor模型的。首先我们需要先了解IO模型以及reactor和proactor模型</code></pre> <p><strong> IO模型:</strong></p> <ul> <li>BIO:同步阻塞IO模型;</li> <li>NIO:基于IO多路复用技术的“非阻塞同步”IO模型。简单来说,内核将可读可写事件通知应用,由应用主动发起读写操作;</li> <li>AIO:非阻塞异步IO模型。简单来说,内核将读完成事件通知应用,读操作由内核完成,应用只需操作数据即可;应用做异步写操作时立即返回,内核会进行写操作排队并执行写操作。</li> </ul> <p><strong>reactor和proactor模型:</strong></p> <ul> <li>reactor:基于NIO技术,可读可写时通知应用;</li> <li>proactor:基于AIO技术,读完成时通知应用,写操作应用通知内核。</li> </ul> <h2>netty 的单线程模型</h2> <pre><code>Reactor 单线程模型,是指所有的 I/O 操作都在同一个 NIO 线程上面完成的,此时NIO线程职责包括:接收新建连接请求、读写操作等。 在一些小容量应用场景下,可以使用单线程模型。但是对于高负载、大并发的应用场景却不合适,</code></pre> <p><strong>主要原因如下:</strong></p> <ul> <li>一个NIO线程同时处理成百上千的连接,性能上无法支撑,即便NIO线程的CPU负荷达到100%,也无法满足海量消息的编码、解码、读取和发送。</li> <li>当NIO线程负载过重之后,处理速度将变慢,这会导致大量客户端连接超时,超时之后往往会进行重发,这更加重了NIO线程的负载,最终会导致大量消息积压和处理超时,成为系统的性能瓶颈。</li> <li>可靠性问题:一旦NIO线程意外跑飞,或者进入死循环,会导致整个系统通信模块不可用,不能接收和处理外部消息,造成节点故障。</li> </ul> <h2>netty 的多线程模型</h2> <blockquote> <p><strong>Rector 多线程模型与单线程模型最大的区别就是有一组 NIO 线程来处理连接读写操作,一个NIO线程处理Accept。一个NIO线程可以处理多个连接事件,一个连接的事件只能属于一个NIO线程。 在绝大多数场景下,Reactor 多线程模型可以满足性能需求。但是,在个别特殊场景中,一个 NIO 线程负责监听和处理所有的客户端连接可能会存在性能问题。例如并发百万客户端连接,或者服务端需要对客户端握手进行安全认证,但是认证本身非常损耗性能。在这类场景下,单独一个 Acceptor 线程可能会存在性能不足的问题,为了解决性能问题,产生了第三种 Reactor 线程模型——主从Reactor 多线程模型。</strong></p> </blockquote> <h2>netty 的主从多线程模型</h2> <blockquote> <p><strong> 主从 Reactor 线程模型的特点是:服务端用于接收客户端连接的不再是一个单独的 NIO 线程,而是一个独立的 NIO 线程池。Acceptor 接收到客户端 TCP连接请求并处理完成后(可能包含接入认证等),将新创建的 SocketChannel注 册 到 I/O 线 程 池(sub reactor 线 程 池)的某个I/O线程上, 由它负责SocketChannel 的读写和编解码工作。Acceptor 线程池仅仅用于客户端的登录、握手和安全认证,一旦链路建立成功,就将链路注册到后端 subReactor 线程池的 I/O 线程上,由 I/O 线程负责后续的 I/O 操作。</strong></p> </blockquote> <h1>netty 的配置</h1> <pre><code>netty线程模型思考netty 的线程模型并不是一成不变的,它实际取决于用户的启动参数配置。 通过设置不同的启动参数,Netty 可以同时支持 Reactor 单线程模型、多线程模型。</code></pre> <p><strong>为了尽可能地提升性能,Netty 在很多地方进行了无锁化的设计,例如在 I/O 线程内部进行串行操作,避免多线程竞争导致的性能下降问题。表面上看,串行化设计似乎 CPU 利用率不高,并发程度不够。但是,通过调整 NIO 线程池的线程参数,可以同时启动多个串行化的线程并行运行,这种局部无锁化的串行线程设计相比一个队列多个工作线程的模型性能更优。</strong></p> <h1>目前记录到这,其余实战后补充</h1>

页面列表

ITEM_HTML