上一篇讲了如何通过nvim-oxi实现一个neovim插件nvim_rotate_chars来轮转字符，这一篇通过采用相关技术实现了一个unicode字符表示转换成汉字显示。这些工具在日常开发和工作中都可以用到，自己实现一个也可以学到新东西练练代码手感。
之前在文章unicode编码和utf-8转换不同语言实现的差别？以及locale杂谈中讲到过由于系统的locale设置不正确，遇到unzip解压出来的中文文件名称都变成了unicde的16进制字符表示。当然也介绍了如何使用python、c++以及rust实现转换。在这里我们将实现移植到了neovim插件中，打开文件一键转换。
pin_memory就是在RAM上固定了一块内存，这个内存范围是被锁住的。pin这个单词很形象，很像rust中pin含义，用钉子把钉住，这个内存就不会释放，是安全的意思。GPU在传递数据的时候，就可以用DMA的方式，高效传输数据。否则，普通的cpu_memory，就会swap掉，然后访问的时候缺页中断，这样速度肯定就慢了很多。
根据一个报错信息，引入了一个head_num和tensor_para_size的关系。
今天要介绍的主题是TGI（text-generation-inference）， 是huggingface开源可用于生产环境的LLM大模型的推理部署服务。
由Router和Engine构成，Engine包括了InferServer。Router由Rust实现，InferServer由python端实现。Router相当于一个代理，面向业务会启动一个WebServer，包括对业务请求采用合适的策略进行动态Batch调整，实现大的吞吐和低的延迟。 Engine对各种LLM大语言模型进行支持，启动模型推理服务。 Router和Engine之间通过Protobuf定义消息和格式，通过GRPC方式就可以对推理服务进行访问。
计算机在进行数值计算时，首先需要对数据进行表示，比如F32、F16、F64、int32、int16、int8等等。特别在深度学习中，如果模型的参数是F32类型，那么计算耗时且保存的参数占用内存大。
为了准确率同时保证计算的速度，一般需要把模型转换成F16类型。F16即是通过16个bit（位）表示浮点数类型。
我们一起看一下：
不一定是内存泄露，也可能是内存持续分配，一直上涨，直到最后OOM。