博客文章¶
C++的“Base-from-Member”技法解决了什么问题？
C++ has indeed become too “expert friendly” – Bjarne Stroustrup
Bjarne Stroustrup 的说得很对，因为专家们对 C++语言中的惯用法非常熟悉。随着程序员理解的惯用法的增加，该语言对他们来说变得更加友好。 这篇文章介绍的“Base-from-Member”就是 c++中的一种惯用法（idioms）。通过掌握现代 C++ 惯用法，提升这方面的知识，C++对我们来说就更加友好。
“Base-from-Member”技法的目的
“Base-from-Member”技法的目的是，解决 C++在继承中，如何初始化一个依赖派生类（子类）成员变量的基类。
从Deepseek开源库3FS中学习fuse的使用-如何开发一个文件系统（一）
背景介绍
Deepseek开源了一系列AI infra的相关的项目，其中包括了deepseek-ai/3FS。
A high-performance distributed file system designed to address the challenges of AI training and inference workloads.
文件系统是任何操作系统的支柱，负责管理数据的存储和检索方式。传统上，开发文件系统是一项复杂而艰巨的任务，需要对内核编程有深入的了解。然而，有了 FUSE（用户空间文件系统），这项任务变得更加容易和通用。
LLVM入门-实现一个计算器
如何编写一个LLVM Pass
LLVM介绍
LLVM，全称为低级虚拟机（Low-Level Virtual Machine），是一组模块化和可重用的编译器及工具链技术。由于其灵活的架构，LLVM在多个领域具有广泛的应用。它能够生成机器本地代码，因此被用作主要编程语言（如Rust和Swift）的后端。此外，LLVM还被用于即时编译（JIT编译）以及静态分析、动态分析、着色器编译等多种任务。
c++如何使用Mix-in模式灵活可扩展的组合功能
Mix-in 是什么？
在讨论 mix-in 是什么之前，我们先看它试图解决什么问题？
假设你在开发一款程序的过程中，有一堆想法或概念要建模。它们可能在某种程度上相关，但在很大程度上是正交的——这意味着它们可以独立存在。 你有以下方式选择：
DeepSeek-R1和FP8混合精度训练以及FP8量化实现
DeepSeek-R1 和 FP8 混合精度训练(译)
(本小节译自deepseek-r1-and-fp8-mixed-precision-training)
深度探索（DeepSeek）发布了其推理模型深度探索-R1（DeepSeek-R1），震惊了世界。与 OpenAI 的 o1 和Google Gemini的Flash Thinking类似，R1 模型旨在通过在响应提示之前生成一条“思维链”来提高回复质量。R1 引起的兴奋源于它在包括数学、编码以及英语和中文语言理解等几个行业标准基准测试中与 o1 达到同等水平，同时它也是开源的，并且可以通过深度探索 API 以极低的成本获得。
DeepSeek如何打破MoE中隐藏的瓶颈? 辅助无损负载均衡策略
这篇文章探讨了 DeepSeek 模型中与专家混合 （MoE） 相关的另一个关键架构突破：辅助无损负载均衡策略。在本文中，我们将深入探讨 DeepSeek 如何解决 MoE 的隐藏瓶颈——负载均衡——同时消除梯度干扰并保留因果关系，为基于专家的模型的效率设定新标准。
背景
首先介绍专家混合 （Mixture-of-Experts，MoE） 的基础知识，解释为什么负载平衡很重要，并回顾以前的工作，包括辅助损失方法（auxiliary loss methods）和专家选择（Expert Choice）。
CUTLASS库中的尾声融合(Epilogue Fusion)和Epilogue Visitor Trees
CUTLASS库中的尾声融合(Epilogue Fusion)和尾声访问树(Epilogue Visitor Trees)
GEMM 在 NVIDIA GPU 上的高性能实现分为两个阶段：mainloop和epilogue。
-
mainloop：负责实际 GEMM 计算的部分
-
epilogue：其中进行了后处理（例如，元素激活、缩放）和数据存储
这篇文章中，我们将研究 CUTLASS 的尾声融合(epilogue fusion)方案。EVT在论文Epilogue Visitor Tree (EVT)中。
DeepSeek-V3_DeepSeekMoE机制是什么？
今天我们一起来阅读一篇文章deepseek-v3-explained-2-deepseekmoe，文章通过巧妙的例子生动讲解了DeepSeekMoE机制的原理。DeepSeekMoE是DeepSeek模型中的另一个关键架构创新。
将解释 Mixture-of-Experts （MoE） 的工作原理，是什么让它在 LLM 中如此受欢迎以及它面临的挑战。我们还将讨论专家专业化与知识共享之间的权衡，以及 DeepSeekMoE 如何设计以取得更好的权衡。为了使这些概念更直观，文章通过餐厅做菜选择厨师的例子，来类比分解它们，通过厨师在厨房中的角色来说明 MoE 中的每个元素。