计算机考研杂货铺
数据结构
组成原理
操作系统
计算机网络
学习资源
我的课程
明亮模式
夜间模式
护眼模式
学习资源
独家心法
如何问关键问题
如何问关键问题
如何想自己问一个关键问题,解决自己不知道自己哪里不懂的混沌状态
全屏播放
←
/
→
翻页 ·
F
浏览器全屏 ·
S
演讲者备注 ·
?
快捷键
# 如何问一个关键问题 --- ## 常见困惑 同学们常常有以下感受 - 知道自己掌握不透彻,但是不知道自己哪里不懂 - 细节很多,感觉无法将很多细节串联起来 - 在没有明确路径的路径下,不知道自己如何去构建框架 --- ## 为什么会这样 **工程学科的真实现状** - 从最粗糙的版本演化得到 - 无数细节是为了解决具体问题 - 只看到无数细节,会一脸蒙蔽 - 真实的工程学科更复杂 - 缺少明确的学习路径 - 大家只能野蛮生长 > 那么 **如何解决** 这个问题呢? > > 问出一个 **关键问题**:AI 时代的关键能力 --- ## 什么是关键问题 > 关键问题: > > 一旦回答它,就能解释一大片知识的问题。 > > 它背后的信息量,刚好足以打通 [知识图谱](/study_methods/talk/knowledge_graph/) 中的多个节点。 --- ## 为什么会陷入混沌 面对一个陌生领域时,我们脑中可能只有很多零散的信息: > 问题不是知道的信息太少,而是信息之间的关系太少 面对大量可能的解释,我们不知道哪一种才是正确的。 因此 **不确定性高 → 混沌** 一个好的问题在于:**主动消除不确定性**。 > 关键问题 = 高信息增益的问题 --- 假设你完全不懂一个 CPU: - **问题 A**:CPU 为什么有一个叫 MDR 的寄存器? - **问题 B**:CPU 是如何完成一条指令的? 这两个问题哪一个更像是是关键问题? --- 当然是 **问题 B** - 问题 A 只能解释一个局部知识点。 - 问题 B 可以自动展开为: > 取指 → 译码 → 确定操作 → 数据通路 → ALU / 寄存器 / 存储器 →写回 所以 B 的 **信息增益明显更大**。 --- ## 如何构建大框架 可泛化的一个模型:**地图模型** - 识别地图中的 **主干道** - 填充一些 **旁路** > 主干道:基本抽象,类似树中的树干 > > 旁路:具体工程细节,类似树中的枝桠 --- ## 主干道 工程学科的 **核心** 设计,可以通过 **核心问题四问**: - 是为了解决什么问题?目的是什么? - 没有它会怎样? - 输入/输出 是什么? - 中间经过的 通用流程/数据流动路径? > 主干道是基本维持不变的 > > 细节末节的知识是发展中动态生长出来的 --- ## 旁路 - 依托主干道延伸出来 - 大多是为了解决某个特定的小问题 - 暂时没有掌握的话也不影响主干 --- **以 CPU + 指令系统 为例** ``` 指令格式 / ISA ↓ 译码 ↓ 控制器产生控制信号 ↓ ┌─────┴─────┐ ↓ ↓ 数据通路 控制通路 ↓ ↓ 寄存器/ALU/存储器 ↓ 指令执行 ``` --- **以 存储系统 为例**  --- 以 **CSMA/CD** 为例 - 主干道 - 解决共享介质无法同时传输多个信号的问题 - 发送数据期间通过 CS 做 CD - 具体流程 - 旁路 - 限制条件的推导 - 指数退避算法 --- **举一个 AI Infra 的例子** DeepSeek V3/R1 中关于 Attention 的核心优化的 MLA - 主干道: - 目的:在 decode 上尽量少保存 kv cache,数学上还原 MHA 效果 - prefill / decode 使用不同的计算路径 - 旁路: - 很多代码中的抽象名词 - 缺少注释的流程 - partial rope 在 qkv 中的具体处理 - absorb 操作为什么用 bf16 --- 此处只是为了说明(读者可以省略) \\( \begin{aligned} \text{MHA 路径} &= \text{softmax}\left( \frac{QK^{T}}{\sqrt{k}} \right) V \\\\ &= \text{softmax}\left( \frac{c_{q} W_{qb} (c_{KV} W_{kb})^T}{\sqrt{k}} \right) (c_{KV} W_{vb}) \end{aligned} \\) \\( \begin{aligned} \text{MQA 路径} &= \text{softmax}\left( \frac{QK^{T}}{\sqrt{k}} \right) V \\\\ &= \text{softmax}\left( \frac{c_{q} W_{qb} (c_{KV} W_{kb})^T}{\sqrt{k}} \right) c_{KV} W_{vb} \\\\ &= (\text{softmax}\left( \frac{(c_{q} W_{qb} W_{kb}^T) c_{KV}^T}{\sqrt{k}} \right) c_{KV}) W_{vb} \end{aligned} \\) --- ## 我的经验 作为 AI infra 面试官的经验 什么面试者是掌握得比较透彻的 1. 能用抽象原则对多种 实现方案 进行高度概括 2. 也能够深入到简历中项目的细节 --- ## 抽象和具体 - 先建立基本抽象 - 符合基础认知的抽象 - 从大问题开始 - 再补充旁路 - 从大问题出发或展开 - 从不精确的理论螺旋向上 - 主动的构造理论 > 纯被动输入 --- ## 总结 \\( \begin{aligned} &\text{混沌} = \text{高不确定性} \\\\ &\Rightarrow \quad \text{提问} = \text{主动消除不确定性} \\\\ &\Rightarrow \quad \text{关键问题} = \text{高信息增益} \\\\ &\Rightarrow \quad \text{建立主干} \\\\ &\Rightarrow \quad \text{知识节点被连接} \\\\ &\Rightarrow \quad \text{再向旁路展开} \end{aligned} \\)
自动选项验证
回到顶部
固定导航栏
刷新选项
批量检查已选
答题板
反馈
题目收藏
我的课程