A LITTLE MAP OF MY NOTES
标签索引
Tags & threads
顺着一根线头,找到感兴趣的笔记。
103 个标签,串起 38 篇公开笔记。
103 个标签,都在这里
PyTorch
Stanford CS336 学习记录 08:数值稳定交叉熵、AdamW、余弦调度与完整训练闭环
CMU 15-779
CMU 15-779 学习记录 14:KV 页大小、共享边界与 CPU 实现成本
AI Infra
EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
CS336
Stanford CS336 学习记录 08:数值稳定交叉熵、AdamW、余弦调度与完整训练闭环
Agent
从原位自校正引导(In-situ Autoguidance)到可编辑科研插图生成(AutoFigure-Edit)
Transformer
Stanford CS336 学习记录 06:Pre-Norm Transformer Block 与完整语言模型装配
Attention
Stanford CS336 学习记录 05:RoPE 旋转位置编码与带位置的多头注意力
LLM
多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环
多模态
从原位自校正引导(In-situ Autoguidance)到可编辑科研插图生成(AutoFigure-Edit)
分布式系统
高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理
论文解读
EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
CUDA
CMU 15-779 学习记录 07:矩阵分块、数据复用与树形归约
FastAPI
高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理
GPU
EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
LoRA
大模型后训练偏好对齐实录:Qwen2.5 SFT 多维消融、动态参考 DPO 与对齐税(Alignment Tax)量化分析
Post-training
多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解
后端
高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理
矩阵乘法
CMU 15-779 学习记录 07:矩阵分块、数据复用与树形归约
扩散模型
EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
批量推理
CMU 15-779 学习记录 05:Profiler、算子调用与批量推理
强化学习
多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环
神经网络
CMU 15-779 学习记录 04:多输出线性层、ReLU 与绝对值网络
源码分析
XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)
Docker
高并发 AI 平台后端基础设施实践:FastAPI 异步网关、SQLAlchemy 2.0 Async、PostgreSQL 与 Docker 沙箱编排
DPO
多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环
KV cache
CMU 15-779 学习记录 14:KV 页大小、共享边界与 CPU 实现成本
LLM 推理
高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理
MCP
MiniCode 架构与工具评测深度拆解:开源终端 Agentic Coding 引擎(1k+ Stars)的 ReAct、MCP 与 30 项基准验证
MLX
在 M2 Pro 上完成 Qwen3 两阶段训练:Mid Train、SFT 与可复核评估
Qwen2.5-VL
多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解
ReLU
CMU 15-779 学习记录 04:多输出线性层、ReLU 与绝对值网络
SFT
大模型后训练偏好对齐实录:Qwen2.5 SFT 多维消融、动态参考 DPO 与对齐税(Alignment Tax)量化分析
Softmax
Stanford CS336 学习记录 03:Softmax 的数值稳定与 Attention Mask
边界检查
CMU 15-779 学习记录 06:CUDA 线程索引与边界检查
并发编程
XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)
持续预训练
在 M2 Pro 上完成 Qwen3 两阶段训练:Mid Train、SFT 与可复核评估
工具调用
多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环
归约
CMU 15-779 学习记录 07:矩阵分块、数据复用与树形归约
机器人
Pickplace Lab 项目复盘:抓取成功率之外的时延与失败分析
结构化解码
XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)
具身智能
Pickplace Lab 项目复盘:抓取成功率之外的时延与失败分析
鲁棒性
Pickplace Lab 项目复盘:抓取成功率之外的时延与失败分析
模仿学习
Pickplace Lab 项目复盘:抓取成功率之外的时延与失败分析
模型保存
CMU 15-779 学习记录 03:DataLoader、模型保存与批量推理
上下文工程
多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环
视频生成
EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
数据复用
CMU 15-779 学习记录 07:矩阵分块、数据复用与树形归约
算法优化
Stanford CS336 学习记录 07:Byte-Level BPE 分词器训练、倒排索引加速与流式编码
推理加速
EditCache:视频 Diffusion Transformer (DiT) 局部编辑的跨步特征复用与区域重算加速
推理优化
从 Mac 到单卡 GPU:Qwen2.5-VL 部署、GRPO 与计数 LoRA 实践
系统实验
CMU 15-779 学习记录 14:KV 页大小、共享边界与 CPU 实现成本
线程索引
CMU 15-779 学习记录 06:CUDA 线程索引与边界检查
线性回归
CMU 15-779 学习记录 01:PyTorch 自动求导与线性回归
性能分析
CMU 15-779 学习记录 05:Profiler、算子调用与批量推理
训练闭环
Stanford CS336 学习记录 08:数值稳定交叉熵、AdamW、余弦调度与完整训练闭环
张量形状
Stanford CS336 学习记录 04:多头注意力怎样拆头、计算和合头
知识蒸馏
多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解
自动求导
CMU 15-779 学习记录 01:PyTorch 自动求导与线性回归
ACL
从原位自校正引导(In-situ Autoguidance)到可编辑科研插图生成(AutoFigure-Edit)
AdamW
Stanford CS336 学习记录 08:数值稳定交叉熵、AdamW、余弦调度与完整训练闭环
Apple Silicon
在 M2 Pro 上完成 Qwen3 两阶段训练:Mid Train、SFT 与可复核评估
BPE
Stanford CS336 学习记录 07:Byte-Level BPE 分词器训练、倒排索引加速与流式编码
C++
XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)
CrossEntropy
Stanford CS336 学习记录 08:数值稳定交叉熵、AdamW、余弦调度与完整训练闭环
DataLoader
CMU 15-779 学习记录 03:DataLoader、模型保存与批量推理
Embedding
Stanford CS336 学习记录 01:从 Linear、Embedding 搞清张量形状
FlashAttention
CMU 15-779 学习记录 08:分块 Attention、在线 Softmax 与 KV cache
FLOPs
Stanford CS336 学习记录 06:Pre-Norm Transformer Block 与完整语言模型装配
Gloo
CMU 15-779 学习记录 10:加权梯度、状态分片与同步流水线
GRPO
从 Mac 到单卡 GPU:Qwen2.5-VL 部署、GRPO 与计数 LoRA 实践
ICLR
从 DeepReviewer 2.0 到 CycleResearcher:科研 Agent 如何真正做 Post-training
ICML
从原位自校正引导(In-situ Autoguidance)到可编辑科研插图生成(AutoFigure-Edit)
Kernel 优化
从 PyTorch 到 CUDA Kernel:融合 RMSNorm 在 RTX 4090D 上加速 4.27 倍
Linear
Stanford CS336 学习记录 01:从 Linear、Embedding 搞清张量形状
LLM Serving
CMU 15-779 学习记录 11:分页 KV、连续批处理与推测采样
ML Compiler
CMU 15-779 学习记录 09:CPU 编译优化、合法重写与候选搜索
MoE
CMU 15-779 学习记录 13:MoE 路由、稀疏分发与容量溢出
MuJoCo
Pickplace Lab 项目复盘:抓取成功率之外的时延与失败分析
PagedAttention
CMU 15-779 学习记录 14:KV 页大小、共享边界与 CPU 实现成本
Parallel Training
CMU 15-779 学习记录 10:加权梯度、状态分片与同步流水线
Pipeline
CMU 15-779 学习记录 10:加权梯度、状态分片与同步流水线
PostgreSQL
高并发 AI 平台后端基础设施实践:FastAPI 异步网关、SQLAlchemy 2.0 Async、PostgreSQL 与 Docker 沙箱编排
Pre-Norm
Stanford CS336 学习记录 06:Pre-Norm Transformer Block 与完整语言模型装配
Profiler
CMU 15-779 学习记录 05:Profiler、算子调用与批量推理
Quantization
CMU 15-779 学习记录 12:LoRA 首步梯度、权重合并与均匀 4-bit 打包
Qwen2.5
大模型后训练偏好对齐实录:Qwen2.5 SFT 多维消融、动态参考 DPO 与对齐税(Alignment Tax)量化分析
Qwen3
在 M2 Pro 上完成 Qwen3 两阶段训练:Mid Train、SFT 与可复核评估
RAG
Agent 上下文工程与分层记忆架构:从 Observation 剪枝、滚动摘要到向量召回闭环
Redis
高并发 LLM 推理网关架构实践:两级精确/语义缓存、50ms 有界动态批处理与尾部延迟治理
Reward Model
从 DeepReviewer 2.0 到 CycleResearcher:科研 Agent 如何真正做 Post-training
RMSNorm
Stanford CS336 学习记录 02:RMSNorm 的广播与 SwiGLU 的门控
RoPE
Stanford CS336 学习记录 05:RoPE 旋转位置编码与带位置的多头注意力
Routing
CMU 15-779 学习记录 13:MoE 路由、稀疏分发与容量溢出
SGLang
从 Mac 到单卡 GPU:Qwen2.5-VL 部署、GRPO 与计数 LoRA 实践
SimPO
从 DeepReviewer 2.0 到 CycleResearcher:科研 Agent 如何真正做 Post-training
Speculative Decoding
CMU 15-779 学习记录 11:分页 KV、连续批处理与推测采样
SwiGLU
Stanford CS336 学习记录 02:RMSNorm 的广播与 SwiGLU 的门控
Tiktoken
Stanford CS336 学习记录 07:Byte-Level BPE 分词器训练、倒排索引加速与流式编码
Tokenizer
Stanford CS336 学习记录 07:Byte-Level BPE 分词器训练、倒排索引加速与流式编码
TorchInductor
CMU 15-779 学习记录 09:CPU 编译优化、合法重写与候选搜索
TypeScript
MiniCode 架构与工具评测深度拆解:开源终端 Agentic Coding 引擎(1k+ Stars)的 ReAct、MCP 与 30 项基准验证
verl
从 Mac 到单卡 GPU:Qwen2.5-VL 部署、GRPO 与计数 LoRA 实践
XGrammar
XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)