CoT 深度:从 Zero-shot 到 Tree-of-Thought
梳理 Chain-of-Thought 的演进:Zero-shot / Few-shot、结构化 CoT、ToT / GoT、推理模型内化,以及反直觉坑与实战选型。
Tag
#推理 标签文章合集,收录 Diors.tech 中与 推理 相关的 AI 学习笔记、技术拆解和工程实践。
2 篇文章梳理 Chain-of-Thought 的演进:Zero-shot / Few-shot、结构化 CoT、ToT / GoT、推理模型内化,以及反直觉坑与实战选型。
推理延迟与成本是 AI 应用的两大痛点。Batching、KV Cache、量化、Speculative Decoding 等优化技术详解,以及 vLLM、TGI、TensorRT-LLM 等推理框架的工程取舍