No.91 Kaiyi几十场AI面试后的总结：怎么成为懂 AI 的人
2026年3月16日 · 3:00
Kaiyi在加拿大微软GitHub Copilot团队工作，带着几十场AI面试经验做客本期节目，系统回答“怎样成为懂AI的人”。他从大模型是“下一个词预测器”讲起：Temperature参数设0会百分百选择概率最高的词，输出稳定但呆板，调高则增加创造力但不确定性提升，因此翻译、数学题应设最低，创意写作应调高；他还解释Top-k=2指只从概率最高的前两个词中选择，Top-k=10则从前10个词中选，OpenAI官方文档建议不要同时调整Temperature和Top-k，因为二者本质影响同一件事，应固定一个再调另一个。他详解Cache机制：每生成一个词都要把已生成内容重新送回模型，缓存已处理token后，命中缓存的API价格远低于未命中，DeepSeek等模型的缓存价格因此能降得非常低，开发者应主动设计对话流提高缓存命中率。他对比Codex与Claude：Codex慢但代码直接可用，Claude快但有时不可用，有朋友直接充值200美元Codex；他还用哈利波特测试指出，把整本《哈利波特与魔法石》塞进上下文后，即使模型拥有全部答案，召回能力也会急剧下降、智能一定下降。最后他梳理了RAG最佳实践，包括Query重写、Re-rank等步骤，并强调理解原理、动手实践才能真正成为懂AI的人。
