42章经

• AI 下半场：聊透 Benchmark 与 Evaluation | 对谈前 Kimi 产品经理丁丁

  活动预告🥳：5 月 24 日，我们会请到丁丁和 Fellou 创始人谢扬办一场线上活动，大家记得翻到 shownotes 末尾查看报名信息！像 RL 这个概念一样，Benchmark 和 Evaluation 也是做 AI 的人经常挂在嘴边的词，但到底该怎么理解这个概念，该如何正确的设定这些问题和数值呢？正巧前不久 OpenAI 研究员姚顺雨的那篇《AI 即将进入下半场》特别火，他核心讲的就是「我们当下已经进入了 AI 的第二阶段——从解决问题转向定义问题，评估的意义会超过训练本身。而这其中，评估最关键的不是设置更难的基准测试，而是要在实际落地的场景中重新设计一套实用的评估标准」。所以这期我们请到了前 Kimi 产品经理丁丁，从她在大模型公司一年多的实践经验出发，请她分享些对于 Benchmark 和 Evaluation 的思考，相信大多数人听完这期都会对这些概念有更深的理解，也可以开始自己设定一些评估问题和标准了。P.S. 丁丁之前曾在微信做过 5 年的搜索产品，也在美团做过策略产品，所以在节目最后她也分享了一些从古典产品转型 AI 产品经理的心得。【人类博物馆】导游：曲凯，42章经创始人34 号珍藏：丁丁，前微信、美团、Moonshot 产品（负责 Kimi App）【时光机】 1:27 进入 AI 下半场，「重新定义 Benchmark」比「刷榜提分」更关键 3:23 回顾 AI 上半场，国内大模型公司的发展重心历经了哪些变化？ 5:51 一味追求 DAU 是一种偷懒的经验主义 7:07 数据固然重要，但更多的用户数据 ≠ 更好的模型智能 9:28 如果你是梁文锋，你要不要承接这波泼天的用户？ 9:59 Evaluation 和 Benchmark 是拉开模型差距的一大关键 14:40 对于没有标准答案的问题，该怎么制定 Benchmark？ 17:55 怎么衡量 Benchmark 的好坏？ 22:14 创业公司的 Benchmark 有多少道题比较合理？ 22:38 能通过高频的用户 Prompt 反推出一套 Benchmark 吗？ 24:23 让模型「突出长板」好，还是「全面均衡」好？ 25:42 以 C.AI 类产品为例，示范一下该怎么设计 Benchmark 29:28 Benchmark 是团队的核心机密，算法同学都不应该告诉 30:07 AI 产品经理和古典产品经理有什么异同？ 31:49 怎么更好地理解模型边界？ 33:38 未来每个人都要具备全栈能力 35:38 做微信产品积累下来的 knowhow 39:52 分享一些招 AI 产品经理的标准【Reference】 OpenAI Agent Researcher 姚顺雨的最新博客内容，探讨了 AI 发展的「下半场」：ysymyth.github.io 一个顶级 AI 产品经理的自我修养 | 对谈光年之外产品负责人 Hidecloud【活动预告🥳】5 月 24 日，我们会办一场线上活动。感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros

  --------  

  41:12
• Agent 开发的上半场: 环境、Tools 和 Context 如何决定 Agent｜对谈 Sheet0 创始人王文锋

  活动预告🥳：4 月 26 日，我们会请到 sheet0.com 创始人文锋做一场线下活动，大家记得翻到 shownotes 末尾查看报名信息！关于 Agent 这个话题，我自己有一些核心在思考的问题，相信这些也是很多人同样会有疑问的地方，这期播客中我们就这些问题展开了讨论，并基本得到了一些答案：1）怎么定义 Agent，Agent 最重要的是什么2）今天的 Agent 和两年前的 Agent 的区别是什么3）如何简单快速理解 Function Call，Coding Agent，MCP，A2A，Computer Use，Browser Use 等概念4）不同方式的区别是什么，有什么优劣之分吗5）怎么看通用 Agent 和垂直 Agent 的区别，终局是什么6）AI Coding 和 Agent 最终会是一件事吗，或者二者会有什么关联7）Workflow 和 Agent 的区别和终局8）RL 这件事在 Agent 里的重要程度是什么，一家公司（尤其是做 Agent 的创业公司）到底该如何使用 RL9）大模型自身的 Agent 比如 OpenAI Operator 和其他应用产品的区别是什么，最终市场形态会怎样10）如何快速判断一家 Agent 公司做得好不好另外，在整段讨论中，本期嘉宾文锋基于长时间对 Agent 的研究和实操，还提出了很多理解和分析 Agent 的框架和关键要素，以及在接近结尾部分留下了让我非常有启发的一句话：AI Coding 是大模型的灵巧手。【人类博物馆】导游：曲凯，42章经创始人33 号珍藏：王文锋，Agent builder，sheet0.com Founder & CEO，连续创业者，有近十年 AI、Data Infra 产品设计和 Coding 经验。sheet0.com 已开放 waiting list 申请，即将内测。【时光机】 00:47 Agent 三要素：LLM、Context、Tool Use 1:17 这波 Agent 和过去两年的区别是什么？ 2:30 怎么理解 Agent 中的 Context？ 4:21 快速理解 Tool Use 的不同方案 4:40 代码调用支线：Function Call、MCP、A2A 之间的区别是什么？ 6:35 模拟人类支线：浏览器是大模型能调用的最重要的工具 7:07 两条支线各有优缺点，也可以混合起来 10:27 Manus、Devin、Genspark 各用的什么方案？ 12:25 Browser Use 的核心价值是给用户提供「安全感」 14:19 AI Coding 和 Agent 最终会殊途同归吗？ 16:15 Agent 的终局会走向通用还是垂直？ 17:17 脱离了 RL，Agent 就不成立了 19:15 所以 Agent 创业公司该如何使用 RL？ 22:54 一个非共识理解：聊天框 + 场景推荐 UI 界面就是最好的交互形态 31:54 Sheet0 是一个怎样的 Agent 产品？ 34:15 怎么把任务执行的准确率做到了 100%？ 35:39 Workflow 会被 Agent 颠覆掉吗？ 36:49 不同 Agent 的核心区别是什么？ 39:05 AI Coding 是大模型的「灵巧手」 41:41 Agent 有两大「信任」命题 44:22 分享一个预测 Agent 未来发展的思考框架 47:33 如何快速判断一家 Agent 公司做得好不好？【Reference】文锋推荐大家都读一读强化学习之父 Richard Sutton 的《Reinforcement Learning：An Introduction》【活动预告🥳】4 月 26 日，我们会请到文锋做一场线下活动，感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros

  --------  

  52:38
• 一堂「强化学习」大师课｜对谈清华叉院助理教授吴翼

  当 AI 预训练的 scaling law 开始放缓，强化学习 (RL) 接过接力棒，拉出了一条漂亮的第二曲线。在当下的 Agent 热里，有 RL 能力的团队，也是最被看好和押注的。但很多人对 RL 都没有一个足够清晰的理解，包括我自己。所以这期我们请到了国内 RL 领域的专家、清华大学交叉信息研究院助理教授吴翼，来讲讲 RL 的原理到底是啥、RL+LLM 的路径是怎么发展起来的、目前存在哪些非共识、未来还会怎么演变等等（聊完感觉像上了一堂免费大师课）。而且聊着聊着，我们发现，人生就是一个 RL 的过程，区别是 RL 有明确的奖励函数，但是人生没有。可能如吴翼教授所说，我们首先都要以一种「最大熵」的方式去主动和不确定的世界交互，才能找到自己的奖励函数，优化自己的人生曲线。最后，吴翼教授的团队最近开源了一个 RL 框架 AReaL-boba，在 SOTA 7B 上跑出了 AIME24 61.9 的分数，也欢迎大家去 GitHub 关注。【人类博物馆】导游：曲凯，42章经创始人32 号珍藏：吴翼，清华大学交叉信息研究院助理教授，前 OpenAI 研究员。【时光机】 1:51 到底什么是 RL？ 4:25 人生就是一个强化学习的过程 6:22 RL 和 LLM 是怎么结合起来的？ 7:01 强强联手第一步：InstructGPT，实现指令遵从 10:07 过程中衍生出了 RLHF 11:41「慢思考」的需求催生了 RL 的应用 16:10 为什么说 Anthropic RL 做得特别好？ 21:17 行业对 RL+LLM 的最优路径形成共识了吗？ 25:11 RL 起来之后，对 Agent 的影响是什么？ 32:11 Intelligence = LLM (理解) × RL (决策)，二者缺一不可 34:14 Scaling law 的未来 34:33 Pretraining 的两个发展方向 36:43 RL 还处于早期，进入深水区后可能会走向分化 40:02 大模型团队的组织架构要如何设计？ 43:21 一个反常识：对 AI 来说，理解比生成更难，token 消耗更大 47:38 现在做 Agent 一定需要一个懂 RL 的人吗？ 49:32 为什么 RL 人才这么稀缺？ 56:10 RL 目前三大分支：泛化 (DeepSeek)、代码 (Anthropic)、Agent (OpenAI) 58:55 框架对 RL 意味着什么？ 1:02:51 RL 在海内外进展还有明显差距 1:04:42 想做好 RL，基建≫数据＞算法 1:06:05 研究 RL 收获的一些人生启发【Reference】 吴翼的 PhD 毕业论文：On Building Generalizable Learning Agents 吴翼获机器学习顶级会议 NIPS2016 最佳论文奖的论文： Value Iteration Network 吴翼提到的他非常喜欢的有关 Diversity-Driven RL 的两篇论文：Iteratively Learn Diverse Strategies with State Distance Information、Discovering Diverse Multi-Agent Strategic Behavior via Reward Randomization 吴翼团队和蚂蚁研究院开源的强化学习训练框架：AReaL-boba【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros

  --------  

  1:12:49
• 世界怎么就「东升西落」了？聊聊二级市场与 DeepSeek+Manus 的热潮｜对谈莫傑麟

  我又来美国了。这次来，我发现市场真的变化太快，这边很多人都开始相信一个所谓「东升西落」的叙事。于是我再次请来了莫傑麟，和他聊聊二级市场自 DeepSeek 发布以来有哪些新变化、新趋势。在这期播客里，我们推演了「东升西落」的演绎过程和底层逻辑，谈了我们各自对 DeepSeek 和 Manus 这两个热门产品的感受，也聊了宏观的市场环境和股市的未来。最近两年很多人都在说，这波 AI 中的最赚钱的方式是炒股。但真的是这样吗？二级市场真的才是大家最终的归宿吗？【人类博物馆】导游：曲凯，42章经创始人九号珍藏：莫傑麟，家族办公室资深从业者【时光机】Part1 「东升西落」的叙事 00:30 为什么二级市场突然流行「东升西落」的叙事？ 1:00 推演一下演绎过程和底层逻辑 5:19 之前大家过于低估国内 AI 了 6:47 中美对 AI 的叙事重点完全不同 7:27 简评 DeepSeek 9:48 简评 Manus 10:15 Manus 是最典型的中国式 AI 产品 11:58 Manus 爆火背后的两个核心原因 14:35 为什么后来风评急转直下？ 16:01 未来的 AI 产品可能要先在海外宣发，再杀回国内 Part2 二级市场的宏观环境 22:04 二级市场 = 预期 + 趋势 23:12 关于预期——大家对中国的预期是什么？ 24:39 为什么阿里加大对 AI 的 Capex 投入后，股价大涨？ 26:17 腾讯是 DeepSeek 这波的最大受益者 31:11 25 年的中国在重演 23-24 年的美国 33:48 芯片「卡脖子」还会是问题吗？ 35:42 关于趋势 35:52 暗线 (宏观环境)：稳中向好 37:30 明线 (产业趋势)：AI+专精特新+消费多点开花 Part3 股市的未来 38:44 今年 A 股会不会继续涨，美股会不会继续跌？ 41:13 二级市场在变得越来越卷，共识的达成和演绎速度越来越快 43:57 这波 AI 最赚钱的方式真的是炒股吗？ 46:44「大起大落的高频波动」可能是未来股市的常态 48:14「做时间的朋友」还行得通吗？ 49:54 分享一些 25 年的个人观察 50:18 AI 领域我会重点关注三个问题 52:53 很多非 AI 公司也很值得研究 54:56 二级市场是所有人的最终归宿吗？【Reference】为什么我们开始乐观？关于经济发展的明线暗线、AI 与最佳实践 | 对谈莫傑麟【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros

  --------  

  56:18
• 信念感与硅谷顶尖孵化器的奇遇：赴美三月，实现千万刀 ARR｜对谈 ACE Studio 创始人 Joe

  如果有人问你，给你三个月的时间，你能把目前手上负责的业务数据翻十倍吗？相信大多数人都会觉得这是痴人说梦，但这件事 ACE Studio 做到了。而他们做到的原因不是他们本来就能，而是有人让他们相信了这件事。这就是我们今天要讲的故事，这就是信念感这三个字的力量。去年 5 月份我们做过一期 PMF 主题的节目，ACE Studio 的创始人 Joe 聊了很多他们的产品是如何在美国市场找到 PMF 的。当时他们刚刚开启付费半年，就已经做到了很不错的月收入。这次我们又把他请来，是因为才刚过去了大半年，他们的收入竟然就增长了 10 倍，已经成功跻身千万美金 ARR 第一梯队。能做到这点，是因为他们去了硅谷一家很有名的孵化器 HF0，并在那边搞了 3 个月的封闭式开发。这期播客中，Joe 就毫无保留地分享了 HF0 到底是怎么奏效的、他们在 HF0 的实际体验与收获，和实现 10 倍增长的具体经验（比如他们是怎么一招就让公司一夜之间收入翻倍的？）。如果你对 Joe 的参加孵化器的经验，或者对去美国参加类似的组织感兴趣，可以添加我的微信 qukai42，42章经今年也会组织更多中美连接的活动和事情，欢迎你用各种方式加入进来。【人类博物馆】导游：曲凯，42章经创始人20 号珍藏：Joe，ACE Studio 创始人。ACE Studio 是一款面向专业音乐制作人和创作者的 AI 音乐工作站，致力于用 AI 重新定义音乐创作，自 2023 年 10 月上线以来发展迅猛，月收入已达 80 万美金。【时光机】Part1 HF0 为什么有效 01:23 先回顾下入选这家美国知名孵化器的过程 03:48 英语不好会是阻力吗？ 05:34 3000 进 10 的概率下，HF0 为什么选中了你们？ 07:19 HF0 和其它孵化器不太一样 08:46 HF0 没教我们怎么做业务，这事也不该别人来教 10:35 最关键的第一步：HF0 给我们注入了「一定能猛涨」的信念感 12:23 这种信念感很难自我激发 14:23 开营后，HF0 营造了一个专注于增长的氛围 16:25 最大的压力和最深的恐惧就是「别丢脸」… 17:44 这种氛围本质上改变了我想问题的方式 19:17 也让我们涌起了「别让大家觉得华人不行」的责任感 21:38 一直 build「憋大招」可能并不成立 22:40 从 HF0 出来后，还能保持在其中的状态吗？ 23:55 我们马上要复刻 HF0 的体验 Part2 3 个月涨 10 倍的具体实践 26:50 五周过去都没怎么增长的时候，信念感崩塌了吗？ 27:43 绝境逢生的戏剧化转折：我们试了一招，第二天日收入直接 double 28:51 Quora 创始人教会了我们一种思考方法 30:00 之前没想到这么干，是因为我们没悟到一件事 31:18 要问这招是啥？——答案乍一听可能有点搞笑哈 31:29 但搞笑背后是一种硅谷的方法论 32:57 在硅谷的几个经历也启发了我们 33:53 后面我们还试了很多招数，最终达成了 10 倍的增长 34:01 我们在价格模型上做了很多文章 34:24 Blake Anderson（千万美金 ARR 产品 Cal AI 的创始人）让我意识到，我们之前联系 influencer 的方式都不对 36:33 我们把付费广告的 ROI 提高到了 2 倍 36:59 产品功能升级和老用户也没落下 37:30 但前六周的苦工是省不掉的Part3 一些观察 39:02 美国投资人的工作方式和提的问题有什么不同？ 40:31 美国机构真的很不喜欢中国团队吗？ 42:51 肉身到硅谷去很重要 43:12 我越来越坚信，AI 产品化大有可为 44:44 Perplexity 的 pitch deck 上有两句话，合起来看很妙 45:13 我的壁垒就是我的「人日」 46:47 硅谷的做事风格越来越回归本质了【Reference】 ACE Studio 产品界面 关于 HF0：HF0 是由 Dave Fontenot（世界上最大的黑客松 MHacks 创始人）、Evan Stites- Clayton 和 Emily Liu 共同创立的常驻创业孵化器，有着严苛的筛选标准，由包括 Marc Andreessen、Chris Dixon 在内的多位知名投资者支持，创办第一年就孵化出了 3 家独角兽公司，也孵化过包括 ComfyUI、Story.com 等在内的多家优秀的 AI 公司。【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros

  --------  

  48:32

Más podcasts de Tecnología

Podcasts a la moda de Tecnología

Acerca de 42章经