2025-02-01 Shuchao.2025，AI路往何方？

2025-02-01 Shuchao.2025，AI路往何方？


Shuchao:
我觉得这个 OpenAI 是没有特别好的归代。

课代表:
当有一天 AI 可以开发 AI 了以后，会不会人类就灭绝了？

Shuchao:
我觉得很多能力还不存在，并不代表这些东西很难做出来。

课代表:
但是这个东西落到我们的感知上的话，我觉得反而感知也不是那么明显。

Shuchao:
Reinforcement Learning 就是我们组合另外一个团队合作做的。

课代表:
你还打算工作 80 个小时吗？Hello, Shuchao，欢迎来到我们的第二集访谈。第二集访谈是你现在的身份，围绕你现在的身份展开的。你现在身份是这个 Research Leadership, 不是 Research Leader，是 Research Leadership at OpenAI。就一个侧面吧，因为你做的很多工作是不能公开的，但是一个侧面就是 OpenAI 过去的 12 天发布了 12 项新的产品或者功能，其中 5 项是你的团队做出来的，

也就说明了你在这里边这个团队做的东西是非常重要的。

Shuchao:
其实是有 6 天，6 天对于我们参与或者是贡献的，其中两天可能是我们主要的贡献，其他天可能就是跟其他团队一块做的是参与，而不是主导。

课代表:
我们网上有各种各样的关于 AI 的讨论。AI 这是一个所有人都在讨论的话题。可是这里边的信道比是非常差的。所以说真正的信息很少。所以说我们也很珍惜给你这样一次机会。因为你是站在了最先进的公司里边，接触的是最先进的 development。和在这个基础之上有一些个人的思考。那你觉得 AI Research 现在面临的几个比较大的挑战是什么？或者我说几个方向，你可以选啊。就是第一呢，有的人会觉得 Foundation Model 是唯一重要的。

就 GPT-5, GPT-6, GPT-7 应该沿着这条路一直往下走。有的人呢认为数据是重要的，包括 Ilya 他说这个 Pretraining as we know it, 这是已经不行了，就是因为数据已经限制到了这里。那如果觉得数据重要的话呢，有的人会说我们 Syntax 就是合成数据，这个我不太同意，有的人会觉得我们多模态, 因为其他的数据这可能是Lecun的一些说法。然后有的人可能会说我们需要更多的这个个人数据或者说是企业级的他们积累下来的数据。

这是一个分支啊，就是目前一个是数据，然后数据里边有几个分支。然后有的人呢会觉得产品化就是比如说我们要多做 AI agents, 把现在 AI 的这个潜力给发挥出来，然后他的方方面面提高生产力。有的人认为是商业化。这两个可能有关，但是不完全相关。就是商业化可能比如说 2C 的这些东西，我们要多去做好，然后让大家能为 AI 付钱，或者说找到 AI 的一个杀手级应用，或者说是一个新的交互方式。有的人会觉得就是这个 Chat 不是一个特别好的交互方式。

所以说在这里边，你如果来排序的话，你会怎么排序？我觉得还有没有一个另外的方向就是没有 cover 到的？

Shuchao:
我觉得其实非正面回答你的问题，我其实对 AI 越来越乐观了，最近的，也不是最近，可能最近一两年或几个月的时间，我不觉得存在特别大的本质的挑战，我可以说一下最大的机会在哪里，我觉得最大的机会目前是怎么从我可以做一个对话机器人，对话，到做成一个真的是能帮你做很多很多事情的 agent。

课代表:
所以是第三条。

Shuchao:
第三条是做很多很多产品是吧。

课代表:
就是把现有的 AI 的能力用好的这一部分。

Shuchao:
也不只是把现有的能力用好，我觉得很多能力还不存在，但是并不代表这些东西很难做出来。我是相对乐观。就是你可以想象成我们现在处在，这是一个不太恰当的比喻，相当于处在比如说 iPhone，那时候的 App Store 还没特别起来，我觉得我们需要一个大模型的 App Store。你的问题问得特别好，就是挑战在什么地方。我记得我最开始做，就是 09 年 10 年，Google 开始说 Mobile First 嘛。16 年 17 年就改成 AI First 了嘛。

而 Mobile First 的时候，大家也有很多人说，啊，这个东西就是很难。比如说我们当时在做广告，几个人就说，哦，mobile 上面广告就是做不好。为什么呢？第一，它的屏幕太小。当然也有人从电视到这个电脑屏幕也变小了，对吧？第二呢，说，哦，这个支付什么的，美国都要输很多信用卡了，对吧？你一个网页那么小怎么输入什么的，各种不方便，你转化也转化不起来。然后到后来其实反过来了，移动支付比网页支付现在还方便很多。

所以现在，AI agent 遇到的很多挑战，包括你的 API 不兼容啊，各种各种各种事情对吧，怎么授权，我觉得这些可能在未来都会比较这个好的解决掉，只是说现在我们还没有特别好解决，或者没有想到特别好的解决方案，生态不成熟，但是生态我是比较乐观，但还会一直想着更成熟的方向去走。

课代表:
我是比较乐观，但是我有点吃惊。乐观的点在于，我也是这么想的。我非常举的例子是汽车。大家如果觉得 AI 不是一个特别明显的范式革命的话，那汽车是一个非常明显的东西。但是汽车生态完善大概花了 70 年，就是从第一辆汽车造出来，到流水线啊，路啊，法规啊，大家的 driving 啊这些东西花了 70 年。所以说这里面你很多东西都可以找到类比，包括之前斯坦福教授的那个他说电厂这都是就是你要怎么样子去使用这个新方式。

所以说我确实在这方面是很很 bullish 的，但是另外一个方面我以为这件事情怎么样子跟现有生态兼容啊。就比如说 mcp 在我看来是一个非常 intuitive 的方法，就这里边的问题并不是特别难的工程问题。我觉得未知的东西我们很难想，但是已知的问题想把它解决好，似乎不难。两年过去了，大家没有把这个东西解决得很好。

Shuchao:
我觉得其实两年前的模型跟现在的模型能力其实还是差挺大的。对，两年前的模型跟现在的模型其实差挺大的。就现在的这个模型的能力的进步还是挺快的嘛，主要这是第一。

课代表:
等等，我这又是一个问号，就是以我所知的东西啊， A Spark of AGI，Microsoft 那篇论文，听说他们测的 GPT-4 的版本是一个未阉割版本的 GPT-4，然后我们后来收到的这个，就是我们 ChatGPT 可以使用的这个 GPT-4 呢，是不如那个 GPT-4 的，然后他们举了一些例子，就比如说你问一些问题，在那个 Spark of AGI里面回答得很好，但是我们去问的话，它的回答质量出现了下降，然后这一年其实大家用的最多的主流的东西还是 4o，加了多模态，但是其实我觉得在这个聪明程度上来说，我倒觉得没有一个质的飞跃。

那现在 O1,O3，然后其实我朋友也在用 O1 Pro，他觉得确实，如果说你问他正确的问题的情况下，他回答的能力是好的，但是这个东西落到我们的感知上的话，我觉得反而感知也不是那么明显。就他之前能给我一个我觉得不错的回答，他现在还是给我一个我不错的回答，就是他从一个百分之七八十的水平变成了百分之九十的水平？Maybe。但是我的意思就是说它可能是一个百分之三五十的变化，

可是我以为两年内它会发生一个百分之一百到百分之一千之内的变化。

Shuchao:
我觉得看在什么领域和在什么 scale 上面。因为这不就是一个线性变化和非线性变化呢。有 30% 是可以翻译成在某个 benchmark 上面百分之几百到几千的一个变化的。然后另外一个更重要的一点是我觉得方法论上面大家有很大的提升。解决这个问题的一些 best practice 可能也慢慢就出来。我觉得更宏观的是我觉得理解这个问题，可能细节的我也不太好说。如果从宏观的角度来讲呢，我现在越来越觉得 AI 这一现在的这一波这些范式其实是酝酿了好几千年了。

你从历史科技的角度来发展嘛，就是说工业革命去蒸汽机啊电器啊什么的，其实把很多的重复性的体力劳动给替换掉了。就是刚才我们讲短视频的也是讲，就是说创作门槛的这个越来越低嘛，其实可以想象任何科技的发展都是把人之间的能力拉平，更多的拉平了。因为以前长得一个特别强壮的人和长得一个比较瘦小的人，两个人是不平衡的。那长得特别强壮的人可以去修水坝，盖房子，可以去干什么的。那长得很弱小的人是不行的，长得很弱小的可能都被淘汰掉了，对吧？

然后那工业革命之后使得你的肌肉量不是一个，当然可能是你吸引一些或者说你身体健康的一个标志，对吧？但它不再是成为一个真正的生存技能上面的能力差了，对吧？然后你再看其实前一波革命我觉得是电子，就是电脑带来的，对吧？它其实可以把很多的重复的脑力劳动给替换掉，比如说会计的软件，对吧？你不需要脑子去算很多东西了，比如 Excel，或者更多的，它是把很多重复的脑力劳动给替换掉了，对吧？然后我觉得接下来的两波是这样的，就大胆的预测一下，这很可能是错的。

然后下一波是会我们叫它 Virtual Assistant 或者 Digital Assistant，是说可以把很多非重复的和标准的脑力劳动给替换掉。就比如说以前大家通过通用软件来做的事情，那你有很多你的需求，比如说你做的工作里面有很多你的这个 workflow，那怎么去把它自动化？怎么去把这些非标准化的东西软件化？那是我觉得这一波 AI 可能可以实现的东西。然后在下一波呢，可能比如说 5 年之后 10 年之后或者更远，
Idea
数据化程度高的会占到更大的先机。
就是 Embodiment AI 能够做的，就是把非重复性的和标准化的体力劳动也替换掉。用这个我觉得要比虚拟的这种 System 要更难，因为很多硬件的结合什么的和通用性还没到呢。站在现在的角度呢，你就看历史，说为什么这一波 AI 会起来，发现真的是它当然在某一年起来或者在某一个时间点起来是一个偶然性了，但是它一定会起来感觉是一个必然性。就是现在 AI 它几个要素就是第一是算力，第二是数据，第三是算法，对吧？然后你从比如说数据的角度来看， 第三是能源，

能源可能包含在算力里面，就是这个算力的硬件和能源在一块带来了这个算力，然后你可以从这个历史的角度来讲，其实过去几千年都在为 AI 来积累数据，从人类发明了语言，对吧？然后到书写文字，到后来发明了印刷术，然后再到后来发明了电脑，把很多的数据电子化了，然后这周围 AI 的这个 pre-train 那部分积累了巨大量的数据，然后这个万亿就几十万亿这样这样 token 的这样这样这样的数量级对吧，然后从算力的角度来讲呢也是这个 GPU 到之前的这个各种芯片的迭代过去的几十年，

大几十年，从算法的角度来讲也是从 70 年前，图灵开始说，那边被非常有名的文章开始开启了人工智能这样一个科研方向，然后带到像 Jeff Hinton 这种沉寂了几十年的专业 Neural Network, 对吧？然后过去 15 年深度学习的这种飞速发展，把它做得更稳定，把它做得更好，然后到 17 年 Transformer 出来。然后像 AlphaGo 这种和 AlphaZero 这种算法出来，我觉得就是相当于现在是一个特别好的时间点，就集大成者。

把这个算力算法和这个数据结合在一块才产生了这么大的影响。我的理解就是现在的大语言模型在 pre-train 阶段其实是把人类过去几千年的智慧压缩掉了。这是非常非常了不起的事情，然后再通过后面的 RL，让他自己去实践，就跟人的学习一样。

人要比如说从小学到高中，大部分时间是在学习过去几千年人类积累的知识，然后从大学开始可能会做一些研究方向，就站在巨人肩膀上之后才能产生比前人更好的这个科研成果，那人类就这样不停地延续下去，你可以想象成大模型也会这样不停地延续，而不一样的是大模型的延续性要比人类好很多，就是它的继承是 100% 的，人的基因的带宽是非常低的。比如说你现在学了微积分和量子力学，你觉得这东西太好了，特别好。而且就是烂熟于心。但是你的小孩还得重新学一遍。

课代表:
刘慈欣有一本很短的科幻小说《乡村教师》, 就是一个外星人要毁灭地球的时候，说这些人学习效率太低了，肯定发展不出文明。后来发现发展出来文明了，说怎么回事呢？随机beam了一个乡村教师上来以后，发现，噢，他们竟然有这样的一些伟大的人，只是为了传承知识。

Shuchao:
对对对，其实这也是当然有很多的社会问题，就是很多教师的，中小学的教师的水平要提上来，人类才能进步得更快吧，他们待遇并没有提上来，那这个就扯远了。其实 AI 的这个迭代速度， 要比人类就是要快很多了。另外一点呢，就是大家经常提的词，比如说 AGI, ASI，我觉得是其实有很多歧义的了。你可以想象成，到现在为止，没有任何一个生物有所谓的通用智能，就即使人也没有通用智能。我不知道你同不同意这个观点啊。
Warning
很明显留在Google的是比较笨的，聪明的出来自己搞了，Google在这一点上看着很像国内的百度。
课代表:
这就涉及到定义了，就是那通用智能定义是什么？

Shuchao:
通用智能就是能够，就几个例子，就是说比百分之，那肯定没有，人类在 90% 的任务上做得都好。没有，对吧？你可以想象成，就是数学上面的最后一个全才，大概是庞加莱，或者有些人认为是希尔伯特，这是大概 100 年前的事情了。就是连数学这么一个窄的学科全才都没有了。为什么呢？因为它的知识量增长得特别快，没有人能够对这个事情有个全貌了。而且你看，在之前其实很多数学家都是物理学家，他是数学和物理的全才。然后在之前就更多了，对吧？

其实人类就是越来越专了，其实人类没有一个人是有通用智能的。生物也一样，比如说啄木鸟，它就只会啄木。对吧，人的脑子是没有一个通用知识的。比如说，我以前读数学的，但是你让我去做物理，我可能不会做，因为我就读了数学，这方面的迁移没有那么大，你要重新学习很多的物理才能 pick up 起来。当然，你比不学数学的时候，学完数学之后，学物理可能要更快，这是有一定的transfer，但不是 100%，但是大模型可能会实现通用智能，就是因为它的结构，它能消化的数据量和人类是没办法比的，

它可以消化几十万亿的 token, 那人可能几千辈子都消化不完，对吧？

课代表:
其实我是属于那一派的，就是在 2023 年的时候我就觉得，就是你 AGI 是一个没有 definition 的东西，但是你以一个比较宽泛的 definition 来说的话，其实Spark Of AGI 那边有说，就是 AGI 其实已经实现了，在我看来大模型已经实现了这种 loosely defined AGI, 但是你刚刚说的 ASI 其实可能在你身边是一个大家经常提及的东西，就是在大众这里边是一个不太提及的东西，那我稍稍说一下我对你对这两个东西的区别的理解，

然后你再在上面进行这个纠正和补充吧。我的感觉是 AGI 呢，它是一个对知识的总结，就是它懂很多东西，然后它也有一些基本的这个思考能力，所以说它能回答你很多问题。那 ASI 就是它要能发明创造，它要能干之前不能干的事情，它要能把人类的知识的 frontier 往前推。然后你的这个想法呢，就是 pre-train 压缩人类已有知识是能达成 AGI 的。但是想要往前推的话，压缩已有知识肯定是不行的，

就是你要通过已有知识的这些 connection，通过 reinforcement learning 的方式，让 AI 自己主动迭代，然后它去，所谓 reinforcement learning 就是在一个非常广的，非常黑暗的多维度的空间去搜索，但是你每次找对了一点，你 reward 就多一点。那你通过这种范式就可以往前走很远，因为你的算力是极强极强的。首先他光速思考对吧，然后他有那么强大的这个参数量去支撑。

所以这是为什么你觉得 reinforcement learning 是通向 ASI 之路。我不知道这个说的对吗？

Shuchao:
我大致同意，然后有一点很很。很 subtle 的点对我可能解释一下，比如说 AGI 和 ASI 之间的区别到底是什么，ASI 需不需要是通用的这些可能定义的点，然后另外一点呢就是你怎么去定义什么叫创新，就比如说其实在 pre-train 的时候他也有很多的创新，因为 pre-train 的时候他接触到了太多的这种知识，他把很多知识点结合起来是本质上可能本身就是一种创新，就是他没有产生新的这个知识点，但是很多把以前的很多的这个智慧结合起来，
Idea
否定了DeepMind的CEO的白痴疑问。
可能是有一部分的创新，其实在 pre-train 阶段有一部分已经实现了这个这个 ASI 的这个功能，但是如果要大幅的超过人类，就要产生新的知识。我觉得是 REL 是更 fundamental 的这个表现，就跟人一样。就是比如说你是一个你学数学的时候，对吧？老师那个帮你讲例题讲了好多次，你自己不去练习是学不好的。所以这方面这两个一定要是相互相成的，就是一定要这个学习，然后再实践，然后再把实践的这个经验积累到学习。这其实跟跟人类智能的发展是极其像。
Idea
在我们的系统设计中，ideal和I.C.S是相类似的结构，相互促进，有这种正确的感觉是生理性的，不是学多少东西或者多努力就会有的。
因为我以前读数学的，对数学的发展是特别的清楚。数学的发展人一般是历史上有这么几个天才，比如说像 Galois, 像 Gauss 这样这些人，把他们花了很多的时间思考，然后沉淀下来的东西形成理论。然后比如Galois发明的群论，然后这样使得让我们这样的普通人能够很快的就比如说花一天的时间就掌握了，哦，这就是群论，这东西太漂亮了，对吧？然后站在他的肩膀上我们也发明了更多的东西。我觉得这是我个人非常坚信的一个方向，然后也会成为我觉得大概率会在绝大部分事情上超过人类智能的一个原因。

课代表:
我来分享一个东西，然后这是我教课的课件，就是最后一节课的时候我会给大家有一些猜想，然后这个猜想其中一个呢就是这个 transformer 是可以 lead to general intelligence 的。你可以说是 super intelligence 吧。这个猜想是什么呢？就是我们去想人类是怎么学习的。人类很多学习是把 information connect us 变成 knowledge。

这个就是伊利亚当时说的嘛，就是 shortest program 是 best possible generalization。所以说为什么我们在不断压缩的这个数据的过程中，我们是可以得到一些就是可以翻滑的东西，因为它是 shortest program。但是我们回过头来看人是怎么学习的。从教育学的理论来说的话就是从教育学的角度来说的话，他不觉得人的创新是重要的，而是现有知识才是教育的本质。然后我们又说 Transformer 其实是一个更强大的大脑。

在这种情况下，你是不是可以通过这种压缩知识的方式得到一个人类相同类似的智能？我觉得起码这条路上从理论上来说，没有一个特别大的范式的不一样，就是没有一个特别强大的证据说这个大模型去学习的方式和人类不一样。我回头其实还有一个跟这个就是一个物理博士赵志成，他是一个学高能物理的博士，我们去聊了，他也在 Google 工作，然后他就聊了物理学奖颁给 AI 合不合适。然后我们发现，其实当时 Hinton 在做，包括在前面的那个，另外一个就是拿物理学奖的那个人，

就他们其实是试图去还原智能这个 complex system 到底是怎么样子涌现的。这真的是就是 AI original research 的一个 neural network 的一个 original motivation。然后我们还有一些其他结论，比如说 AI 可能是整个物理学的一个数学解决方案，它是一个对偶。但是这个我们回头可以感兴趣的话再跟你聊。但是另外一个就是人和 AI 的区别是什么？就是起码给大家一些希望吧。

就是我们是有一些 contrarian view 的，然后这个 contrarian view 呢，它是 require 你不能用 existing 的这个 connected dots, 你是要有一个新的东西在的，然后你需要去把它 build 出来，让大家才会知道这个东西存在，而且这 contrarian view 一般也是比较有价值的，你回到这个乔布斯当时的这个东西，here's to the crazy ones,

其实你看他说的全都是这个 contrarian 的这些 view 到底是是什么样子，但是这里边另外一个就是我的问题了啊，我在 share 另外一个 tab, 就是在现有知识的框架内，我们是可以告诉 AI, 这是我当时的那个文章。当时文章五个问题嘛，第五个问题就是人类和全世界的本质问题是什么？我提出一些点，就是一个是判断力，就是大语言模型啊，它并不缺乏探索的能力。或者说想象的能力，或者说产生新知识的能力。但是问题是，人类可以判断哪个新知识是和我们人类的认知相符，或者对人类有用。

可是作为一个纯粹的物理，就是这个电子模型，它很难做到这一点。然后第二个呢，就是这个所谓的 Eureka。Eureka 就是你这个牛顿可以发现万有引力，是吧？哥白尼，对吧？这些东西它是一个非常 far fetch 的这么一个东西。AI 它也许能发现这个东西，但是问题是这个东西有两步。有维卡它有两步，就是第一你要想到这个点，第二你马上就意识到了对，这个东西是对的。AI 我觉得能做第一步就是它能想到这一点，但它如何做到第二步就是你这个 reward 如何构建。

这一点我觉得就是当人能验证这个知识是否有用的情况下它可以构建，但是如果不能的话怎么办呢？
Warning
白痴，对方解释了都不明白，这种生理性的特征在人工智能的时代会不会有好的办法？
Shuchao:
我觉得这回到我们刚才讲的第一点就是 AI 非常本质的一个问题是怎么定义 reward。其实两个问题，第一个就是怎么定义 reward。有效的探索，就像 AlphaZero 里面它是 Multicolor Tree Search，加上一个非常 well-defined reward，就是赢这个 game。我觉得这是一个 open question，我没有特别好的回答，就是怎么去有一个 universally good reward for AI。

因为人也没有一个特别好的 universally good reward，但是 somehow 我们还是有一个比较 well-functional 的事情。就是有两种情况未来，一种就是你真的有一个特别好的 universally well-defined reward, 另外一个其实不是，就是其实每个领域都有一个 reward, 就比如说我要培养数学人才，那我给他 reward, 和我培养这个运动员其实是不一样。
Idea
非常好的解释。
课代表:
这背后又有一个问题啊就是，我们当时 AI 刚出来的时候，大家就担心当有一天 AI 可以开发 AI 了以后，会不会人类就灭绝了这个问题。然后我当时对这个问题的回答是不会，因为 AI 其实是个工具，我们不要把它过度拟人化。然后 AI 和人最本质的一个区别是 AI 没有一个目的就是 AI 它的 reward 是学习，但是它没有一个本质的目的。所以说今天要把 GPT 关了，GPT 不会说啊，please 不要关我，它只会说哦，OK，它不 care。但是如果说就回到伊利亚，

它说人类最本质的是 existence 和 non-existence, 那如果 AI 它如果我们要给它一个这个最 ultimate 的 reward, 然后这个 reward 又不是那种所有的 AI 都是一个 reward function 的话，那我们是不是要给他一个你需要 exist 的这种终极目的呢？如果说一个这样的东西的话，就是一个危险的事。当然可能是说的就有点科幻了。

Shuchao:
可是我觉得是一个非常 real 的，就非常非常 real 的一个 concern, 就是历史上有很多个预言嘛，就是 be careful about your wishful，西方我不知道，东方也有很多预言，就比如说这个人希望我希望有好多的钱，结果过段时间，他的小孩阵亡了，拿了很多抚恤金或什么的，或者很多保险的理赔。这就是说，怎么定义一个好的 reward 是非常非常重要的。

Lillian 最近有一个博客，前几周，就是讲 reward hacking 的，我觉得是值得一读的，就是这是最 fundamental 的一个问题，怎么定义好的 reward。然后我觉得对于 safety 来说也是一个最 fundamental 的问题。如果我们定义的 reward 使得 AI 觉得我保存自己是最重要的，somehow 它觉得 reward 还行，那其实是相对危险，对吧？另外一个是不是能够促使人和 AI 合作呢？

就比如说我个人特别特别的看好 AI for Science。我有一个 hot take，我觉得所有的好的大学都应该建一个至少万卡集群。给他的所有科研人员来做，你这样来吸引科研人员，不只是计算机系的或者做 AI 的，而是所有的学科都要去拥抱，用算力来解决他的问题。你可以想象成其实以前的科研是 graduate student, 其实大家不停的去刷试管，就他招很多的这种研究生来来做各种各种这种 compute, 其实这些都可以通过算力来解决，很多时候啊，

那那时候就是他可以跟那个 pairing AI 来做一些事情，然后他们去做另外一些事情，然后提供 reward，然后 AI 再做一些事情，就是可以是不是能够发展出很好的跟 AI 协作的方式。

课代表:
这个我觉得不光是限于高校了。就是 AI for Science 大家可能一听都是好事，但是我觉得这个不那么每个人都觉得是好事，但是我觉得必然会发生的就是未来工作更多的是被算力去做而不是被人去做。所以这里有各种各样的 implication 了。我们在年底的时候，这里面我们教很多大家的东西，包括怎么样 evaluate AI, manage AI, orchestrate AI，理解 AI，等等等等。

但是我们后来发现直击人性的那个点就是我们去展示了一下用 AI Agents 自动化周报。的五次迭代，Weekly Business Review，然后我们一开始是用 ChatGPT 就是聊嘛，后来是第四次是 Athropic 的 MCP，然后第五次是用那个 Cursor 去直接一句话去 prompt, 然后他就真的就把这个东西整个做出来了。很多人看到了这样一个应用了以后会觉得哦，我确实是要认真的考虑一下，我应该用 AI 做什么和 AI 可以做我的什么东西了。

Shuchao:
你前一段提到的就是 AI 的产品以什么样的形式出现。其实我觉得这也是一个特别好的问题。大家其实并不是特别的明确了。我之前比如去年的这个时候我花了挺多时间去思考这个事情。我在 Google 内部还给了一个分享当时讲科技的就是这些变化的本质是什么。然后其中有一点我特别觉得是就是说是一个好的主线的就是 cost technology。我可以把我当时的那个课件找出来其实。找得到。

课代表:
AI 产品。我对这玩意的想法就是它是一个就是它把 distribute intelligence 的 martial law cost 达到 0。但是现在我就觉得也许它过度乐观了，因为你刚刚也提到了嘛，就是有两种。第一个是这种 workflow assistant 或者 digital assistant，然后第二个是这个具身智能，但中间就跳了这个 distribute intelligence。

因为 Workflow 是帮助你处理一些东西，但是具身智能是帮助你处理其他的东西。可是我一直希望有一个我的分身，然后可以去干所有的我能干的事情，或者起码干 95% 我能干的事情。

Shuchao:
我觉得这个里面有很多的现实制约。对，要么就接着刚才那个。呃，产品的形态呃产品对对对，来来聊。你看过去七八十年科技的发展吧，它的一个主线就是 cost technology 越来越低。你最开始的比如说 PC 时代，那它的本质是 cost of software 越来越低。你以前要做一个软件是很贵很贵的，如果专门为你做对吧，但是有了 PC 之后很多人都用，比如说 office 卖的很便宜，比如说 50 美金或 100 美金，而不是说需要把这个开发成本一个人单的，

而是可以开发成本几亿个人一块单对吧。后来呢，这比如说互联网的这个本质就是把 cost of connection 变得越来越低了。

课代表:
你会说 cost of connection 而不是 cost of information。

Shuchao:
有人把 connection 当成是 information 的一种。那这个时候呢就是你可以发现社交网络就起来了对吧？第三点呢就是比如说移动互联网时代其实跟这个互联网时代有什么本质的区别呢？它其实是 the cost of getting information 变得越来越低了，更低了。而且你可以随时随地的去这个 access information 和 connection。我记得我刚来读书的时候那时候还没有微信，要给家里打电话，还要那种买电话卡，然后拨号就很烦的。

然后你看有了微信之后就多方便， 对吧？全世界华人就连起来了，对吧？

课代表:
对。

Shuchao:
然后移动互联网的另外一个本质就是 cost of creation 变得更低了， 因为每个人都有摄像头。你可以想，移动互联网最伟大的两个产品是微信和抖音， 就是因为这两个本质变化。

课代表:
我原来把移动互联网总结成 cost of entertainment, 但是我觉得 entertainment 不是很本质的一个定义。

Shuchao:
有一点吧， 但 entertainment 我觉得是 information 的一种吧。然后你视频平台为什么起来呢？就是因为带宽的成本越来越低。即使这个快手也是中国 4G 的无限量的那个 plan 出来之后，快手开始变得特别特别的火。大数据为什么起来？或者 AI 这一波为什么起来？这个存储成本什么的变得越来越低了，或者数据的产生成本也变得越来越低了。我觉得这这一波 AI 的本质从另外一个方向去看的是这个智能的成本会变得越来越低。

就比如说它可以体现在任何方很多方面，比如说它可以变得使得软件成本变得越来越低了。以前的软件是大众化的就是通用软件，现在可能是个性化软件，就是比如说你的一个工作流刚才你说就自动化掉了，或者是其他的这个 AI 帮你做各种各样的事情，那现在就是说为什么产品不明确呢？我觉得大家其实在哪些领域通过把这个成本这个一台阶的成本降低来做事情还不是特别的明确，但我觉得软件是一个相对明确的场景。

课代表:
我稍稍分享一下我的那个我在这里可以讲了。就是抽象一点，大概就是这样子的。就是我们要做一个 builder，因为之前 GUI 的方式是 specific task，但是 programming general tasks are very hard to learn。其实你真的要去用编程的方式调度算力解决问题是很难的。AI program, AIo，虽然语言系调度算力变得简单，但是它是需要一个过程的。

如果你是不 disruptive 但是 valuable 的话，GUI 一般已经干了。如果你是 disruptive 但是不 valuable 的，是我们现在可以做的东西。真正的机会来自既 disruptive 但是又 valuable 的 Shark，这个是需要时间， ecosystem 和我们自己的 creativity 才可以达到的。

Shuchao:
对，其实很多时候是需要一些天才的产品的想法的，就好像这个移动互联网，其实以前就有智能手机，就 07 年 iPhone1 出来之前，但是那些智能手机就很烂，你就拿个笔，然后把 Windows 好多系统放在那个手机上面有的是。

课代表:
我当时还有说就是这个看这个智能手机到底有什么样的 innovation。它这个 paradigm shift，然后这个 paradigm shift 到底 shift 在哪里？因为在那之前大家还会比较 iPhone 刚出的时候会比较诺基亚和这个 iPhone 的区别，然后也不一定就那么厉害，但是它是在于它是人器官的一个延伸，它是 sensor，它是基于这样一个交互方式去定义的，然后它又开放了这些 app, 那就像你说的一开始手机对手机它未必是一个巨大的优势，

但是整个生态对生态它就变成了一个巨大的优势。

Shuchao:
对。我觉得是的，就有一种说法是说手机其实替换了很多的硬件，通过软件，然后这一波 AI 可能会替换很多软件。

课代表:
就是我的课上也跟大家说，就是不要去想你 build 一个微信，然后你想你 build 什么东西大家是愿意用的，因为其实微信一开始也不是为了 build 现在这个微信，包括这个 Instagram 一开始它是诸多 filter apps 的其中一个，就是那个时候有好多个 filter app, 然后 Instagram 只是一个大家喜欢用的 filter app, 然后收购了以后变成了这样子。所以说很多东西不是我们现在站在这里想能得到答案的，但是做一个大家想用的东西，总归是没错。

Shuchao:
对，我觉得就两条主线，一个是这个 Cost Intelligence 或 Cost Technology，对吧？另外一个呢就是长尾效应。你看从 Yahoo 到 Google，就是长尾内容和头部内容的这个问题，对吧？短视频也是把长尾的这个创作就激发出来了，对吧？然后所以你可以想，如果这一波使得长尾的很多智能变得越来越好，那在哪个领域是可以建一个生态的产品的？我觉得这是一个很好的思考思考的这个框架。

课代表:
那这个问题就该问你了，就是那明显有两个。非常值得被解决的问题，一个是解决 research 方面的问题，解决智能方面的问题，比如说怎么样子把 RL 利用好，怎么样子给一个正确的 reward, 怎么样在智能方面得到突破。另外一个是产品方面的，就是应用方面的问题，你怎么样子去做一个大家喜欢用的产品，然后建立生态，建立标准等等。这两个东西，你觉得重要性或者说你个人的兴趣，你会怎么来？

Shuchao:
我说一下我个人兴趣吧，我觉得过去的 11 年在 Google, 我可能三分之二的时间在做产品相关，三分之一做 research，然后现在我想反过来，更多的做 research, 因为我觉得现在瓶颈可能更多的 research, 当然我觉得其实很多时候交互限制了这个智能，就举个例子，比如说霍金给你这个两个人发短信，你也不一定知道这个人觉得有多聪明。

课代表:
对，是是是。

Shuchao:
但是你见到他，跟他聊完之后，你觉得这个人好聪明，或者是这个 Terry Tao 跟你发短信，你也不觉得他有多聪明，对吧？所以只是一个 time block，可能限制了智能的展现。这是我个人的兴趣，我只是说现在这个阶段我想更多的花时间在 research 上面。那 research 我们也是三分之二 research，三分之一产品 oriented。我的团队做的很多东西是 product-oriented research。

更多的是从这个用户的这个痛点出发来看能解决什么样的问题，而不是说那些特别烦的fundamental，需要两三年时间的这种research。

课代表:
我在 present 最后一个东西，就是 23 年的那个文章里边的一个东西，就是当时有这么一个图，当然那个时候很大的争论是要跟 existing 的这个 Machine Learning Scientist 们告诉他们就是大模型和你们的这个传统 ML 不一样，所以说这个点就是 fine tune，尤其是 fine tune 这个词在传统的 Machine Learning 和大模型里边其实不太一样，所以说当时为了解释清楚这个点，但是这个图我觉得他说了另外一个事情，

就是最底下这一层是把我们现有的已经 Align 好的模型，然后去加各种各样的生态的 Integration, 也就是今天 Cursor 他们做的很多事，包括各种 GPT wrapper 做的事情，我在这上面加上 UI, 加上其他的跟其他的 API 的 Integration 去做的，包括微软当时的 Copilot 走来都是这样子的，这就是我说的第三条可能产品化现有的大模型的能力的，然后再往上我觉得这一层是 Alignment，包括 Alignment 不同方式，

就是 Instruct 也好，Chat 也好，或者说是一些别的 Alignment 方式，然后这里边可能你需要一些私有数据，或者说你改变这个 reward，就是 RIO 里边的 reward, 在这一个里边你可能会出来一个完全不一样的，就是可能这个 GPT 它的 output 不是我们人人能理解的这种语言，但是它可能和 output 一些很厉害的对医疗的理解，对生物的理解，maybe，然后再往上才是这个 pre-trained 大模型，它可能会有一些不断的迭代，

原来我是有这样的一个一个抽象的理解，但是我现在我可能会更觉得就是上面这个东西呢就不知道会到底怎么样，就是它可能会提高，但是我们可能改变，因为我们跟 AI 的交互界面的限制所导致我们可能无法理解这里边的真正的提升，然后可能是下面对我们来说是更好用的。来说这么一个理解框架，多只 Lizable 和。

Shuchao:
Specialist，我觉得也是一个平衡。比如说，过去的，比如说 AlphaGo，就是从围棋开始，对吧？然后到 AlphaGo Zero，还是围棋，只是说你不需要人类的这种 prayer 了。然后到这个 AlphaZero，就是把这个围棋，象棋，还有日本的一个什么棋，这个放在一块做的，就是它更是 reliable，但还是说只是棋类游戏，对吧？未来也不一定说只有一个模型它能够做所有的事情，对吧？也有可能说哦，对于生物有一个模型，对于法律有一个模型，或者这都是有可能性的。

课代表:
对对对，这是我的直觉，我的直觉是它有一个底层的大模型，但是它会通过不同的 alignment，我把 RL 归成 alignment 一种方式吧，它会通过不同的 alignment 去激活这个模型的不同区域来做不同的事情。嗯，这是我的直觉。我们马上 wrap up，已经聊了两个小时了，那最后的 wrap up 就是想把这整个的这些东西回到个人发展上，因为就是我们聊了很多认知，然后我们的认知也不停地在迭代进步，但是这里边可能最重要的还是个人的成长，

就是在这个时代里边你是怎么样子成长的？我觉得第一个讲的那个内容我是很有感触和共鸣的，你是在寻求一个更陡峭的学习曲线，你觉得这样的一个学习和验证，就是走在人类知识前沿并且不断地看到新东西突破这种会给你带来巨大的这个满足感。那现在你得到了这样的一个机会，今天正好是 2024 年的最后一天吗？所以说让你去回顾一下 2024 年和给 2025 年提一些 resolution 的话，你大概会怎么样子去。回顾你的 2024 年和你对 2025 年有什么样的 resolution?

Shuchao:
其实个人发展是一个特别好的话题了，但是我觉得它也导致很多的时候的这个焦虑，迷茫，不开心。以前我比较反感的这个这个一命二运三风水，四计赢得五读书嘛。

课代表:
你为什么反感这个？

Shuchao:
对，我之前比较反感，现在越来越我觉得 having peace with it，就是过去的很多，比如我在 Google 呆了 11 年，其实有很多很多好的机会，但是我没有选择去离开 Google, 都被留下来了，各种，甚至有两三次我都下定非常大的决心，我觉得要离开了，但结果还是被留下来了，可能还是这个决心不够大，其实错失了很多很多的就个人发展也好，或者是经济上的这个 upside,

我同学里面有好多就是 billionaire，或者是这个 multi billionaire，不管是创业也好，或者在适当的时候加入一个比较小的公司也好，不管是这个短视频这一波，还是值钱的这一波，还是包括数据库，或者是 AI 这一波，其实很多人都已经，对对对，所以我觉得我想的 2025 年一个resolution可能心态更平和吧，我今年的实现的一个resolution是我可觉得可能 take 很多的 risk, 就是更多的 export。我希望能有一些好的成果出来。
Idea
巴菲特买入苹果的逻辑比想象的要简单，就是科技企业越来越大，还是很难搞清楚这些科技企业的未来，但如果要在8-9家企业中挑1家，苹果明显是最靠谱的选择。
然后我觉得最重要的还是能够不停的 practice 和 deliver 东西。因为我们现在团队做的一个就是这个 product-oriented multimodal 的这个 research, 还有一个 reinforce fine tuning，其实我们是我们组合另外一个团队合作做的是我们 initiate 出来。就是因为我觉得 Reinforcement Learning 其实需要更多的各个领域的数据也好，

或者 reward 也好，那其实这就不只是数学啊，或者变成相对窄的领域。我自己个人定的一个 resolution 是把这个锻炼身体可能排在更重要的位置上面，我觉得过去一年身体其实我颈椎一直有问题，就是在 20 年的时候做短视频的，前几个月吧，就一直工作时间太长，颈椎出现很大问题。

课代表:
我也有，如果你看我之前的视频和现在，就是我的颈椎曲度差别很大，我回头可以分享一些我的经验经历，还是找到了一些方法的。

Shuchao:
其实保存身体很重要，科技的发展，然后未来几十年， 发展只会加速，不会减速，除非有很大的战争或者其他的各种事情。但是我觉得绝大部分人即使并没有看到 AI 这一波的潜力有多大，我觉得大部分人会 overestimate 短期，但是 underestimate 中长期，因为人的直观都是线性的。但是很多事物的发展，包括投资的发展，它是指数增长的。那人是很难有这种指数的这种直观的。他只能说在某一个点，在这个指数上面做了个切线，然后所以这个切线就会在短期去 overestimate。

我对 AI 的中长期发展非常乐观，短期可能有些害怕，但是中长期我觉得它会对人类社会变成非常本质的影响，甚至不亚于电脑的产生。

课代表:
比尔盖茨说他的生命只有两个，就是 AI 和另外一个可以相提并论，另外一个是 GUI。他不是说电脑，也不是说 Mobile，也不是说那些，而是 GUI。

Shuchao:
因为 GUI 使 PC 变成可能，对吧？

课代表:
我对他说的理解就是从人类和算力的交互上，GUI 是把人类和算力交互平权了。所以说你看，这不光是 PC，包括 Mobile 的所有的这些东西也都是 GUI power 的。然后开始把 AI 提到了这样一个高度，我是非常认同的。其实就是这个就是短期就是大家会对大家不理解指数，以及它这个 ecosystem 才能发出影响。所以说短期高估长期低估是一个不断会被历史重复的事情。最后一个问题就是你的你还打算工作 80 个小时吗？

Shuchao:
我没有觉得累其实，就是其实就跟你一个好比一样，你很开心，那就那就不会觉得是是一个负担了，这个不太好，可能有点工作狂的这个这个，但是很多时候这个。

课代表:
这是一种人格类型，然后这种人格类型，Elon Musk就说他去 vacation 非常 miserable, 然后我自己和我身边有几个人也是这样的类型，我们后来发现最重要的就是心态，就是知道自己是个什么样的人，然后在这里边自恰就挺好。

Shuchao:
对对对，我觉得这个 2025 年少一些阴谋，多一些成果和这个开心最重要。

课代表:
好的，非常感谢来我们频道上做客，然后反正回头有什么东西我都会先给你发一遍，不合适的我都会删掉的。

Shuchao:
好的好的。

课代表:
那祝你这个新年快乐。

Shuchao:
好的好的。拜拜。

    热门主题

    PGR
    CB
    AXP
    V
    MA
    COF
    AAPL
    GOOG
    MSFT
    AMZN
    NVDA
    TSLA
    TCEHY
    IBKR​
    KO
    OXY
    CNOOC
    RMD
    Right People
    Warren Buffett
    Steve Jobs
    Ideas
    I.C.S
    I.C.S.Capital