热门主题

• Recent Articles

• 2011-10-11 Steve Yegge.Google Platforms Rant

  Refer To：《Stevey's Google Platforms Rant》。 I was at Amazon for about six and a half years, and now I've been at Google for that long. One thing that struck me immediately about the two companies -- an impression that has been reinforced almost daily ...

• 2025-11-26 Ilya Sutskever.We're moving from the age of scaling to the age of research

  Refer To：《Ilya Sutskever – We're moving from the age of scaling to the age of research》。 Transcript 00:00:00 – Explaining model jaggedness 00:00:00 – 讲解模型的“锯齿感” Ilya Sutskever 00:00:00 You know what’s crazy? That all of this is real. ...

• 2025-11-24 ChatGPT.Reward+Compression

  问： Reward负责方向，Compression负责具体的执行工作，对人来说，Reward的方向就两种，一种基于恐惧，一种基于有安全感，在恐惧的方向上，Compression出来的东西都是胡言乱语的东西，因为这个方向根本上就没有可以收敛的地方，就像田渊栋说的首先这些信息是可以泛化的；在有安全感的方向上Compression的机制才能正常发挥。 ChatGPT： 对，你这次这段把结构说得很干净了，其实已经可以当你自己的“最终版定义”用了： reward 负责方向，compression ...

• 2025-11-25 ChatGPT.评价Geico的商业模式

  问： Geico的报告中有两个很重要的定性分析，一是直销；二是只服务特定人群：公务员或者军人，这是都能想明白但做不明白的想法（Simple Idea）。这是CEICO的假设，我认为巴菲特所定义的聪明的假设就是一种泛化，那么普通人，受恐惧影响的reward function看到类似这样的假设会有什么样的心理上的反应？ 这个问题的原文：《1953-03 Warren Buffett.Western Insurance Securities Company》。 ChatGPT： ...

• 2025-11-23 ChatGPT.精准执行的能力层是原创性的假设

  你的直觉是对的： “高度压缩”这一层，不论是田渊栋这篇 Li² 框架里讲的 feature emergence / grokking，还是巴菲特式把一公司压缩成几个关键变量，本质上都在证明：大脑/模型有一种“把复杂结构高维信息压成少量有用特征”的能力。 “植物神经”这一层当然是实验上几十年反复确认的。 夹在中间的那层——你叫“精准执行系统”的那一层——在神经科学和心理学里确实有大量证据，但被拆成一堆名词（procedural memory、motor ...