<?xml version="1.0" encoding="utf-8"?><feed xmlns="http://www.w3.org/2005/Atom" xml:lang="en"><generator uri="https://jekyllrb.com/" version="4.4.1">Jekyll</generator><link href="https://ivancheng.xyz/feed.xml" rel="self" type="application/atom+xml" /><link href="https://ivancheng.xyz/" rel="alternate" type="text/html" hreflang="en" /><updated>2026-07-24T11:08:54+00:00</updated><id>https://ivancheng.xyz/feed.xml</id><title type="html">Ivan Cheng</title><subtitle>Ivan Cheng&apos;s personal website. A place to record my learning and share my thoughts.</subtitle><entry xml:lang="zh"><title type="html">末代牛马启示录（一）</title><link href="https://ivancheng.xyz/the-revelation-of-the-last-labour-part-1/" rel="alternate" type="text/html" title="末代牛马启示录（一）" /><published>2026-07-22T09:13:00+00:00</published><updated>2026-07-22T09:13:00+00:00</updated><id>https://ivancheng.xyz/the-revelation-of-the-last-labour-part-1</id><content type="html" xml:base="https://ivancheng.xyz/the-revelation-of-the-last-labour-part-1/"><![CDATA[<p><img src="/assets/imgs/elephant-in-the-room.jpg" alt="The metaphorical elephant in the room" /></p>

<p>前段时间我读了溥仪的自传《我的前半生》，大致了解了这位著名的“末代皇帝”的一些生平。中国改朝换代被废的皇帝那么多，为什么只有他被称为末代皇帝呢？溥仪的退位代表中国帝制的终结，此后中国进入了共和制。于是我想既然时代有始末，落幕时代里的最后那一代人便可以冠以末代的称号。有幸我们身处一个AI登场、旧时代谢幕的时期。过去我们骄傲于能写出一段完美的代码、画出一幅精致的设计图，如今在AI几秒钟的生成速度面前，这种骄傲变成了一种无处安放的惶恐。假如新时代不再需要打工人，作为当代打工人的我们，或许就可称为“末代牛马”。旧时代崩塌了，并不意味着旧时代里的人会消失，AI的出现最终是造福人类还是毁灭社会？这样一头房间里的大象单靠个人和公司甚至政府都无力解决，这需要整个社会的智慧来达成共识，在此之前，我想尝试拆解一下这头大象。</p>

<h2 id="钱是什么">钱是什么</h2>

<p>关于货币的起源，我记得在小时候课本上学到的是，古人的生活主要靠自给自足，后来他们的生产力提升还有了剩余物资来交换满足彼此的需求，这称为物物交换。比如张三有小麦，李四有鸡蛋，张三需要鸡蛋的时候用小麦去找李四换；可如果当时李四不需要小麦，张三就换不了鸡蛋，为解决参与交换双方需求不一致的矛盾，聪明的古人发明“货币”来作为中间交换物，这套推演出自亚当·斯密1776年的《国富论》。</p>

<p>然而，现代的考古发现揭示的却是另一个故事，在距今5000年前美索不达米亚出土了数十万块的楔形文字泥板，除了大名鼎鼎的《吉尔伽美什史诗》和《汉谟拉比法典》，其中的大部分泥板记录的是当时社会上的各种借贷，详细记录着谁借了什么、什么时候还、利息怎么算。</p>

<p>这意味着什么呢？</p>

<p>想象一下我们生活在几千年前的紧密村落里，邻里之间的交易是靠人情和信用，张三今天从我这拿走了一只鸡，我不需要张三立刻还我等价的东西，我只需在心里记下“张三欠我一只鸡”，以后当我需要张三帮助的时候，张三来帮我就当把之前的忙还上了，这种延迟满足的互惠关系，本质上就是“债务”。</p>

<p>并且，“债务”是可以转让的，过两天李四帮了我的忙，以后李四需要我一只鸡的时候，我可以让李四去找张三要。一个只有十几口人的村子靠心里记账和口头约定或许能弄清楚谁欠谁的人情（favor），一旦村子大了人多了，这些“礼尚往来”很容易理不清道不明了，然后在彼此间产生不信任，此时书面记录变得非常重要。</p>

<p>美索不达米亚平原的官僚和祭司们建立了一套更完善的体系来管理这些“人情世故”，在泥板上清楚地记录每笔债的情况，还发明了衡量债务价值的虚拟单位谢克尔（Shekel），在当时，人们兜里并没有亮晶晶的“谢克尔钱币”，它只存在于神庙的账本和泥板上，美索不达米亚的人们拿着泥板相互兑换物资并砸碎泥板时，这些泥板开始担任货币的职责。</p>

<p>在这个过程中，人类通过“记账和债务”，产生了信用和价值体系，这个系统运行了两千年之后才发明了专门用来交易的实体“钱”。换句话说，钱是货币的实体，货币源自债务，债务源自信用，信用源自人情。中国人常讲的面子，本质上就是民间的信用体系。</p>

<p>国家政府发行的货币其实是当前这个国家管理者欠社会所有人的债，当代国家政府发国债和印钱是一套组合动作，所以政府超发货币并不能解决贫穷问题，反而只会让社会信用体系崩溃。</p>

<p>此外，历史上也存在过不使用货币的强大文明，比如古埃及、印加帝国、玛雅文明，由此可知钱并非人类社会存在的必需品。人类社会真正需要的是分工、组织和信任，而钱，只是我们用来记录信任的一种工具。</p>

<p>也就是说，当前我们的信用体系是建立在人与人之间的人情之上，如果有一天变成所有人都欠AI人情，这会让当前信用体系崩塌，那时候钱也没有存在的必要了。我们真的需要钱吗？我们真正需要的是物质和服务。</p>

<h2 id="工作是什么">工作是什么</h2>

<p>在工作的新鲜感过去之后，我时不时问自己和周围的人，工作的意义到底是什么？公司管理层大概率会和你谈一些宏大的理想，从公司的使命到社会责任；身旁的同事或许会反问没有工作我们如何赚钱维持体面的生活。经济学家也许会告诉你工作是创造社会财富的方式。这些答案都没错，也是我们一直被教导的，现代教育系统的设计也在为这些答案服务。</p>

<p>即便我们已经身处一个产品（衣食住行）爆炸的时代，可我们却还要工作。对社会系统来说，工作既是财富的创造与分配，更是一种维持社会秩序的隐性暴力，并且这里的维持秩序有两层含义，第一层含义是社会稳定，如果没有工作，人们就会像在工业革命期间英国纺织工或欧洲失地农民一样，走上街头去砸碎机器、反抗阶级；第二层含义是工作本身在维护系统秩序，社会作为一种系统，它会自发从有序走向无序，也就是系统论里的熵（Entropy）增，为了防止系统崩溃，便衍生出了无数以“维护系统稳定”为生的工作。</p>

<p>你是否想过，为何现代城市里的核心地段有如此多的办公楼？倘若你生在北宋，来到当时世界最繁华的都城汴梁，你定能看到虹桥、城楼、酒楼、客栈、寺庙、兵营、商店，也能找到作坊、市场、药店、裁缝店、官衙，等等，就如《清明上河图》里描绘的那般。然而，你绝对找不到如现代城市CBD那样的商业办公区域。世界各大城市里的办公楼在18世纪工业革命之后如雨后春笋拔地而起，为了容纳更多的办公室我们还建造了摩天大楼，这些摩天大楼也成为城市间互相攀比的资本图腾，为什么要修这么多办公楼呢？当然是为了容纳现代社会大量的工作岗位，可是这么多工作如何产生的呢？工业革命喷涌了巨额的财富和资源，而财富和资源的积累必然催生出等量的纠纷与博弈。</p>

<p>为了解决这些纠纷，管理这个庞大的资本帝国，社会制定了更密集的法律，也因此催生了对专业管理工具人的需求。会计、律师以及无数白领之所以被豢养在办公楼里，是因为他们是这台“财富管理与合规机器”上的构件。换句话说，与巨额财富一同诞生的还有秩序的混乱，它们就如硬币的两面，财富在增加，熵也在增加，随之而来的是逆熵增的需求。现代CBD里的白领，本质上不是“财富的创造者”，而是“系统的维护费用”。</p>

<p>为什么医生律师收入比其他职业高？或许有人会说他们的智商高学历高而且掌握的技能很有挑战，从熵增的角度来看，医生在解决人体健康的熵增，律师在解决社会信用的熵增，他们解决的熵的影响力大小决定了他们的身价。人类社会上的工作，就是向社会系统输入“负熵”的过程。正如薛定谔在《什么是生命》中所言：</p>

<blockquote>
  <p>Life feeds on negative entropy. （生命以负熵为生）</p>
</blockquote>

<p>对个体而言，工作也是一种生活惯例（routine）。早晨起床以后，我常常需要把洗碗机里前一天晚上洗干净的碗碟一件件放回橱柜，我厌恶这个过程，它机械，重复，毫无成就感，隔两天又要循环一次。当一个人从事某项工作多年以后，面对日常工作内容的大部分都能进入“无他焉，唯手熟尔”的状态，只有那些真正需要人的创新力、判断力以及人与人之间思想碰撞火花的部分能带来短暂的兴奋。尽管收拾洗碗机让我厌烦，但同时它也给我带来了一点确定性，我可能不会做得更好也不会做得更糟，它像生活里的一根锚固定住日常的秩序。未来人们或许可以把工作代理给AI来做，正如人类文明史本身就是一部不停将肉身自动化的历史，但被机器解放出来的人类也绝不会就此止步，我们总归会发明新的方式来对抗虚无，不断寻找新的锚。</p>

<h2 id="人的作用">人的作用</h2>

<p>我们总喜欢在说话前加一句“客观地说”，但这个世界上没有客观的角度，唯有主观，例如前面这个声明本身就是主观的。</p>

<p>量子物理的双缝干涉实验打破了“绝对客观”的幻觉，得出的结论是“观测即干预，观测即创造”，观测者和被观测者之间有不可分割的量子纠缠。万事万物皆在因缘关系中，这正是两千年前的佛家所开示的“四大皆空”，没有能完全独立存在的实体，只有动态流转的因缘。</p>

<p>在这个充满无限关系的宇宙里，每个人通过不同视角来描述和记录这个世界，然后提出自己的观点(Perspective)，但每个人的观点都必然是狭隘的，无论一个人的视野多么宽广，思维格局多么宏大，你能捕捉到的只能是复杂系统的一个微小的切片。在这个世界上，没有一个人能站在“上帝视角”俯瞰全貌。那种囊括宇宙万物的全知全能，只属于宇宙的底层代码——我将其统称为“更高的秩序”（The Higher Order）。</p>

<p>既然人类的视角如此狭隘，观点如此片面，那我们为什么还要不知疲倦地观察、表达、提出观点？存在主义的看法是，这个宇宙本身没有任何意义，人的生死对宇宙而言也没有意义，“天地不仁，以万物为刍狗”。唯有“虚无”才是伴随人一生的底色，从孩提时代到垂暮之年，人要靠不停寻找意义来填充虚无这口无底洞。而且厌恶虚无是写在人基因里的本能，所谓的“虚无”并非空无一物，它在系统论里的代名词叫做“最大化的熵增”，也就是绝对的无序、混乱与沉寂。</p>

<p>抛开物质的基本需求，人最核心的需求只有两个，身份认同（Identification）和被认可（Recognition）。</p>

<p>那些看似独立的需求，本质上都是“身份认同”的变体。身份认同换句话说，就是给自己贴上“我是谁”的标签，包括说什么语言，吃什么食物，用什么牌子的产品，有哪些兴趣爱好，喜欢哪个明星，支持哪支球队，信奉宗教信仰，信仰某种主义等等，这些五花八门的需求，本质上都是身份认同的需求。为了满足身份认同的需求，人热衷于争得你死我活甚至不惜发动战争。人能无休止地争论粽子要吃咸的还是吃甜的，叫嚣着捍卫自己永远不会去的“边境线”。</p>

<p>那些看似庞杂的欲望，本质上都是“被认可”的投影。黑格尔在《精神现象学》中一针见血地指出“人的自我意识无法自我证明，你必须在另一个自我意识的眼睛里，才能确认自己的存在”。人为什么要考第一名？为什么要发朋友圈？为什么要升职加薪？为什么要买奢侈品？为什么资本家即使富有还要赚钱？本质上都是在向社会索取凝视，通过外部的反馈来确认自己的重要性。亲密关系里最极致的体验，不是多巴胺的释放，而是“世界上终于有一个人，能完全看见我、理解我、包容我”。这种高级的爱，就是最深度个性化的被认可。权力是强迫别人认可自己的一种极端手段，“你必须听我的，这意味着你无法忽视我的存在”。</p>

<p>于是这里形成了一个三角闭环，我通过独特的视角产生一个观点，这个观点构成了我的“身份认同”；随后，我把这个观点抛向世界，要求周围的人来“认可”我和我的观点。</p>

<p><img src="/assets/imgs/human-essential-motivations-triangle.png" alt="The triangle of human essential motivations" /></p>

<p>从古至今，这个闭环就像一台永动机点亮人类群星闪耀。从秦皇汉武、唐宗宋祖、凯撒、拿破仑、牛顿、爱因斯坦，直至今天的巴菲特、黄仁勋、马斯克，无一例外，都在这套动力学模型里博弈。帝王东征西讨去开疆拓土，科学家沙里淘金去突破科学边界，企业家纵横捭阖获取商业利益，普通人在社交网络上渴望每一个点赞，本质上都没有区别，我们都在用“主观的创造”，去向宇宙索要凝视。</p>

<p>除此之外，人类还有让这份认可永续的强烈冲动，似乎唯有如此，方能对冲时间的无尽虚无。</p>

<p>一个帝王最得意的，往往不是取得某场战争的短暂胜利，而是自己的政治遗产能否代代相传。正如拿破仑所言：“我真正的光荣并非打了四十次胜仗，滑铁卢之战抹去了关于这一切的记忆。但有一样东西是不会被抹去的，它将永垂不朽，那就是我的民法典。”一个企业家最骄傲的，通常不是成为一时的世界首富，而是一个能够跨越周期、永久运行的企业。古代王公贵族至死都在寻找长生不老，当肉身的消亡不可避免时，他们便只能建造一座座巍峨的丰碑、金字塔与铸造精美的青铜器来诉说功绩，寄希望于冰冷的石头能代替他们，去对抗肉体那无可挽回的熵增。</p>

<p>这个闭环加上人的必朽肉身，就是人类产生“逆熵增”的原动力的终极秘密，也是人与AI之间无法逾越的鸿沟。</p>

<h2 id="ai是什么">AI是什么</h2>

<p>自从John McCarthy在1950年代首次提出AI这个抽象概念，70年过去，AI终于成为人人都在讨论和使用的工具。假如John McCarthy穿越到2026年，我挺好奇他将怎么评价如今的AI。但有一点他大概会认同，AI本质上是让人类更方便地使用计算资源。</p>

<p>杰弗里·辛顿（Geoffrey Hinton）和约翰·霍普菲尔德（John Hopfield）因“他们的基础性发现与发明，让人工神经网络能够应用于机器学习”而荣获2024年诺贝尔物理学奖。有趣的是，他们并未去发现新的自然法则，而是开创性地把物理学的方程平移到了计算机宇宙来创造AI系统。从使用自旋玻璃模型(Spin Glass Model)来构建出神经网络，到利用能量最低原理(Energy Minimization)来产生联想记忆与残缺数据修复；从引入玻尔兹曼分布(Boltzmann Distribution)赋予神经元概率抖动以提取高维特征，到利用热力学退火(Simulated Annealing)防止机器“指鹿为马”以锁死全局最优解，再到通过自由能最小化(Free Energy Minimization)实现无监督自主学习。他们证明了，一旦给数据通上电，给网络定好能量函数，虚拟的数据矩阵就会遵循热力学和统计力学的物理规律，自己“涌现”出智能。</p>

<p>作为普通用户的我，感觉AI更像一个聪明的操作系统。过去人们想使用计算资源，从一开始的巨型计算机时代，使用者要自己用纸带打孔编写程序；快进到个人电脑时代，通常是先安装一个基础的操作系统，然后在此之上安装一些别人开发的特定软件来处理特定需求，或者有编程能力的人会自定义软件来使用，即使后来出现了各种互联网应用（SaaS），打开浏览器便能使用，但仍有不低的学习和使用门槛，并且私人定制化程度也不高。现在有了AI，彻底重塑了这种秩序，AI自己就是那个终极的操作系统。在这个新的操作系统里，代码被自然语言取代，复杂的操作菜单被一句简单的Prompt替代。人类不再需要苦练任何软件的操作路径，取而代之的是绝对定制化的操作体验。</p>

<p>回顾AI和操作系统的发展历程，它们就像在同一起点开始的两条平行故事线终于在今天相交了。</p>

<p>要让AI真正成为终极的操作系统，我认为还有一些问题有待解决。目前主流大模型供应商的商业模式，无一例外都建立在数据中心的远程算力之上。但我明明只是想整理本地的一个文件夹，却要把数据打包上传到万里之外的服务器，等云端算完再返回指令，这不仅带来了巨大的带宽浪费与隐私风险，更让操作系统在断网时直接瘫痪。试想人类前往极地考察，抑或是迈向更遥远的星辰大海，这一来一回的通信岂不是人类征服星辰大海的绊脚石？如果一个操作系统离了网络就变成一块砖头，它又如何支撑人类去征服未知？一种去中心化的AI是必须的。</p>

<p>然而，要在本地终端部署大模型，当前的硬件和算法上还有不小的矛盾：一方面，大模型急需通过量化、蒸馏与剪枝进行“瘦身”来降低硬件要求；另一方面，我们今天所使用的计算机，底层依然沿用着数十年前的冯·诺伊曼架构。在这种“计算与存储分离”的旧架构下，运行海量矩阵相乘的AI模型，90%以上的电能和时间都浪费在了数据在芯片与内存之间的来回搬运上。冯·诺伊曼架构天生不是为了神经网络而生的。AI若想真正剥离云端脐带、扎根于人类的每一个本地终端，不仅需要软件算法的极致降维，更需要一场彻底颠覆旧架构、向生物大脑看齐的“存算一体”硬件革命。</p>

<p>另外我想开一个脑洞，如果只有AI，这个世界会变成什么样子？也许世界会呈现一种死寂的秩序井然，代码还在运行，工厂仍在生产。然而，这一切却不再有“为什么”了。</p>

<p>这一篇先写到这里，下一篇我想讨论一下AI带来的影响。</p>]]></content><author><name>Ivan Cheng</name></author><category term="Writing" /><category term="AI" /><category term="Entropy" /><category term="Post Work Society" /><category term="Identity And Recognition" /><category term="Motivation Triangle" /><category term="Decentralized AI" /><summary type="html"><![CDATA[]]></summary></entry><entry xml:lang="zh"><title type="html">为何AI仍未取代我们</title><link href="https://ivancheng.xyz/why-has-not-ai-replaced-us/" rel="alternate" type="text/html" title="为何AI仍未取代我们" /><published>2025-12-02T09:40:00+00:00</published><updated>2025-12-02T09:40:00+00:00</updated><id>https://ivancheng.xyz/why-has-not-ai-replaced-us</id><content type="html" xml:base="https://ivancheng.xyz/why-has-not-ai-replaced-us/"><![CDATA[<p><img src="/assets/imgs/spinning-jenny.jpg" alt="The Spinning Jenny" /></p>

<p>毫无疑问，这两年最热门的话题无疑是 AI，我记得大概在 2020 年问过一位研究 AI 的朋友，什么时候 AI 会替代程序员的工作，那时他说很难。没想到 2022 年 OpenAI 的 ChatGPT 横空出世，举世震惊，好像全世界都没有做好心理准备的情况下，AI 的拐点就突然出现在我们面前，一夜之间犹如科幻照进现实。惊叹之余，当时讨论最多的话题有哪些工作最容易被 AI 取代，或者 AI 什么时候会取代人，要么是做哪些工作最不容易被 AI 取代，史称“第一次牛马危机”。时至今日，三年过去了，虽然让人担心的巨大裁员并未发生，但 AI 何时取代人的工作这个话题依然在热烈讨论，恰逢过去两年确有不少公司裁员，多则几千人少则几十上百人，裁员的主要原因不见得是 AI 的出现导致的。这里有一个大的背景不应该被忽视，大瘟疫时期的低利息环境让许多公司轻松融资，不少公司非理性投资和扩编人员，造成人员过度冗余，公司运营效率降低，疫情结束之后，为抑制通胀，各国央行执行升息政策，经济环境恶化，公司利润下滑，公司希望通过或多或少的裁员来降低运营成本来提高利润。这时 AI 的适时出现，恰好和公司的裁员需求碰上，甚至还有公司推出 AI 产品号称能代替人工，此时 AI 转型给公司 CEO 们提供一个战略级的裁员理由，也不晓得以 AI 之名裁员的公司最后用上 AI 产品来代替人工了吗？</p>

<p>现在 AI 的发展处于方兴未艾的阶段，时刻都有新的名词和新概念被发明出来，AI agents，MCP，RAG, LangChain 等等，这些新概念本质上关注如何有效应用 AI 来解决现有的问题。当然应用对产业发展至关重要，如果不能应用，产生不了价值，这个产业便不可持续的吸引投资和人才。但这些新的概念并非 AI 取代人的关键，核心还是目前 AI 的原理。所以我想看看当前 AI 原理来探讨目前 AI 对取代人类的可能。</p>

<h2 id="ai-处于什么阶段">AI 处于什么阶段</h2>

<p>理论上，AI 的发展会经历三个阶段，弱 AI（Weak AI, Narrow AI）简称 ANI，强 AI（Strong AI）也叫 AGI，超级 AI（Artificial Super Intelligence），简称 ASI。</p>

<p>虽然我们感觉现在的 AI 已经很强大了，但是 AI 还尚处在弱 AI 的阶段。因为当前的 AI 模型都是训练出来解决某些特定范围内的问题，也可以说 AI 模型的训练的数据是巨量的有明确答案的数据，一旦尝试靠它来解决训练范围之外的问题时就显得不太灵光了。有时对我们的提问，AI 的回答就似胡编乱造(hallucination)，即便你告诉它如果你不知道请说不知道，可是 AI 从不承认自己的无知，这并非 AI 不愿承认，而是它不清楚自己找到的答案并不正确，这难免让人怀疑 AI 是否真的有推理能力。也许 AI 给我们造成的压迫感，更多还是由于大语言模型在知识储量上绝对胜过任何人类个体，毕竟它们学遍了整个互联网上公开的知识，但知识量的碾压并不能代表智力上的碾压。</p>

<p>下一步，来到强 AI （AGI）阶段，或者叫通用 AI，这类 AI 能够处理问题的能力没有范围限制，并且会不断的自我学习和自我进化，到那个时候，AI 的能力无限接近接近人类。</p>

<p>最后，来到超级 AI（ASI）阶段，那时的 AI 超越人类所有的优点，拥有自我意识，显而易见最大的风险在于一旦它真的出现，人类有能力去掌控它吗？</p>

<h2 id="当前的-ai">当前的 AI</h2>

<p>人工智能（AI）的概念在电子计算机发明不久的 1950 年代就被 John McCarthy 提出了，他深信计算机除了完成计算，应该还能做的更多，计算机能学习并具备所有智慧的功能（“Every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it.”），通俗地说，就是让计算机拥有与人一样学习和思考的能力。经过几代人几十年的探索，当前实现 AI 的路径大致是从机器学习到神经网络到深度学习到现在的大语言模型，像剥洋葱一层一层被探索出来，这条路径能否带领我们走向 AGI 和 ASI 并不确定。</p>

<p><img src="/assets/imgs/ai-path.jpg" alt="AI path" /></p>

<p>机器学习（machine learning），简单来说就是让机器使用算法去学习我们提供的训练数据从而寻找数据里的规律（pattern），然后让机器用找到的规律来识别新的数据并做出预测和判断。这样做相较于一般的基于规则编写的计算机程序，虽然牺牲了一些准确性，并且还存在结果不可预测性，但得到了更好的灵活性，在现实世界里，很多场景是不可能完全靠人力来提前预设所有变量并制定相应规则，图像识别是一个经典的例子，也就是说机器学习为我们提供了一个当前主流的基于规则系统（Rule Based System）之外的选择。</p>

<p><img src="/assets/imgs/neural-network.png" alt="Neural Network" /></p>

<p>机器学习有不同的实现方法，神经网络（neural networks）是其中之一，作为一种模型框架，它的诞生受到人脑生物神经元（neuron）的启发。机器学习里的神经元的概念并不复杂，每个神经元带有三个关键的值。</p>

<ol>
  <li>激活值（activation），这是一个从 0 到 1 的值，每一个神经元的激活值都由上一层所有神经元的激活值作为输入变量决定。</li>
  <li>权重（weight）代表当前层次某个神经元与上一层每个神经元之间联系的强弱，上一层每个神经元与当前这个神经元有一个单独的权重。假如上一层有 20 个神经元，那么在当前层每个神经元与上一层都有 20 个权重。</li>
  <li>偏置项（bias），相当于激活神经元各自需要的门槛值。</li>
</ol>

<p>一个神经网络由多层（大于 3 层）的神经元构成，第一层接收数据的输入，然后各层之间单向传递数值，在传递过程中，每个神经元对输入的数值计算之后得到一个新的数值又传递给下一层的神经元，直到最后一层神经元，最后一层里激活值最高的那个神经元就是神经网络给出的结果。计算过程是上一层每个神经元的激活值乘以相对应的下一层神经元权重，然后求和，在加上偏置项，就得到下一层神经元的激活值，如此层层递进计算。这个过程的计算方程如下</p>

\[y = f\left(\sum_{i=1}^{n} w_i x_i + b\right)\]

<p>由此可知，所谓的”学习”，实质上在给神经网络寻找一套正确的权重和偏置项，也是我们常听说的参数，把这些学习获得的参数保存下来就是模型。换个角度看，每个神经元是一个函数，这个函数自带两个常量（权重和偏置项），它接收一个变量作为输入然后输出一个结果（激活值），把这个结果作为输入参数投入下一个神经元函数，层层递进直到结束。一般来说，神经网络的神经元越多效果越好，当然参数自然也越多。一个普通的识别图片上 0 到 9 数字的模型参数规模都能上万，现在一个大语言模型的参数规模普遍达到百亿到万亿级别，因此各家厂商在宣传自己模型性能时都会强调参数的大小。</p>

<p>想要找到这套正确的参数，通过一种叫做反向传播（Backpropagation）的操作来实现，如果我们把变量输入到神经元得到一个激活值，然后把激活值作为下一个神经元的变量输入得到下一个激活值，依次递进直到最终结果的过程称为正向传播，那么反向传播就是把顺序反过来，从已知结果来层层倒推反向寻找每个神经元正确的参数（权重，偏置项），这个过程用微积分（Calculus）方程来计算。</p>

<p>这种通过反向传播训练神经网络原理早在 1970 年代便存在了，在 1980 年代在 David Rumelhart, Geoffrey Hinton, Ronald Williams 的推动下被主流接受。即使数学上的理论有了，可是在实践过程中研究者们遇到很多挫折，受限于早期神经网络架构（CNN，RNN）的设计，只能使用串行计算来进行模型训练，导致训练速度的上限很低，在数据量小的时候，训练耗时还能接受，一旦投喂大量的数据来做训练，训练耗时会达到无法接受的程度，由于无法进行大规模训练，也因此没有机会诞生大模型。另外不能理解全局上下文也是早期架构的一个重要缺陷，你是否记得早期的苹果 Siri 几乎只能完成一句话的聊天，完全不能进行多个来回的对话。再加上早期架构的一些其他缺陷使得人工智能领域一直没能推出让人满意的产品。</p>

<p>模型不能直接理解人类语言，为了让模型理解人类语言，要先把文字（word）切分成令牌（token），用令牌去嵌入矩阵（embedding matrix）中找到对应的向量（vector），嵌入矩阵相当于是一本巨大的向量字典，每个文字都有提前计算好的向量，通过把文字变成向量，模型便能理解文字了。接下来，这些向量会依次经过模型内部的其他矩阵（matrix）运算，每一层矩阵都是在经过训练学习出来的，也就是神经网络的各层。向量经过层层矩阵的传递之后，模型会输出一个对整个词表（vocabulary）所有令牌的分数向量（logits）。经过 softmax 计算转换成概率后，取概率最高的令牌作为输出。</p>

<p>关于向量，也叫矢量，简单说是有方向的数值，还记得我们在初中物理学习受力分析时肯定接触过向量的概念，力的大小仅是一个数值，受力分析最重要的是考虑力的方向，这就是说，力的数值需要力的方向来赋予意义，一个没有方向的纯数值是没有意义的。不过当时学习受力分析的向量只有两个维度，而机器学习里的向量有上万个维度，但道理并无二致，都是通过方向为数值赋予意义。因此我们可以理解为，如果有两个向量在某个维度的方向上一致，那么它们在某个维度上的意义就是相关的，如果它们在更多的维度上方向一致，它们之间的关联就越强，如同披萨之于意大利，寿司之于日本。</p>

<p>在此期间，尽管没有诞生出如 GPT 那样世人皆知的产品，但 Google AlphaGo 在围棋这项曾经被认为机器绝不可能战胜人类的领域击败了世界上最厉害的棋手，表明机器学习界已然取得了重大的进展，摸索出了模型训练和使用的基本架构，发明了至今我们耳熟能详的概念，因此计算机界最高奖的图灵奖（Turing Award）有 7 次授予 AI 方面的研究。</p>

<p>临门一脚发生在 2017 年，大名鼎鼎的 Google Transformer 架构随着那篇著名的论文 <code class="language-plaintext highlighter-rouge">Attention Is All You Need</code> 一起出现，改变了 AI 界乃至世界的发展轨迹。Transformer 架构带来的注意力（attention）机制和并行计算是诞生大模型并让 AI 成为受欢迎产品的关键，这两项发明克服了早期架构无法知晓全局上下文和训练速度慢的缺陷。</p>

<p>注意力机制中的“注意力”这个词用的非常巧妙，这个词原本表示人聚焦在自身的某种感知来获取自身周围环境信息行为，让我想起上课走神时，老师提醒我集中注意力听课，使用注意力这个词暗示了这种机制在模仿人感知周围信息的行为。注意力机制的目的在回答一个核心问题，就是作为一个令牌（token），我这个令牌应该把注意力放在周围的哪些令牌上，放多少？当回答了这个问题，我们便知这个令牌和周围其他令牌的联系。这个过程通过给每个令牌计算三个向量完成。</p>

<ul>
  <li>
    <p>向量 Q(Query) - 我要找什么？</p>

    <p>这个问题包含了许多子问题，例如我是一个名词，那我前面有形容词吗？如果我是一个代词，那我要代表的名词是什么？诸如此类的预设问题存在一个矩阵（matrix）中，一个维度代表一个子问题，用这个问题矩阵乘以这个词的向量便得到向量 Q，向量 Q 便是有关这个词的问题集合。</p>
  </li>
  <li>
    <p>向量 K(Key) - 我能提供什么？</p>

    <p>向量 K 的作用在于回答向量 Q 的问题，但为了回答 Q 的问题，令牌需要问自己一堆问题，比如我是一个形容词吗？我是一个名词吗？同样预设问题存在一个矩阵（matrix）中，一样的乘法操作便得到向量 K。</p>
  </li>
</ul>

<p>每个令牌的向量 Q 和其他令牌的向量 K 交叉对比便能得知每个令牌之间的关系亲疏。这里需要的计算量很大，比如一句话有 10 个词，先计算每个词的向量 Q 与向量 K，然后用每个词的向量 Q 和向量 K 交叉计算，交叉计算需要 100 次，如果是 100 个词，那就要计算 10000 次，计算量随着上下文（context）长度呈指数增长，所以上下文的长度成为大语言模型的瓶颈。</p>

<ul>
  <li>
    <p>向量 V(Value) - 在上下文中，我带来的实际信息。</p>

    <p>既然知道了每个令牌之间的关系亲疏，那么把与我和与我相关的其他令牌的意义（向量）叠加在一起便是我在全局中能贡献的实际意义（向量 V），比如一个名词找到相关的形容词放在一起的之后得到的新意义，也就是说，我原本的词意被赋予了上下文的意义。</p>
  </li>
</ul>

<p>以上过程叫自注意力机制，公式如下</p>

\[\text{Attention}(Q, K, V)
= \operatorname{softmax}\!\left( \frac{QK^{\top}}{\sqrt{d_k}} \right) V\]

<p>在 transformer 架构中，一次注意力计算叫单头注意力（single head of attention），单头注意力只能关注一种语法模式，而多个头合起来叫多头注意力(multi-headed attention)。</p>

<p>举个例子，“我昨天在图书馆遇到了一位很久没见的朋友。”</p>

<p>第一个头负责处理时间关系</p>

<pre><code class="language-txt">我 → 昨天
遇到 → 昨天
</code></pre>

<p>第二个头负责处理位置关系</p>

<pre><code class="language-txt">遇到 → 图书馆
</code></pre>

<p>第三个头负责处理名词和形容词关系</p>

<pre><code class="language-txt">朋友 → 很久
朋友 → 没见
</code></pre>

<p>第四个头负责主语和动词关系</p>

<pre><code class="language-txt">遇到 → 我
</code></pre>

<p>第五个头名词和数量关系</p>

<pre><code class="language-txt">朋友 → 一位
</code></pre>

<p>多头注意力就像有多个“聚光灯”同时照亮句子的不同语法关系，从而完整理解句子的结构和含义，而且多头注意力的运算是并行的，因此多头注意力的运算并不比单头注意力运算慢。实际的架构中头数更多，例如 GPT-3 有 96 个头。经过多头注意力的计算之后得到“理解了上下文”向量，然后把该向量投入模型之中，经过模型神经网络的层层传递，最后选取可能性最高的令牌作为预测结果。其中的过程我省略了很多步骤和结构。</p>

<p>综上所述，神经网络就是进行概率预测，Transformer 架构的出现，使模型具备了理解上下文的能力，从而能够预测语言。看似神奇的效果并非魔法，只是海量的参数与复杂结构，使得模型的预测机制难以被我们完全解释。</p>

<h2 id="缺少价值观">缺少价值观</h2>

<p>科技公司 Anthropic 在 2025 年 3 月搞了一个用 AI 模型来做生意的实验，他们用自己研发的 AI 模型 Claude 经营公司内部的一台冰箱作为自动售货机，Claude 要负责维护库存，商品定价，打折促销，根据顾客需求下订单等等事务，最终目标是实现盈利。经过一个月的自主经营，最终结果是生意破产。对 Claude 的表现，Anthropic 认为有亮点也有失误，虽然 Anthropic 没有解释失误的原因，比如有人出价$100 买一件商品，商品进价$90，它却表示以后考虑，于是错失商机；另外它给商品定价比进货价低，它还被顾客忽悠给出亏本的折扣。这些行为难道是它不会做简单的算术吗？我认为由于缺乏价值观导致它不能正确评估交易的价值，也不能评估顾客的真正意图，进而不能做出正确的商业判断，即便一开始开发人员已经给它定下了目标和原则。放到更大的尺度上看，道德和价值观是人类社会活动进行的基础，它们并非是一系列固定的规则，也不存在统一的标准答案，反而是动态且充满矛盾的，可是一旦缺少它们，无论是人还是 AI 都会做出不合适的行为，或者说反社会的行为。</p>

<h2 id="不会提问">不会提问</h2>

<p>当人与人之间对话时，如果人类面对自己不了解的话题，他们会通过提出一个又一个的问题来一步步接近答案，因此对人来说，能正确提问是一个非常重要的能力。在我们与 gpt 类的 AI 的交谈中，你觉得它们会像人那样提问吗？我的体验是它们要提问，但更像一个助理那样确认下一步要它做什么，而不是人与人之间的对话那样在探讨。行为上它们仍然是一种高级的问答机（question answering），这或许也是人类对它们的定位，我印象中科幻电影里“好”的 AI 大概都是如此，仅仅对人发起的需求提出响应，而扮演反派的“坏” AI 则表现的更有自我意识。不管是好是坏，一个真正的智慧体，它知道的东西越多，随之而来它提出的问题应该越多。假设有一个人学习了互联网上所有公开知识，想必这个人会提出非常多的问题。</p>

<h2 id="被取代的">被取代的</h2>

<p>既然目前人没有被取代，有什么被 AI 取代了呢？搜索引擎作为访问互联网巨量信息的主要入口，曾经的地位是垄断的，随着移动互联网时代的来临，各式各样手机 APP 逐渐分走了用户流量，甚至于有些出生在移动互联网时代的用户习惯在遇到需要解决的问题时的反应是到手机应用商店找寻合适的应用而不是打开搜索引擎。在 GPT 类的应用推出以后，现在很多用户在遇到问题时的习惯变成先问 AI，毕竟自己去从头的搜索和梳理信息来匹配自己的需求是一个耗时耗力的过程，而大语言模型已经学遍了互联网的公开信息，索性直接去问 AI 更省时省力。更糟的是，不仅是搜索引擎的访问量受到了冲击，知识问答类网站的访问量也下降许多，由于提问量的大幅下降，知识问答类社区的参与度也在下降，全世界最大的程序员问答社区 Stack Overflow 的单月提问量相比峰值时已降低了 60-77%，我自己估计已有半年没去 Stack Overflow 查找问题了。一方面这些 Web 2.0 时代靠用户生成内容建立起来的知识储备库正被 AI 模型训练迅速抽干，另一方面新的高质量内容难以按照消耗速度来补充。雪上加霜的是，现在 Google 搜索引擎也推出了 AI 概览（AI Overviews）来总结搜索结果的内容，如此一来用户不再逐条去查看搜索结果链接的网站便能知晓大致的内容，但这样却会极大削弱网站的流量，而流量是很多网站生存至关重要的因素。</p>

<h2 id="路在哪里">路在哪里</h2>

<p>有关 AI 的众多讨论中，有人质疑 AI 发展对社会带来的负面影响，也有人认为科技进步最终都会造福人类。甚至有人把大语言模型（LLM）的诞生比做第二次世界大战原子弹的诞生，原子弹这种原本用来摧毁敌人的毁灭性武器也能转变成有益人类的能量之源，试图用这种比喻来打消人们对 AI 的顾虑。先抛开利弊，二者的区别在于原子弹的诞生是建立在相对论质能方程（E = mc²）的发现，这是理论物理学的一次重大突破，也是人类认知维度的提升。即便此次 AI 领域的突飞猛进得益于好几项图灵奖级别的研究，但目前的成就并非任何诺贝尔奖级别的研究成果的转化，也就是缺乏基础科学的研究突破，或许 AI 领域更大更深远的突破需要的是基础科学的突破，比如生物学上的神经科学研究。机器学习中神经网络的工作原理是受到神经科学的赫布理论启发，但反过来机器学习的神经网络能用来解释真正的神经网络吗？</p>

<blockquote>
  <p>Neurons that fire together wire together. 一起激活的神经元，会彼此强化连接。</p>

  <p>From Hebbian theory 赫布理论</p>
</blockquote>

<p>也许在更重大的理论突破出现之前，大公司和大国的 AI 技术壁垒仍靠把持 GPU 的数量和技术代差来维持，而小公司小国家无法轻易获得和负担巨量的计算规模，就如同核武器的真正壁垒并不在理论而在大国对核原料的垄断。</p>

<h2 id="科技以人为本">科技以人为本</h2>

<p>“科技以人为本”，初识这句标语是在诺基亚手机的广告中，虽然诺基亚手机不幸成为了时代的眼泪，但这句广告语却历久弥新。它的英文“Connecting People”直译为“连接人与人”，尽管直译版本一语双关，既表达手机的功能也表达通讯公司的社会职责，不过我更欣赏广告语中的翻译，体现出更高的人文境界，科技发展的目的是造福人，而不应该是取代人。随着科技的进步，我对这句标语的认同愈发深切，人类切莫在追求极致效率的路上忘记了自己。</p>

<p><img src="/assets/imgs/connecting-people.jpg" alt="Connecting People" /></p>

<h2 id="后记">后记</h2>

<p>距离这篇文章开始提笔已然两个月了，我自知不是一个写东西很快的人，但没料到花了这么长时间。在此期间，AI 领域肯定出现了许多新的变化，据说 Google Gemini 的表现领先其他对手，对此我毫不意外，毕竟目前 AI 的两个重要里程碑，AlphaGo 和 Transformer 架构都是 Google 达成的，不论在 AI 的学术还是工程领域 Google 都有深厚的积累，只不过前一段时间他们在产品领域被其他公司打了一个时间差。我并非 AI 领域的专业人员，甚至连爱好者都算不上，文章中关于各种原理的解释肯定有不少纰漏，想法上定有不成熟的地方，望各位不吝赐教，同时我也感谢 AI 给我解释了不少陌生的概念。</p>

<h2 id="参考">参考</h2>

<ul>
  <li><a href="https://www.youtube.com/watch?v=aircAruvnKk">But what is a neural network?</a></li>
  <li><a href="https://www.youtube.com/watch?v=XFZ-rQ8eeR8">The 7 Types of AI - And Why We Talk (Mostly) About 3 of Them</a></li>
  <li><a href="https://www.ibm.com/think/topics/machine-learning#7281535">What is machine learning?</a></li>
  <li><a href="http://neuralnetworksanddeeplearning.com/index.html">Neural Networks and Deep Learning</a></li>
  <li><a href="https://www.anthropic.com/research/project-vend-1">Project Vend: Can Claude run a small shop?</a></li>
  <li><a href="https://arxiv.org/abs/1706.03762">Attention Is All You Need</a></li>
</ul>]]></content><author><name>Ivan Cheng</name></author><category term="Technology" /><category term="AI" /><category term="Artificial Intelligence" /><category term="Machine Learning" /><category term="Transformer" /><category term="Backpropagation" /><category term="Multi Head Attention" /><category term="Connecting People" /><summary type="html"><![CDATA[]]></summary></entry><entry xml:lang="zh"><title type="html">为何要写作</title><link href="https://ivancheng.xyz/why-writting/" rel="alternate" type="text/html" title="为何要写作" /><published>2025-09-24T00:24:00+00:00</published><updated>2025-09-24T00:24:00+00:00</updated><id>https://ivancheng.xyz/why-writting</id><content type="html" xml:base="https://ivancheng.xyz/why-writting/"><![CDATA[<p>好吧，首先我要承认自己不喜欢写作，记得小时候我唯二上过的课外班之一就是作文班，然而我对写作的兴趣一直很低，每次写作文都如同一项艰巨的任务来完成，当然小时候我也没有太多见闻和想法，想表达的欲望也低，不过人与人不同，有的同学从小就喜欢文字的表达，自然也爱写作。</p>

<p>随着年龄和见闻的增长，虽然我有时候有想法和表达的欲望，仍然不爱提笔写东西，多数时候仅仅在脑子里想一想，过一过瘾，好像自己已经完成了一篇文章，然后就忘掉了。即便偶尔提笔写一点东西也常觉得寥寥几句，没什么意思，于是干脆放弃。现在想来，仅在脑子里想，受限于我的大脑对上下文的处理能力，实际上很难仅靠想来形成连续的和深度的思考，想的过程往往发散，时而聚焦细节，时而跳到宏观，最终难以成体系。</p>

<p>不过在工作中，我慢慢体会到，写作并非只是表达欲望，而是一种帮助思考的工具。在实际工作中，经常碰到需要写文档的时候，我一开始也很抗拒，然而自己在写文档的过程中，一些被忽视的角度和问题能凸显出来，知道自己缺少的知识，然后做更多的研究，像拼图那样补齐那一块缺少的知识，这样一来，不仅得到一篇文档，自己的知识体系和观点也能更完善。考虑到读者的背景，可读性和可理解性也是需要考虑的，怎样既把观点表达出去，又不要造成困惑。我作为程序员，写代码也是一种写作，除了面向其他读者，同时是面向未来的自己写作，当我在未来某天回看自己的代码，我希望自己还能理解当时的想法。总之写作不是一个单向的输出过程，这个过程包含了知识的输入，整理，深度的思考，反复琢磨，与自我的对话，输出的结果只是可见、可记录的那部分。</p>

<p>另外，写作是在记录我的思想在某个时间点的快照，只要活着，我的思想就会不停的进化，既由内向外，也由外向内，每个人的思想都是一个不停调整和适应的超级模型。我无法预知自己的思想会到哪去，在未来的某个时刻，或许我想追溯我的思想是怎么到那里的。有时候我会有一种 déjà vu，看到听到某个想法好像我曾经也有过，但我却不知道自己什么时候想到过，最好还是记录下来，就像某种收藏。年轻时自觉记忆力不错，但现在发觉自己忘性很大，经常连自己说过什么话都记不清，所以写作也是一个帮助自己记忆复盘的过程。</p>

<p>最后，每个人都有表达的欲望，不论是绘画，搞音乐，做饭，拍视频，各种各样层出不穷的方式，人都需要一些私人的方式来让自己的灵魂安放。我想过在一些在线平台写东西，但又不想被这些平台规矩的约束，毕竟在别人的地盘，难免被拿捏，与其如此，不如自己划一块私人的领地，自由书写。</p>

<p>或许写作之于我，不是任务，而是我与自己对话，与世界和解的一种方式。</p>]]></content><author><name>Ivan Cheng</name></author><category term="Writing" /><summary type="html"><![CDATA[好吧，首先我要承认自己不喜欢写作，记得小时候我唯二上过的课外班之一就是作文班，然而我对写作的兴趣一直很低，每次写作文都如同一项艰巨的任务来完成，当然小时候我也没有太多见闻和想法，想表达的欲望也低，不过人与人不同，有的同学从小就喜欢文字的表达，自然也爱写作。]]></summary></entry></feed>