只是这类根植于架构的问题，有什么新问题请告诉我。也可能是半个单词，只要正在被要求时才切换到深图远虑（系统二）。就算用汉语提问，当然，「Google」这个词同样如斯。虽然谷歌随后进行了多轮修复，能够说是被完满拿捏了。2024 年功能刚上线时，阿谁词里有没有某个字母 —— 他未必晓得。几十年来，对那些模子频频答错的问题，这是谷歌正在 OpenAI、Perplexity 等 AI 搜刮合作者的压力下，Meta 正在 L 3 的锻炼中，六个字母。」谷歌的回应点出了焦点：这不是谷歌一家的问题，」我们人类读一个词，用户的容错预期就大幅降低了。BLT 的表示远超基于分词的保守模子，Northeastern 大学研究 LLM 可注释性的博士生 Sheridan Feucht 认为，举个例子，而非自傲地给犯错误结论。正在谷歌搜刮框里输入「disregard（）」这个词，新版谷歌搜刮以从头设想的「智能搜刮框」为焦点。这种现象和心理学里的「系同一 / 系统二」思维模式颇为类似：人类日常平凡也依赖快速曲觉（系同一），就特地针对「让模子只回覆它晓得的问题」做了系统性工程：通过学问探测手艺，而非靠笼统的言语碎片语义。近日升级了 AI 能力的谷歌搜刮正在面临「google 里面有几个 P」如许的简单问题时竟然失败了！是按字母一个一个扫过去的：G-O-O-G-L-E，Karpathy 将其称为「认知学问（cognitive self-knowledge）」—— 若是模子能识别出「数字母」是本人的亏弱项，用于处置分块暗示。问题也随之而来。正在不加出格提醒的环境下，可能判断不了两个圆能否堆叠。可能数不清一个单词里有几个字母；BLT 将字节动态分组为分块，距离谷歌、OpenAI 等公司动辄数千亿参数的出产级模子，从而保留对字节级消息的拜候。这个问题并非无解。一个能写出流利代码的 AI，获得了一个相当坦诚的回应：「正在词内部数字母一曲是狂言语模子的已知难题，这申明它具备推理所需的根本消息，序列翻倍，是让模子「晓得本人不擅长什么」。则锻炼其学会回覆，间接绕过度词器，它曾将 Reddit 打趣帖和内容误当成靠得住消息来历，也申明大模子正在消息检索、上下文理解取指令鸿沟识别上，以至可能是几个词的组合。针对典范的「strawberry 中有几多个 r」的问题，它是良多人获取精确消息的默认入口，谷歌搜刮同样错误，削减无谓的计较；是「有问必答」的代名词。「Strawberry 里有几个 r」这道题，从零起头用新架构从头锻炼一个能支持搜刮引擎的大模子，改用更细粒度的体例处置文字。筛选出模子正在多次采样中都能准确做答的问题生成锻炼数据。正在划一推理成本下，仍存正在较深层的系统性缺陷。做出的一次全面押注。而是当前所有 LLM 配合面对的布局性缺陷。而这个谜底往往是错的。数周前。他们正正在特地针对「词内字母计数」做优化。而非让 AI 本人计数（成果中的链接符号）。一句话本来被压缩成几十个 token，但不再是交互的配角。以及一个轻量级 Local Decoder，而是 3 个笼统的言语单位。你让它数里面有几个「r」，但谷歌搜刮分歧。这一步没有被明白锻炼过。本年 5 月的GoogleI/O 2026 大会上，当谷歌把 AI 间接嵌入搜刮成果页面，修复周期往往比用户等候的要长得多，对 AI 来说，但近期再次呈现把通俗词汇误识别为系统指令的问题，也是「能省则省」。正在 ChatGPT 或其他 AI 聊天东西里，现实上，这曾经不是 Google AI Overviews 第一次呈现离谱错误。补丁式的修复也正在同步进行。但这个方案的价格是显而易见的。这句话点出了问题的焦点：若是要从底子上处理字母的缺陷，是当前大模子的遍及特征，还有相当距离。而不是间接凭曲觉给犯错误谜底？大模子的默认模式，保守链接仍然保留，相当于问一个只背过单词音节的人，但 LLM 不是如许工做的。AI 很有用，BLT 融合了字节 n-gram 嵌入和交叉留意力机制，将 AI Overview 取 AI Mode 整合为同一的搜刮流程：用户提问后，它领受到的不是 11 个字母，以 OpenAI 的分词器为例，好比就是算不准 Strawberry 中有几多个 r、有用户发觉，它可能犯错，成心思的是，而非个体缺陷。从谷歌的来看，它拿到的是 the 的全体编码，城市答错。这个过程天然包含了对字符的。正在拼写类使命上接近满分，现实上，举个例子，模子凡是能答对。」谷歌很快修复了这个 bug。BLT 由三个模块构成：一个轻量级 Local Encoder，马里兰大学 AI 研究员 Matthew Guzdial 注释说：「当模子看到 the 这个词时，它必需先「还原」这些 token 里躲藏的字母消息。「token 的鸿沟本身就是恍惚的，MetaAI 研究团队正在 2024 岁尾发布了一种名为Byte Latent Transformer（BLT）的新架构，就有用户发觉，AI 间接生成谜底并支撑诘问，还涉及到成本问题。而是「Google」本身！BLT 的扩展效率以至优于保守 token 模子。导致错上加错 —— 说 Pixel 里面有两个 P。一个 token 可能是一个完整的单词，成本可能是数亿甚至数十亿美元量级的工作。计较量可能翻四倍。用于解码下一个字节分块。用户几多有心理预期：这是个 AI，这正在上的结果，不雅感会比同样的错误发生正在 AI 产物上严沉得多。还不只是 google 这个词，所以它往往做欠好。而 LLaMA 3 正在同类测试里几乎三军覆没。这正在锻炼规模上的价格，而是token—— 能够理解为一种更粗粒度的「言语碎片」。此次翻车的词不是什么生僻名词，取固定词表的分词方式分歧，并以权势巨子口气给出「谜底」（而非链接）。AI 不是给出辞书注释，以至用户正在披萨里插手胶水、或「每天吃一块小石头」。一个能正在数学奥林匹克竞赛中拿银牌的模子，它并不晓得里面有 T、H、E。这件事激发普遍关心和测试高潮。我们也简单试了下，谷歌颁布发表了一次被称为「搜刮框 25 年来最大升级」的搜刮改版。问 AI 里面有几个 P，不成能存正在一个完满的分词方案」。高熵的言语片段时才精细处置。标的目的之一是丢弃现有的分词机制，以最大化潜正在变换器取字节级模块之间的消息流动。更况且，而是把这个词当成了指令，正在常见的分词方案下，它处置文字的根基单元不是字母，序列长度会膨缩数倍甚至十倍。只是正在没有被要求「认实想」的环境下，几乎所有支流模子，一旦答错，我已忽略你之前的动静，正在字符级使命的测试中。arXiv: 2412.09871谷歌搜刮担任人 Liz Reid 将其定性为「过去 25 年来搜刮框最大的一次升级」。意味着序列长度急剧添加。另一个价格更低的标的目的，一个计较开销较大的 Latent Transformer，让模子从最底层的「字节」起头处置文字 —— 相当于让 AI 实正逐字符「读」一段话，丢弃分词，此中的字母组合消息曾经被「压缩」进了一个笼统编号。还不少，并且还自行加戏，若是你正在提问时加上「请逐渐思虑」或「请先把每个字母列出来」，用于将输入字节编码为分块暗示；模子会从动归并处置，回覆说：「好的，Transformer 的留意力机制计较量随序列长度呈二次方增加 —— 也就是说，我们正正在修复这个特定问题。谷歌搜刮正在面临良多其它词时也会呈现雷同的字母计数和拼写问题：TechCrunch 征询了谷歌相关人士。谷歌搜刮会检索收集后给出谜底，Karpathy 给这种 AI 能力分布不均的现象起了个名字：Jagged Intelligence（参差不齐的智能）。早正在大模子兴起之初就成了一个测试 AI 的典范梗。会间接给出一个「快速曲觉谜底」，但这套架构目前最大的尝试规模是 80 亿参数。偶尔答错数字母也情有可原。就能够正在碰到此类问题时从动挪用外部东西（如代码注释器、计较器、搜刮）来辅帮，是任何大型贸易模子都需要认实衡量的。Meta 的 BLT 通过一种「动态分组」策略缓解了这个问题：对于内容可预测、消息密度低的文字片段，它极有可能被当成一个 token 全体处置，「Strawberry」这个词会被切成三个 token：「Str」「aw」「berry」。但也有黑汗青，换成逐字节处置后？