Author: KTRO TEAM

周一，比特币交易价格略高于 91,300 美元，亚洲股市本周开盘小幅走高，此前央行将做出一系列重大决定，其中包括美联储会议，市场基本消化了降息 25 个基点的影响。 MSCI 亚洲股市基准在科技股的带动下上涨约 0.2%，而美国期货和美元则走低。加密货币市场遵循更广泛的基调。比特币在过去 24 小时内上涨 2%，过去一周上涨超过 6%，延续了上周的反弹，但在 94,000 美元区域附近遇到了早期阻力。 FxPro分析师Alex Kuptsikevich周五表示，最新的复苏仍符合修正模式，并补充说，如果势头保持下去，价格可能会升至98,000至100,000美元。以太坊上涨 3%，交易价格接近 3,135 美元，当天表现优于大多数主要货币，并在过去一周上涨 10.6%。 BNB 上涨 1%，Solana 上涨约 1.6%，Lido 的 stETH 上涨近 3%，XRP 在上涨 1.2% 后交易价格约为 2.08 美元。卡尔达诺领跌顶级货币，当日下跌约 1.4%。尽管出现反弹，但基本情绪仍保持谨慎。 CryptoQuant 的牛市得分自 2022 年初以来首次降至零，该公司将这一读数与看跌周期阶段联系在一起。 首席执行官 Ki Young Ju 警告称，如果没有新的流动性，市场可能会陷入更深的放缓，内部模型将 55,000 美元至 70,000 美元的区间标记为明年可能的区域。K33 Research 指出，中期催化剂可能会扭转这一趋势，包括预计到 2026 年初的 401(k) 规则变化，这可能会导致退休人员流向比特币。与此同时，以太坊开发人员完成了 Fusaka 硬分叉，引入了旨在扩展和网络效率的升级。更广泛的宏观条件仍然是关键驱动因素。周一股市基调低迷反映出缺乏新的催化剂，交易员正在等待美联储并评估宽松政策是否足以扩大风险偏好。 Kuptsikevich 表示，比特币近期的走势反映了 2013 年、2017 年和 2021 年之前的周期回调，并指出市场已经吸收了进入 12 月政策窗口之前的两个月的大幅下跌。

加入我们 电报 了解最新突发新闻报道的频道 在比特币评论家彼得·希夫表示美国价格将继续上涨后，唐纳德·特朗普抨击彼得·希夫是“失败者”和“混蛋”。 特朗普紧随经济学家的猛烈抨击 评论 在接受福克斯新闻采访时，他说 美国政府现在面临的最大问题是“过度”支出。 他补充说，他预计特朗普将通过降息和全面“回归量化宽松”来解决国家赤字问题。 “这意味着特朗普统治下的生活将比拜登统治下更加难以承受，”他说。 他预测通胀率将“随着特朗普任期的进展而加速”，并表示他的政策“将继续影响价格”。 “大多数其他价格都更高，”他补充道。 “是的，它们可能还没有以每年 9% 的速度增长，但它们正在继续增长。” 特朗普称他正在纠正拜登的错误 特朗普对希夫的言论感到愤怒，在他的“真相社交”平台上发起了猛烈攻击。 “为什么福克斯和朋友周末（在所有事情中？）要请一位名叫彼得·希夫的‘股票经纪人’，一个讨厌特朗普的失败者，他已经被证明是错误的，”特朗普 说。 特朗普补充道：“他认为价格正在上涨，而事实上，价格正在大幅下降。”他指的是汽油价格最近触及每加仑 1.99 美元。 “其他价格几乎全部下降，”他补充道。 特朗普表示，前总统乔·拜登造成了当前的负担能力危机，他正在努力解决这个问题。 虽然汽油价格确实有所下降，但通胀仍呈上升趋势，9 月份美国消费者价格指数 (CPI) 较上年同期上涨 3%。 希夫回击 希夫在 X 的后续帖子中承认，包括汽油在内的一些价格现在可能会较低，但他表示，他对这种情况会持续多久没有信心。 他还表示，拜登“在引发‘负担能力危机’方面得到了很多帮助，包括特朗普在他第一个任期内的帮助。” “他没有解决这个问题，”他说。 “他让事情变得更糟。” 新闻。特朗普称我为失败者、混蛋和仇恨特朗普的人，因为我向福克斯观众讲述了生活成本上涨的真相。拜登在造成“负担能力危机”方面得到了很多帮助，包括特朗普在他的第一个任期内提供的帮助，但他没有解决问题，而是让情况变得更糟。 pic.twitter.com/IK7POAN2ye — 彼得·希夫 (@PeterSchiff) 2025 年 12 月 6 日 “自从特朗普总统称我为混蛋和失败者，因为他声称物价仍在上涨，而他坚称物价正在下跌，我向他或他的指定人提出挑战，要求就美国经济及其政策有效性进行辩论，”他说。 “如果我像他说的那样错了，就让他证明这一点。” 他随后补充道，“鉴于特朗普多么讨厌真相，我认为他应该将其社交媒体平台的名称更改为 Lie Social。” 住房负担能力 希夫还批评了住房政策，称住房 负担不起是“政府多次努力使住房更加负担得起的直接结果”。 “但就像政府所做的一切一样，它适得其反，”他说。 “解决住房负担能力问题的唯一办法是政府让开，让房价下降，他们会这么做的。” 但他警告说，这样做将导致另一场金融危机，因为这将导致许多房主拖欠抵押贷款。 CZ 在币安区块链周上发生口角后，希夫经历了动荡的一周 对于 Schiff 来说，这是动荡的一周，这位经济学家在 X 上拥有 120 万粉丝，喜欢在比特币 maxis 中搅局。 与B辩论时inance联合创始人赵长鹏，又名CZ，在 币安区块链周, 希夫支持代币化黄金而不是比特币作为长期价值储存和通胀对冲。他认为，黄金代币化充分利用了商品所提供的最佳功能，并将其放在区块链上。 CZ 在台上拿出一块黄金并要求希夫验证它是否是黄金后，这场辩论成为了头条新闻。 “如果我现在给你比特币，我们可以通过多种方式验证你是否收到了它，”CZ 说。 “它在链上立即、透明地结算。” 随后，CZ 递给希夫一根金条。 “上面写着吉尔吉斯斯坦、1000克、纯金、999.9和序列号，”CZ说，然后问希夫这是否是真金。 “我不知道，”希夫回答道。 相关文章： 最佳钱包 – 使您的加密货币投资组合多样化 易于使用、功能驱动的加密钱包 抢先体验即将推出的代币 ICO 多链、多钱包、非托管 现已登陆 App Store、Google Play 质押以赚取原生代币 $BEST 250,000+ 每月活跃用户 加入我们 电报 了解最新突发新闻报道的频道

12 月 5 日，以太坊现货 ETF 录得 7521 万美元的流出，所有 9 只基金的流入为零。 概括 12 月 5 日，以太坊 ETF 损失了 7521 万美元，连续四天流出。 随着市场情绪走弱，贝莱德 (BlackRock) 的 ETHA 推动了整个撤资行动。 尽管市场情绪消极，但交易所的 ETH 供应量仍创下历史新低。 贝莱德的 ETHA 占了全部提款，并且是以太坊连续第四天净赎回（以太坊) ETF。 ETH 交易价格为 3,030 美元，24 小时波动范围为 2,995.50 美元至 3,146.10 美元。该代币在过去 24 小时内下跌了 2.7%，在过去 30 天内下跌了 10.3%。 贝莱德连续第四天资金流出 自 12 月 2 日以来，以太坊 ETF 的资金不断流失，在周四撤资 7521 万美元之前，资金流出分别为 7906 万美元、991 万美元和 4157 万美元。 12 月 3 日是唯一的喘息机会，由 Fidelity 的 FETH 推动，资金流入达 1.4016 亿美元。 以太坊ETF数据： 如此如此的价值 贝莱德 (BlackRock) 的 ETHA 仍然是最大的以太坊 ETF，累计净流入 130.9 亿美元。自信托结构转换以来，Grayscale 的 ETHE 持有 49.9 亿美元的净流出。富达(Fidelity)的FETH总流入量已累计26.2亿美元。 截至 12 月 5 日，以太坊 ETF 管理的净资产总额为 189.4 亿美元。所有基金的累计净流入总额达到 128.8 亿美元。 12 月 5…

在以文本搜索和无数建议为主的数字世界中，我们视觉理解信息的能力仍然落后。人们可以将相机对准任何东西，但很少能得到更深层次的意义或文化背景作为回报。 Chance AI 今年的出现源于类似的人类经历。作为创始人 Xi Zeng 回忆起来，站在前面 神圣家族 15 年前在西班牙的经历让他惊叹不已，但网上搜索只返回了“门票链接和纪念品广告”，这一时刻让他确信互联网已经变得“非常擅长销售，但非常非常不擅长解释”。 他的新公司就是建立在这一差距之上的，印度已占其用户群的近三分之一。 Chance AI 将自己定位为视觉推理引擎，其设计目的不是为了交易，而是为了背景、文化和好奇心。 Zeng 将其描述为“Google Lens 和 Instagram 的结合”，围绕一个简单的循环构建：捕捉、理解和行动。 虽然该公司已获得种子资金，但预计将筹集 7 至 1000 万美元来支持其发展。 构建视觉智能层 曾认为，视觉推理，而不是文本生成，将定义个人计算的下一个转变。 “我们的使命是让人工智能能够确保好奇心、背景和文化理解，而不仅仅是便利和生产力，”他说道。 目的。 Chance AI 使用内部开发的经过训练的视觉推理模型，同时依赖 Gemini 和 GPT 等主要法学硕士作为生成层。差异在于该公司比竞争对手更有效地处理数据的能力。 该公司分享了主要人工智能模型在视觉推理方面的基准比较： 该基础为 Chance AI 不断发展的“视觉代理”生态系统提供动力，其中包括服装反馈跟踪、皮肤评估以及带有菜肴图像的菜单翻译等流行功能。 “所有这些代理都是与我们的社区共同创建的，它就像应用程序中的一个小型应用程序商店，”曾说。所以我们对长期竞争非常有信心，因为我们正在构建的东西不仅仅是我们自己构建的，它是整个社区构建的。 通过更快的行动与大型科技公司竞争 曾直言不讳地谈到与大公司的竞争。 “我们拥有的唯一护城河就是动力，”他说，并解释了如果大型科技公司效仿这个想法，该公司没有快速的解决方案来保持领先地位。 他认为成熟的公司受到其商业模式的限制。 “谷歌通过广告获利。他们有自己无法逃避的特定商业模式。”相反，Chance AI 专注于好奇心驱动的搜索、视觉记忆摘要以及围绕视觉品味构建的社区层，他表示谷歌永远不会追求这些元素。 未来展望 曾庆红与印度的关系始于他在 OnePlus 和 TikTok 任职期间。他将这个国家描述为不仅是一个用户群，而且是一种创造力。 “印度不仅仅是一个市场，更是一场运动，”他说。 印度现在处于 Chance AI 创作者战略的中心，该公司通过学生主导的社区、多平台扩张以及重点推动解决创作者最大的限制（时间不足）来加速其落地势头。该平台在中国拥有超过 1 亿活跃创作者，旨在帮助他们在几秒钟内将想法转化为可发布的视觉效果，消除持续构思、拍摄和编辑的摩擦。 其即将推出的“Chanced by Creators”计划将为领先的印度创作者提供抢先体验、挑战和奖励，最终在时代广场 UGC 展示中重点关注全球提交的作品。该举措反映了将印度创作者人才推向世界舞台的更广泛雄心，并强化了一个简单的信息：“不要思考。只要碰碰运气。” 在此背景下，Chance AI 目前正在与印度设计大学和社区合作，制定 Zeng 所说的共同创造策略，旨在吸收“印度的设计感、节奏感和讲故事的感觉”。 该公司声称拥有约 20 万用户，目标达到 100 万。硬件是下一个前沿领域，曾设想了一种可实时了解世界的可穿戴“第三只眼”。他甚至认为 Chance AI 会成为 Meta 雷朋眼镜等设备的关键层。 Zeng希望首先关注增长，然后再考虑货币化。他押注于 Meta 的成长，以描绘公司的成功。 Chance AI 的长期目标是将其视觉推理堆栈授权给未来的人工智能硬件，包括主流品牌的眼镜。该团队还在探索其技术的开源部分，以支持视障用户。

对于我们的美国用户来说，这是一个令人兴奋的消息！您现在可以为自我保管预先提供资金 Bitcoin.com 钱包应用 和 美元 (USD) 使用 PayPal、Venmo 和 ACH 转账。这意味着您可以 以较低的费用立即买卖比特币和其他加密货币— 不用担心银行拒绝。此前，这种无缝体验仅在 Coinbase、Revolut 和 Robinhood 等中心化平台上提供。现在，自我监护 Bitcoin.com 钱包应用 用户可享受同等级别的 方便，同时保持对其资产的完全控制 。它是如何运作的入门很简单：1️⃣ KYC 验证— 如果您尚未完成快速、安全的身份验证以启用存款。2️⃣ 充值 – 添加 美元到您的余额使用 PayPal、Venmo 或 ACH。3️⃣ 购买加密货币 — 使用您的即时购买比特币和其他加密货币 平衡 。4️⃣ 卖出至平衡— 出售您的加密货币并将其转换回您的 平衡即刻。5️⃣ 提取资金 — 转移您的 美元随时返还至您的银行账户或其他支持的付款方式。⚠️ 美元 纽约、维尔京群岛和美属萨摩亚尚未提供余额。🔍 看看我们的 综合指南 有关如何使用美元余额的更多详细信息。主要特性和优点有了美元余额，买卖加密货币从未如此简单。这就是您会喜欢它的原因：✅ 降低费用- 享受 零合作伙伴费用使用您的美元余额进行交易，节省购买加密货币的费用。✅ 即时交易— 告别漫长的处理时间 — 买卖加密货币 即刻用您的预充值余额。✅ 更高的批准率- 避免 卡交易失败和银行拒绝。将资金存入您的美元余额可确保交易顺利、获得高度认可。✅ 用户控制和所有权— 与中心化交易所不同，美元余额 直接与您的自我托管整合 Bitcoin.com 钱包应用，让您完全掌控自己的资产 没有帐户冻结或黑客攻击的风险。✅ 灵活充值— 使用以下方式将美元添加到您的余额中 PayPal、Venmo 或 ACH（某些选项在发布时可能不适用于所有用户）。✅ 无缝加密货币购买— 随时用您的美元余额即时购买加密货币。✅ 轻松出售加密货币— 每当您需要时，将您的加密货币转换回您的美元余额。✅ 轻松提款— 将您的美元提取回您的 银行帐户或其他支持的付款方式随时。👉 立即尝试 Bitcoin.com 钱包应用程序中的美元余额！ 👈其他地区呢？法定余额目前可用于 Bitcoin.com 钱包应用 位于美国、英国和欧亚经济联盟（不包括德国和荷兰）的用户。如需了解更多信息并获取分步说明，请参阅我们的 综合支持文章。Bitcoin.com 上为美国用户提供美元余额 最初发表于 比特币网 在 Medium 上，人们通过突出显示并回应这个故事来继续对话。

欧盟委员会扩大欧洲证券和市场管理局（ESMA）权力的提议引发了人们对欧盟许可制度集中化的担忧，尽管这表明了其资本市场结构的更深层次的制度野心。周四，委员会发布了一项一揽子计划，提议对市场基础设施的关键部分进行“直接监管”，包括加密资产服务提供商（CASP）、交易场所和中央机构 ESMA 的交易对手，Cointelegraph 报道。去中心化借贷协议 Morpho 公共事务主管 Faustine Fleuret 表示，令人担忧的是，ESMA 的管辖范围将扩大到所有欧洲加密货币和金融科技 (fintech) 公司的监管和许可，这可能会导致许可制度放缓并阻碍初创企业的发展。“我更担心的是，该提案让 ESMA 负责 CASP 的授权和监督，而不仅仅是监督，”她告诉 Cointelegraph。该提案仍需获得欧洲议会和理事会的批准，目前正在谈判中。 如果获得通过，ESMA 在监督欧盟资本市场方面的作用将更类似于欧盟的集中框架。 美国证券交易委员会，这一概念由欧洲央行(ECB)行长克里斯蒂娜·拉加德于2023年首次提出。有关的： 美国银行支持 1%–4% 的加密货币分配，为比特币 ETF 打开大门欧盟计划根据 ESMA 集中许可，引发加密货币和金融科技放缓担忧Brickken 资产代币化平台总法律顾问 Elisenda Fabrega 告诉 Cointelegraph，将这种监督“集中”到单一监管机构之下的提议旨在解决各国监管实践的差异和不均匀的许可制度，但有可能减缓加密货币行业的整体发展。“如果没有足够的资源，这项任务可能会变得难以管理，导致延误或过于谨慎的评估，这可能会对规模较小或创新的公司产生不成比例的影响。”她表示，“最终，这项改革的有效性将更少地取决于其法律形式，而更多地取决于其机构执行力”，包括ESMA的运营能力、独立性以及与成员国的合作“渠道”。有关的： Grayscale Chainlink ETF 首次亮相就吸引了 4100 万美元，但并非“重磅炸弹” 按国家/地区划分的全球股票市场价值。资料来源：视觉资本家更广泛的一揽子计划旨在通过提高欧盟资本市场相对于美国资本市场的竞争力来促进欧盟公民的财富创造。据统计，美国股市总市值约为 62 万亿美元，占全球股市的 48%，而欧盟股市累计市值约为 11 万亿美元，占全球份额的 9%。 数据 来自视觉资本家。杂志： 欧盟破坏隐私的聊天控制法案被推迟——但斗争尚未结束

值得信赖的社论 内容由领先的行业专家和经验丰富的编辑审核。 广告披露 Tom Lee 重申了市场上最激进的以太坊目标之一，他在 12 月 4 日的币安区块链周上告诉与会者，随着 ETH 成为代币化金融的核心基础设施，以太坊最终的交易价格可能会达到 62,000 美元。 “好吧，让我向你解释为什么以太坊，既然我们已经讨论了加密货币， […] 是金融的未来，”Lee 在台上说道。他将 2025 年定义为以太坊的“1971年的时刻”直接类比美元脱离金本位并引发金融创新浪潮的情况。 李的以太坊论文 “1971 年，美元脱离了金本位。1971 年，它刺激华尔街创造金融产品，以确保美元成为储备货币，”Lee 说道。 “嗯，到 2025 年，我们 标记一切。因此，不仅仅是美元被代币化，股票、债券、房地产也被代币化了。” 在他看来，这种转变将 ETH 定位为代币化资产的主要结算和执行层。 “华尔街将再次利用这一点，在智能合约平台上创建产品。他们正在以太坊上构建产品，”他说。李指出，当前现实世界的资产实验是早期证据，并指出“其中大部分，绝大多数，都是建立在以太坊上的”，并补充说“以太坊赢得了智能合约之战。” Lee还强调，ETH的市场行为尚未反映出这种结构性作用。 “正如你们所知，ETH 五年来一直在区间波动，正如我在这里所画的阴影。但它已经开始爆发了，”他告诉观众，并解释了为什么他“通过转向以太坊而深入参与了以太坊”。 Bitmine 入股 ETH 财务公司，因为我们看到了这种突破的到来。” 他的估值案例的核心是通过 ETH/BTC 比率来表达的。 Lee 预计比特币在短期内将大幅走高：“我认为比特币将在几个月内达到 25 万美元。”由此，他得出了两个关键的 ETH 场景。 首先，如果 ETH/BTC 价格关系简单地恢复到历史平均值，他认为会有很大的上涨空间。他表示：“如果 ETH 与比特币的价格比回到八年平均水平，那么以太坊的价格将达到 12,000 美元。”其次，在更激进的情况下，ETH 升值到比特币价格的四分之一，他的长期目标 62,000 美元就会出现：“如果相对于比特币达到 0.25，那就是 62,000 美元。” 🔥 TOM LEE 标价 62,000 美元 $ETH “我认为以太坊将成为金融的未来，未来的支付轨道，如果它相对于比特币的汇率达到 0.25，那就是 62,000 美元。以太坊的价值 3,000 美元被严重低估了。” pic.twitter.com/VydvLou9IE — CryptosRus (@CryptosR_Us) 2025 年 12 月 4 日 Lee 将这些比率直接与代币化叙述联系起来。 “如果 2026 年是代币化，那就意味着 ETH 的效用价值应该会上升。因此，你应该关注这个比率，”他告诉人群，并认为估值应该跟踪对 ETH 区块空间不断增长的需求及其作为“未来支付轨道”的作用。 他最后对当前水平进行了尖锐的评估：“我认为 3,000 美元的以太坊当然被严重低估了。” 截至发稿，ETH 交易价格为 3,128…

Finding the best crypto prop firms is the first step to trading with more funding, clearer rules, and room to grow. In 2025, more traders are looking for partners that offer real buying power, simple evaluations, strong crypto support, and payout structures that work in their favor. In this guide, we walk you through the top firms, how they operate, what to look for, and how you can join one with confidence. You’ll learn their risk management strategies and how to join. If you want a smooth start with a firm that fits your style, read on to discover your crypto…

要点：VWA链上数据查询增强透明度。超过 150 万玩家积极参与 COC。COC面临代币波动性的挑战。 据 BlockBeats News 报道，12 月 3 日，Call of Odin’s Chosen 推出了基于区块链的实时挖矿数据查询功能，增强了 GameFi 行业的透明度。 这项创新标志着 GameFi 透明度的突破，有可能提高行业可信度和用户信任度。 COC链上创新吸引150万玩家 Bonson 是 Call of Odin’s Chosen 的创始人，他带头推出了 VWA链上数据查询 功能。更新后的COC网站现可让玩家验证个人挖矿记录，争取 数据透明 和链上可追溯性。 引入实时挖掘数据 标志着 GameFi 领域透明度的重大飞跃。由于玩家可以跟踪和验证他们的输出，市场预计玩家信心和参与率可能发生变化。 “所有玩家挖矿数据都已可靠地存储在区块链上。玩家现在可以通过官网实时查询个人挖矿记录，并且每次挖矿产出都可以追踪和验证，真正实现‘链上可追溯、数据透明’。”这标志着COC正式进入VWA游戏的全面实施阶段，为整个GameFi行业树立了新的透明度标准。” – Bonson，《奥丁选民的呼唤》（COC）创始人 COC的代币波动带来战略挑战 你可知道？ 在对比发展中，Axie Infinity曾面临链下数据不透明的挑战。 COC 的链上方法在 GameFi 中独特地设定了透明度基准。 根据 CoinMarketCap 最新的加密货币数据，截至 2025 年 12 月 3 日，Call of Odin’s Chosen 的价格为 5.42 美元，完全稀释后市值为 271,052.62 美元。60 天的价格变化暴跌 64.58%，凸显了巨大的波动性。尽管目前的流通供应量为零， COC的市场表现 需要采取战略方法来吸引用户并实现持续增长。 CocktailBar（COC），日线图，CoinMarketCap 截图，世界标准时间 2025 年 12 月 3 日 22:30。 来源： 硬币市值 根据 科因库研究，这种透明度模式可以增强行业信任。然而，COC 代币的波动凸显了创新金融模型所带来的风险，促使投资者采取谨慎的行为。 免责声明: 有关信息 这个网站 作为一般市场评论提供，并不构成投资建议。我们鼓励您在投资之前进行自己的研究。

在本文中，您将了解转换器如何将输入标记转换为上下文感知的表示形式，并最终转换为下一个标记的概率。 我们将讨论的主题包括： 标记化、嵌入和位置信息如何准备输入 多头注意力和前馈网络在每一层中有何贡献 最终的投影和 softmax 如何产生下一个标记的概率 让我们开始我们的旅程吧。 代币之旅：变压器内部到底发生了什么（点击放大）图片由编辑提供 旅程开始 大型语言模型 （LLM）基于 Transformer 架构，这是一个复杂的深度神经网络，其输入是一系列令牌嵌入。经过一个深入的过程——看起来像是一系列堆叠的注意力和前馈变换——它输出一个概率分布，指示接下来应该生成哪个令牌作为模型响应的一部分。但是，对于输入序列中的单个标记，如何解释从输入到输出的整个过程呢？ 在本文中，您将了解 Transformer 模型（LLM 背后的架构）在代币级别内部发生的情况。换句话说，我们将看到输入标记或输入文本序列的一部分如何变成生成的文本输出，以及转换器内部发生的更改和转换背后的基本原理。 通过变压器模型对这一旅程的描述将以上图为指导，该图显示了通用变压器架构以及信息如何在其中流动和演变。 进入转换器：从原始输入文本到输入嵌入 在进入转换器模型的深度之前，文本输入已经发生了一些转换，主要是因此它以转换器内部层完全可以理解的形式表示。 代币化 分词器是一个算法组件，通常与法学硕士的变压器模型共生。它采用原始文本序列（例如用户提示），并将其分割为离散的标记（通常是子字单元或字节，有时是整个单词），源语言中的每个标记都映射到一个标识符 我。 代币嵌入 有一个学习嵌入表 E 有形状 |V| × d （词汇​​量大小按嵌入维度计算）。查找长度序列的标识符 n 产生一个嵌入矩阵 X 有形状 n × d。也就是说，每个令牌标识符都映射到一个 d形成一行的维嵌入向量 X。如果两个嵌入向量与具有相似含义的标记（例如国王和皇帝）相关联，则它们将彼此相似，反之亦然。重要的是，在这个阶段，每个标记嵌入都携带该单个标记的语义和词汇信息，而不包含有关序列其余部分的信息（至少现在还没有）。 位置编码 在完全进入变压器的核心部分之前，有必要在每个令牌嵌入向量内注入——即嵌入矩阵的每一行内 X — 有关该标记在序列中的位置的信息。这也称为注入位置信息，通常使用正弦和余弦等三角函数来完成，尽管也有基于学习位置嵌入的技术。近残差分量与先前的嵌入向量相加 e_t 与 token 关联，如下： \[x_t^{(0)} = e_t + p_{\text{pos}} 和 p_pos 现在，是时候进入变压器的深处，看看里面发生了什么！ 变压器深处：从输入嵌入到输出概率 让我们解释一下每个“丰富的”单标记嵌入向量在通过一个转换器层时会发生什么，然后缩小以描述整个层堆栈中发生的情况。 公式 \[h_t^{(0)} = x_t^{(0)}\] 用于表示第 0 层（第一层）的 token 表示，而更一般地我们将使用 ht(l) 表示令牌在层的嵌入表示 我。 多头注意力 变压器每个复制层内的第一个主要组件是 多头注意力。当涉及到识别大量有意义的信息并将其合并到每个标记的表示中时，这可以说是整个架构中最有影响力的组件，这些信息涉及其在整个序列中的作用以及它与文本中其他标记的关系，无论是句法、语义还是任何其他类型的语言关系。这种所谓的注意力机制中的多个头分别专门用于同时捕获令牌及其所属的整个序列中的不同语言方面和模式。 具有令牌表示的结果 ht(l) （注入位置信息 先验，不要忘记！）在层内穿过这种多头注意力是上下文丰富或上下文感知的令牌表示。通过在变压器层上使用残差连接和层归一化，新生成的向量成为其先前表示和多头注意力输出的稳定混合。这有助于提高跨层重复应用的整个过程的一致性。 前馈神经网络 接下来是相对不太复杂的事情：一些 前馈神经网络 （FFN）层。例如，这些可以是每个令牌的多层感知器（MLP），其目标是进一步转换和细化逐渐学习的令牌特征。 注意力阶段与这一阶段的主要区别在于，注意力在每个 token 表示中混合并合并了来自所有 token 的上下文信息，但 FFN 步骤独立应用于每个 token，精炼已经集成的上下文模式，以从中产生有用的“知识”。这些层还补充有残差连接和层归一化，并且作为此过程的结果，我们在变压器层的末尾有一个更新的表示 ht(l+1) 它将成为下一个变压器层的输入，从而进入另一个多头注意力块。 整个过程重复的次数与我们架构中定义的堆叠层的数量一样多，从而逐渐丰富了令牌嵌入，在这些看似难以理解的数字背后包含了越来越多的高级、抽象和远程语言信息。 最终目的地 那么，最后会发生什么呢？在堆栈的顶部，经过最后一个复制的转换器层之后，我们获得了最终的令牌表示 ht*(L) （在哪里 t* 表示当前预测位置），通过…