# 没想好标题

**URL:** <https://forum.rdfzer.com/t/topic/9836>\
**Category:** 個人帖\
**Created:** [2025 年12 月 5 日 13:20 UTC](https://forum.rdfzer.com/t/topic/9836 "2025-12-05T13:20:06Z")\
**Posts on this page:** 20\
**Page:** 37

<div class="post-metadata">

作者： ![kongting](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/kongting/32/37992_2.png) [@kongting](https://forum.rdfzer.com/u/kongting)\
发布日期： [2026 年5 月 3 日 15:27 UTC](https://forum.rdfzer.com/t/topic/9836/727 "2026-05-03T15:27:22Z")

</div>

感觉自媒体真的好难搞，要长期产出有质量的内容，一个人的精力和灵感肯定不够用 🙂‍↔️

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年5 月 3 日 15:27 UTC](https://forum.rdfzer.com/t/topic/9836/728 "2026-05-03T15:27:56Z")

</div>

其实是看到那个中国发的躺平不合法的那个东西，以后是不是不能教陶渊明的诗了（

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年5 月 3 日 15:28 UTC](https://forum.rdfzer.com/t/topic/9836/729 "2026-05-03T15:28:55Z")

</div>

怎么说的来着「传播躺平的诗境外反动势力」？所以语文老师是「境外反动势力」 😼

---

<div class="post-metadata">

作者： ![P9pijiu](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/p9pijiu/32/36421_2.png) [@P9pijiu](https://forum.rdfzer.com/u/P9pijiu)\
发布日期： [2026 年5 月 3 日 15:31 UTC](https://forum.rdfzer.com/t/topic/9836/730 "2026-05-03T15:31:01Z")

</div>

二模作文题出一个 说“躺平” 👍

---

<div class="post-metadata">

作者： ![kongting](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/kongting/32/37992_2.png) [@kongting](https://forum.rdfzer.com/u/kongting)\
发布日期： [2026 年5 月 3 日 15:33 UTC](https://forum.rdfzer.com/t/topic/9836/731 "2026-05-03T15:33:26Z")

</div>

把牢陶刨出来吃铜头皮带喵（

---

<div class="post-metadata">

作者： ![kongting](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/kongting/32/37992_2.png) [@kongting](https://forum.rdfzer.com/u/kongting)\
发布日期： [2026 年5 月 3 日 15:33 UTC](https://forum.rdfzer.com/t/topic/9836/732 "2026-05-03T15:33:40Z")

</div>

吓哭了 🙀

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年5 月 3 日 15:34 UTC](https://forum.rdfzer.com/t/topic/9836/733 "2026-05-03T15:34:17Z")

</div>

![image](https://files.rdfzer.com/original/3X/e/0/e0ff9a3180577671426999b1e1b757c52b090a8b.png)  
笑死我了

---

<div class="post-metadata">

作者： ![MYIHV](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/myihv/32/6223_2.png) [@MYIHV](https://forum.rdfzer.com/u/MYIHV)\
发布日期： [2026 年5 月 4 日 00:33 UTC](https://forum.rdfzer.com/t/topic/9836/734 "2026-05-04T00:33:25Z")

</div>

subquiz北美AI又又又又爆炸了，我为什么要说又？

---

<div class="post-metadata">

作者： ![phaner-D](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/phaner-d/32/30083_2.png) [@phaner-D](https://forum.rdfzer.com/u/phaner-D)\
发布日期： [2026 年5 月 4 日 01:54 UTC](https://forum.rdfzer.com/t/topic/9836/735 "2026-05-04T01:54:59Z")

</div>

有没有那种学生对试卷不屑一顾直到扣了18分才跪下来哼哼唧唧求饶的本子🤔

---

<div class="post-metadata">

作者： ![kongting](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/kongting/32/37992_2.png) [@kongting](https://forum.rdfzer.com/u/kongting)\
发布日期： [2026 年5 月 4 日 02:02 UTC](https://forum.rdfzer.com/t/topic/9836/736 "2026-05-04T02:02:38Z")

</div>

呜呜呜呜呜呜不要再扣了，再扣，再扣总分就要低于60了😭  
要是得了不及格咱的后半生就毁了，以后该怎么见人啊😭😭😭  
求求你了呜，只要不扣到60以下，让咱做什么都行 🥺  
对不起咱错了，咱以后再也不说试卷大人是杂鱼惹，放过咱吧😭

---

<div class="post-metadata">

作者： ![godman999](https://forum.rdfzer.com/letter_avatar_proxy/v4/letter/g/898d66/32.png) [@godman999](https://forum.rdfzer.com/u/godman999)\
发布日期： [2026 年5 月 4 日 03:07 UTC](https://forum.rdfzer.com/t/topic/9836/737 "2026-05-04T03:07:05Z")

</div>

> [@TealParticle](#):
>
> google在encoder-decoder架构上有类似的token剪枝的实验，但那套方法在decode only上不工作。目前好像没有在decode only架构上的token剪枝的实验

其实decode-only是有相关工作的[2407.14057](https://arxiv.org/pdf/2407.14057)可以看看这篇。但是选择机制比较朴素。没额外加D\_Q/D\_K学一个专门的剪枝判断，只用上一层的attention map给token打分，然后按照比例保留重要token（

---

<div class="post-metadata">

作者： ![P9pijiu](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/p9pijiu/32/36421_2.png) [@P9pijiu](https://forum.rdfzer.com/u/P9pijiu)\
发布日期： [2026 年5 月 4 日 03:12 UTC](https://forum.rdfzer.com/t/topic/9836/738 "2026-05-04T03:12:51Z")

</div>

🫪

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年5 月 4 日 03:16 UTC](https://forum.rdfzer.com/t/topic/9836/739 "2026-05-04T03:16:36Z")

</div>

（疑似有点过于专业了…咱还是在一旁悄悄吃瓜吧🫪

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年5 月 4 日 05:05 UTC](https://forum.rdfzer.com/t/topic/9836/740 "2026-05-04T05:05:24Z")

</div>

OK，我用gemini快速看了下，简单来说就是直接按attention score删。我看最后的表现是不错的，但是，给我的感觉是模型不知道token会被删除就删了。我觉得google那个听起来更有道理一些。他那个是把每个token的隐状态送入mlp，mlp打分决定是否删掉这个token。但这个依赖于encoder这种能看到前后。我之前看把google这套机制放在decoder中，由于token看不到后面，其实他就无法确认自己是否应该被删除。

我不好说，和attention score耦合理论上更节省，但增加额外的评判机制或许可以提升模型表达能力？另外就是，我看到这个东西貌似删除率什么的是作为超参数指定的，我感觉这个不太好，对于不同的任务删除率不同是很合理的，增加额外的删除评判还可以让模型自己决策删掉多少。

（另外，gemini这是触发什么关键词了？发什么癫？

 ![image](https://files.rdfzer.com/original/3X/2/a/2ad8c1ca1d73b9fb0b59faf1ba97b723e0aa4a8d.png)

---

<div class="post-metadata">

作者： ![godman999](https://forum.rdfzer.com/letter_avatar_proxy/v4/letter/g/898d66/32.png) [@godman999](https://forum.rdfzer.com/u/godman999)\
发布日期： [2026 年5 月 4 日 08:29 UTC](https://forum.rdfzer.com/t/topic/9836/741 "2026-05-04T08:29:23Z")

</div>

非常好想法，所以说lazyLLM实现比较朴素（）  
谷歌那个工作是指CoLT5吗？这条路线往decoder only走的话应该是[[2404.02258] Mixture-of-Depths: Dynamically allocating compute in transformer-based language models](https://arxiv.org/abs/2404.02258)（是的依旧是谷歌的  
它不再依赖encoder那种全序列可见性，而是让token根据当前隐藏状态做路由：重要token进入当前层计算，不重要token直接走残差跳过。  
MoD论文还讨论过非因果top-k的问题，训练时top-k选择会依赖后面token的路由分数，但自回归生成时并非双向。所以在论文中引入了一个"a small auxiliary MLP predictor"用于辅助预测，让采样时可以用因果方式近似训练时的top-k选择。  
当然我的理解是你那个DQDKQKV也许更像是显式学习一个token是否继续传播的router？

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年5 月 4 日 08:49 UTC](https://forum.rdfzer.com/t/topic/9836/742 "2026-05-04T08:49:33Z")

</div>

差不多是可学习的是否继续传播的门控。每层用 D\_Q 和 D\_K 算一个 \text{delete\_score}\_i = \sum\_j \text{softmax}(D\_{j}^T K\_{i}) D\_{j}^T K\_{i} ，然后在训练过程中，用：

h\_i' = h\_i \cdot \text{sigmoid}(\frac{\alpha - \text{delete\_score}\_i }{T})

\alpha 是每层独立的可训练阈值。训练过程中让 T 降温，从软删除收敛到硬删除。然后在推理的时候按照 \text{delete\_score} \> \alpha 时删除

---

<div class="post-metadata">

作者： ![godman999](https://forum.rdfzer.com/letter_avatar_proxy/v4/letter/g/898d66/32.png) [@godman999](https://forum.rdfzer.com/u/godman999)\
发布日期： [2026 年5 月 4 日 09:00 UTC](https://forum.rdfzer.com/t/topic/9836/743 "2026-05-04T09:00:10Z")

</div>

可以可以，所以说是在每一层额外学一个删除门控，训练时先软删除token，推理时再硬删除token？  
delete\_score\>α的token在推理时直接删除，后续层token数量减少。

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年5 月 4 日 09:01 UTC](https://forum.rdfzer.com/t/topic/9836/744 "2026-05-04T09:01:12Z")

</div>

对，然后训练过程中让T下降使得模型逐渐学会硬删除。在loss中加上删除率，迫使模型学会删除

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年5 月 4 日 16:02 UTC](https://forum.rdfzer.com/t/topic/9836/745 "2026-05-04T16:02:59Z")

</div>

我草，我两点多吃了一顿饭，然后现在我饿了，但是貌似没东西能吃了

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年5 月 4 日 16:08 UTC](https://forum.rdfzer.com/t/topic/9836/746 "2026-05-04T16:08:34Z")

</div>

可以点些快餐啥的

[上一页](https://forum.rdfzer.com/t/topic/9836.md?page=36)

[下一页](https://forum.rdfzer.com/t/topic/9836.md?page=38)
