# 没想好标题

**URL:** <https://forum.rdfzer.com/t/topic/9836>\
**Category:** 個人帖\
**Created:** [2025 年12 月 5 日 13:20 UTC](https://forum.rdfzer.com/t/topic/9836 "2025-12-05T13:20:06Z")\
**Posts on this page:** 20\
**Page:** 26

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 19 日 14:45 UTC](https://forum.rdfzer.com/t/topic/9836/506 "2026-04-19T14:45:12Z")

</div>

？现在是坏的吗？

---

<div class="post-metadata">

作者： ![MYIHV](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/myihv/32/6223_2.png) [@MYIHV](https://forum.rdfzer.com/u/MYIHV)\
发布日期： [2026 年4 月 19 日 14:45 UTC](https://forum.rdfzer.com/t/topic/9836/507 "2026-04-19T14:45:36Z")

</div>

那四个外国坏了

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 20 日 10:54 UTC](https://forum.rdfzer.com/t/topic/9836/508 "2026-04-20T10:54:24Z")

</div>

我草！！！！微积分怎么这么难啊..............

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 02:00 UTC](https://forum.rdfzer.com/t/topic/9836/509 "2026-04-21T02:00:32Z")

</div>

![image](https://files.rdfzer.com/original/3X/2/c/2cf24855d342ff1a77894da32d543ab9f7d4522c.png)  
 ![image](https://files.rdfzer.com/original/3X/8/8/88727195318a1fcd8d9185af32c62ea63aee5157.jpeg)

让LLM帮我训练LLM（

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 02:51 UTC](https://forum.rdfzer.com/t/topic/9836/510 "2026-04-21T02:51:55Z")

</div>

草了，25分的积分题，我只会前6分

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 02:54 UTC](https://forum.rdfzer.com/t/topic/9836/511 "2026-04-21T02:54:06Z")

</div>

不是，有个积分的答案是arcsin，我都不知道arcsin都导数是啥，我咋可能积出arcsin…

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年4 月 21 日 02:54 UTC](https://forum.rdfzer.com/t/topic/9836/512 "2026-04-21T02:54:32Z")

</div>

你在训练的是哪个，训练出来做啥😋（

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 02:54 UTC](https://forum.rdfzer.com/t/topic/9836/513 "2026-04-21T02:54:55Z")

</div>

还有个超级长串的函数求导，里面有个cosh，我不知道cosh的导是什么

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年4 月 21 日 02:54 UTC](https://forum.rdfzer.com/t/topic/9836/514 "2026-04-21T02:54:58Z")

</div>

有公式？我记得

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 02:55 UTC](https://forum.rdfzer.com/t/topic/9836/515 "2026-04-21T02:55:42Z")

</div>

在调qwen3 7B，我想做一些奇思妙想的改进（

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年4 月 21 日 02:58 UTC](https://forum.rdfzer.com/t/topic/9836/516 "2026-04-21T02:58:45Z")

</div>

why not qwen3.5 9B，性能高了不是一行一星半点吧？（

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年4 月 21 日 02:59 UTC](https://forum.rdfzer.com/t/topic/9836/517 "2026-04-21T02:59:26Z")

</div>

调完能不能发我喵，我也要玩玩新模型😋

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 03:28 UTC](https://forum.rdfzer.com/t/topic/9836/518 "2026-04-21T03:28:12Z")

</div>

我要改造注意力，qwen3.5混合注意力了，不太行

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 03:29 UTC](https://forum.rdfzer.com/t/topic/9836/519 "2026-04-21T03:29:56Z")

</div>

我这个非常激进，能不能有成果还不好说呢（  
我现在大致计划是在 QKV 之外加入 D\_Q 和 D\_K 构成 D\_QD\_KQKV ，来实现token剪枝。就是现在token序列的长度始终不变 ，我准备让他逐层递减

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 03:31 UTC](https://forum.rdfzer.com/t/topic/9836/520 "2026-04-21T03:31:09Z")

</div>

google在encoder-decoder架构上有类似的token剪枝的实验，但那套方法在decode only上不工作。目前好像没有在decode only架构上的token剪枝的实验

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年4 月 21 日 03:38 UTC](https://forum.rdfzer.com/t/topic/9836/521 "2026-04-21T03:38:46Z")

</div>

意思就是让注意力额外加一对参数判断token有没有必要在接下来的传播过程中继续传播呗？  
让非重要的token不干扰主要注意力流？

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年4 月 21 日 03:43 UTC](https://forum.rdfzer.com/t/topic/9836/522 "2026-04-21T03:43:27Z")

</div>

那和混合注意力还有稀疏注意力的区别是….？或者说优势是？😶‍🌫️

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 03:53 UTC](https://forum.rdfzer.com/t/topic/9836/523 "2026-04-21T03:53:33Z")

</div>

他和稀疏注意力是「正交」的，可以一起用，也可以分别分开用。混合注意力的话，不太兼容

---

<div class="post-metadata">

作者： ![keade](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/keade/32/38038_2.png) [@keade](https://forum.rdfzer.com/u/keade)\
发布日期： [2026 年4 月 21 日 03:58 UTC](https://forum.rdfzer.com/t/topic/9836/524 "2026-04-21T03:58:04Z")

</div>

原来如此，我记得现在是不是可以用正交消融去除掉内容输出限制

---

<div class="post-metadata">

作者： ![TealParticle](https://forum.rdfzer.com/user_avatar/forum.rdfzer.com/tealparticle/32/29152_2.png) [@TealParticle](https://forum.rdfzer.com/u/TealParticle)\
发布日期： [2026 年4 月 21 日 04:28 UTC](https://forum.rdfzer.com/t/topic/9836/525 "2026-04-21T04:28:39Z")

</div>

我有一个同学在做「prompt梯度下降」，冻结模型参数，给定模型输出，反过来梯度下降prompt，他现在好像下降出了一个什么「reeting=」可以让模型补全出「Hello world!」，非常神秘

[上一页](https://forum.rdfzer.com/t/topic/9836.md?page=25)

[下一页](https://forum.rdfzer.com/t/topic/9836.md?page=27)
