没想好标题

所以要和稀疏注意力比如DS那种一起用吗?是不是还能加一个engram之类的机制。另外会设计成loop吗?

loop是什么?
他和稀疏注意力、engram都是正交的,可以叠加,如果有时间的话我也想和DSA一起试试看。但现在我不知道这个是否可行

把输出转一圈变回输入一部分,直到模型判断自己应该停下

哦,你说好像是kimi发明的那个

这个理论上也是正交的


GLM还是不够聪明…但是这个用量,也就GLM coding plan能支付的起了(


:grinning_face:

能看一眼我在shadow那边发的消息吗?谢谢

我今天淋了一晚上雨,导致我现在心情超级好(

?suen点hugging是何意味,suen是不是没有好好阅读(

语文老师!:face_savoring_food:

因為想到了這個。


我今天好像还看到一个说anthropic可以国内访问还是国内支付了,我不知道,我没看

并非可访问

都是 GPT Image 2 生成的新聞:)


不知真假,但这个人的消息一向很准,ds最早的时候说有200B模型就是他传出来的。

有几点:

  • 没多模态,不太好
  • 没写Engram,不知道是没用还是只是没写
  • 没用ds的mHC,用了HC,mHC用处其实不大,小问题
  • 1T模型,上了DSA,居然还只有1M上下文。DS这是暴殄天物,DS应该把他1T模型上下文弄个5T狠狠的震撼一下市场(

今天DS官方api短暂变为v4lite,(其自称v4lite,自称上下文1M,tps明显变快,语言风格明显变化,应该就是v4lite)。再结合之前说ds在4月下旬发布的消息。看看明天(或者说今天?),明天要不发就得下周了

所以专业模式就是v4吗

1023评4826赞确实不太正常(?

新闻的数据都很夸张其实