Cover不是一个新点子，而是已经推进将近一年（从意向开始一年有余了），历经坎坷的我的第三个科研项目。今天把它的故事线跟ℒ重新捋了一遍，记录下来。 去中心化环境下的全序代价非常昂贵。Cover指出，我们有机会在去中心化环境中搭建出一些同样可信的偏序基础设施，相比全序可以大幅度降低排序成本。这是去中心化环境相比数据中心环境的独特之处之一。 接下来Cover提出一套基于偏序的排序服务接口。包...

这是我在SOSP’24第三天里面提到的给Verus老哥讲的点子。基本上题目就涵盖了它的全部内容。自行展开略。 今天给ℒ讲了一下，顺便理顺了一下叙事。ℒ觉得两方面的动机都需要加以验证 人们喜爱用RPC风格编写分布式协议。这个我基本可以打包票。 RPC风格编写的分布式协议不容易/不适合被拿来模型检查。这个我确实还没想清楚，就只是觉得既然大家都不做模型检查，那大概是做起来麻烦吧。但是说...

(我：大语言模型中的“token”这一概念怎么翻译成中文) 在大语言模型（如GPT系列）中，”token” 这个词通常翻译为“词元”或“符号”。具体来说： 词元：这个翻译强调了“token”是自然语言中的一个基本单位，但它不仅仅限于单个词语，也可以是一个词的一部分（如词根、前缀、后缀等），或者是标点符号、空格等。一个“token”可以是文本中的任何一个构成单位。 符号：在某...

唉。还是等下再写吧。 然后就一等等了两天。 出发之前还有一两天，但是让我现在去回想那时的工作内容真是大可不必。只记得LeetCode从11月开始不做了，因为发现没有200天徽章，100天完了就是300天。 这里是指年度活跃天数徽章，所以（2024年度的）300天徽章我本来也是不可能拿到的。 剩下的应该就是在干卡皮巴拉的活吧。怎么打成扒皮卡拉了，有点怪。 回来以后...

还坐在会场，先写几句怕忘记了。 这次开会的一点感受是，首先耳朵不好使了，别人说话的默认音量对我来说有点清不清楚；然后是脑子不好使了，听到英语就像背景噪音一样，哗啦哗啦的不知道在说啥。使使劲认真听，还是哗啦哗啦的。 也许我出来开会就是会比其他人的体验更负面一点，这是由我的叶公好龙导致的。对于会议上入选的大部分工作，我都会有些许的熟悉，会在背景介绍的部分希望能有个跳过过场的按钮。从而，会不自...

明天不知道还来不来得及写。不过不写应该也就还好。 今天听了很多的报告。实际上除了最后两个做机器学习编译器的没听全，其他的从头至尾都听下来了。 有好几篇都挺中意的。尤其是Morph，感觉可以用来对Entropy做点方案上的改进。 感觉有一半的论文回头都可以仔细读一读。明天把论文顺着都下载一遍吧。 很多细节内容已经记不清了。不过没关系，目的就是把自己浸泡在好的工作当中，潜移默化地形成对好...

𝒦的AAAI今天出分，拿了有希望但是些微不够的分数，希望接下来rebuttal顺利。 今天说实话学术素材有限。认真听了第一个session（分布式系统，这还不认真听可以不用干了）。几乎没听第二个session。回去睡了一整个第三个session（深度学习）。转了转海报然后是晚上的烧烤活动。 BFT和replication的工作虽然排在最前面但是感觉都不惊艳，听众也是兴趣寥寥。我反正也...

这次比上次听起来有意思一些 ——𝒦 大语言模型可以在输出结构化内容的时候，将其显式地呈现为树状结构，例如：为各个树节点编号，输出元标签来将当前输出的“光标”在各个节点之间切换。 一个输出实例： [<<1>>, <<2>>] <<1>>: {"languages": <<3>>, "c...

占个位，写另一篇先。 一天过去，我坐在主会场，已经记不得什么了。简直是黑瞎子掰苞米。 上午听了一个挺喜欢的主题演讲。在此之前我并不相信杂牌方案能打得过（例如N厂的）整包方案，所以人工智能硬件架构这块已经没什么散兵游勇的研究价值了。这个演讲介绍的工作重新给了我一些信息。 下午的主题演讲就比较糟糕了。大语言模型辅助找bug。 一天中前一半主要呆在HotInfra后一半先听了一点K...

训练固定连接网络的权重死路一条（不是）。 定义具有如下特点的「变形网络」（morph network） 由一定数量互相连接的神经单元组成。单元内部形式有待商榷，但是大概率会模仿树突与轴突，每个单元拥有多个输入和一个输出，每个输入连接一个其他单元的输出，每个输出连接多个其他单元的输入。 所有单元具有高度统一的内部形式（具体为何种形式有待商榷），没有或者几乎没有可训练参数。 任意...