随笔周刊——第 13 期

type

status

date

slug

summary

知识小品

Key Papers in Deep RL

https://spinningup.openai.com/en/latest/spinningup/keypapers.html

提供了一份深度强化学习（Deep RL）领域的关键论文列表，旨在为希望在该领域进行研究的人员提供一个有用的起点。论文列表分为 13 个主要部分，每个部分都包括了一些具体的研究方向和相关论文的引用。

LLM Prompt Tuning Playbook

https://github.com/varungodbole/prompt-tuning-playbook

该文档旨在帮助用户更有效地提示 Post-training 的 LLMs。该仓库包含了关于如何通过编写清晰、简洁、具体的指令来优化提示的详细指南。该指南分为两个部分:第一部分讨论了预训练和后训练的概念，以及后训练数据收集的考虑因素；第二部分提供了一些具体的建议和一个高级的迭代提示的过程。

OpenCoder

https://opencoder-llm.github.io/

OpenCoder 是一个完全开放且可复现的Code LLM 家族，包括 1.5B 和 8B 的基础和聊天模型，支持英语和中文。从头开始，OpenCoder 使用包含 90% 原始代码和 10% 代码相关网页数据的 2.5 万亿代币进行训练，达到了顶尖代码 LLM 的性能水平。除了提供模型权重和推理代码，OpenCoder 还提供了可复现的训练数据、完整的数据处理流程、严格的实验消融研究结果和详细的训练协议。此外，OpenCoder 还包括了 RefineCode—— 一个高质量的、可复现的代码预训练语料库，以及多项有意义的消融实验，旨在为代码 LLM 的各种设计选择和训练策略提供深入见解。发布的资源还包括最终模型权重、完整的数据处理流程、高效的评估流程、可复现的预训练数据集、大规模的 SFT 数据集以及 checkpoint。

Qwen 2.5 Coder 14B Conversational + 2x faster finetuning

https://colab.research.google.com/drive/18sN803sU23XuJV9Q8On2xgqHSer6-UZF?usp=sharing

在 Colab 上免费微调 Qwen-2.5-Coder-14B！Unsloth 使微调速度提高了 2 倍，并且使用的 VRAM 减少了 60%，没有准确性损失。示例将模型的上下文长度从 32K 扩展到 128K，并上传了 GGUFs：

https://huggingface.co/collections/unsloth/qwen-25-coder-6732bc833ed65dd1964994d4

Cursor Codebase Indexing

https://www.cursor.com/security#codebase-indexing

Cursor 是现在比较受欢迎的付费 AI IDE，对于整个 repo 的感知能力很不错，这篇文章也是大致透漏了背后的 Codebase Indexing 技术是如何实现的。当你的需求能够基于整个 repo 进行生成和改动时，准确率是大大提高的，因为有更全面和符合的上下文。

索引启用和触发

Codebase Indexing 默认是启用的，但用户可以在初始设置或设置中关闭

当用户在 Cursor 中打开一个文件夹时会触发索引

系统每 10 分钟会检查一次文件变更

本地扫描和哈希计算

扫描打开的文件夹中的所有文件

计算所有文件的 Merkle 树哈希值

会忽略 .gitignore 或 .cursorignore 中指定的文件和子目录

Merkle 树会同步到服务器

当检测到哈希不匹配时，只会上传发生变更的文件

服务器端处理

将文件内容分块(chunk)并生成嵌入向量(embeddings)

将这些嵌入向量存储在 Turbopuffer 中

对于每个向量还会存储:

经过混淆的相对文件路径
对应的代码行范围

同时在 AWS 缓存中存储嵌入向量(以块的哈希值为索引)，这样可以加快对相同代码库的二次索引

推理时的工作流程

计算查询的嵌入向量

Turbopuffer 执行最近邻搜索

将混淆的文件路径和行范围返回给客户端

客户端本地读取这些文件块

将这些块发送回服务器来回答用户的问题

Git 仓库的特殊处理

如果是 Git 仓库，还会索引 Git 历史

存储:

commit SHA
父节点信息
混淆的文件名

为了让同一团队的用户能共享数据结构，文件名混淆的密钥是从最近的 commit 内容哈希值派生的

不会索引 commit 消息、文件内容或差异

随便看看

读博

Andrej Karpathy 关于读博的一些看法。现在我是硕士一年级的学生，其实一年前保研的时候，面试通过后给的是博士名额，但是在最终确定之前，我还是联系了导师改为了硕士。因为我对自己不够自信，不像很多人就坚定的说我就要读博，我怀疑自己的科研能力，特别是想 idea 的能力，做实验对于我来说是时间的问题，而且目前有非常出色的 AI IDE 加持，我认为工程实现、实验代码等应该不是很大的问题。虽然当时家里人都认为我可以读博，而且我还比较小，比同级的基本小一岁，直博也就五年，但，我还是犹豫了，所以想着先读硕士看看自己的科研实力吧。即使大三在 thu NISL 实习过，参与了两篇 CCF-A 论文，也得到了学长的肯定和认可，但是 idea 不是我想出来的~

当然，读博肯定是很锻炼自己的，能够学到许多，是一段宝贵的经历！读完之后，肯定是另一番风景~

Promptim

https://github.com/hinthornw/promptimizer

Promptim 是一个实验性的提示优化库，旨在帮助系统地改进 AI 系统。它自动化了改进特定任务提示的过程。用户提供初始提示、数据集和自定义评估器(以及可选的人工反馈)，Promptim 会运行优化循环以生成一个旨在优于原始提示的优化提示。

《小巷人家》

这几周在追《小巷人家》这部温暖的时代电视剧，今天大结局，追完了心里空荡荡的 😭。电视剧讲述的是上世纪七八十年代的故事，主要人物是苏州棉纺厂的两位职工家庭，主演是闫妮和蒋欣，呜呜好喜欢她们两的戏段，完全融入角色的感觉，闫妮一个眼神便能让人难过，在 fcc 等年轻演员的对比之下，实力派演员的演技是如此突出！闫妮饰演的黄玲是一个温柔而坚韧的传统女性，她在面对家庭矛盾时表现出的隐忍与勇气，引发了观众对母亲角色深刻的思考。而蒋欣饰演的宋莹则是一个泼辣直率、热心肠的女性，她与黄玲之间深厚的姐妹情谊，为剧情增添了不少温情和戏剧性。

也很喜欢里面的林栋哲和向鹏飞，1.0 版本的林栋哲真是太可爱了，我也想养个这样的侄子，蹲在厕所哭真的好可爱 😚😚，想起了那句“她是我妹，亲妹。对，亲生的”，“刺头有勇，刺头的男人有谋，刺头的儿子会打配合，刺头一家都不好惹” 哈哈哈哈！2.0 版本的林栋哲变成了搞笑小胖子，但还是那么的体贴、温柔和聪明，我感觉演的也很好，每次哭的都特别传神，就是他越哭我越想笑哈哈哈，“宋莹，你，你吃独食，你不讲义气，你抛夫弃子，背信弃义”哈哈哈，太好玩了。3.0 版本的林栋哲是个标准的德智体美全面发展的男高啊，属于学校里阳光开朗的男孩，体育也好，成绩也好，文体也好，那不得吸引一堆女孩，晓婷也是喜欢的 😄。这一段时间点，催泪的比较多，林工被举报，一家人迁去广州，先是林栋哲表现的很懂事，毅然支持一家人一起走；还有一段就是宋莹走的时候，庄家送别的片段，太好哭了，特别是黄玲最后一句“宋莹” 😭😭😭。4.0 的版本是王安宇饰演的，看着看着挺喜欢的，演技也不错，和 1.0 版的很像一个人，也表现出了头脑灵光、阳光开朗大男孩的形象！和庄晓婷的感情线也好看 🤩，鹿晗你走吧哈哈哈

向鹏飞角色演的也很好，小时候懂事的让人心疼，到了大舅妈家，看到好吃的好玩的，也都是“不想要”，懂事的他不想乱花一分钱，也不想花周围人的钱，还好他有很好的朋友在治愈他。初到大舅妈家，看到西瓜，不敢吃，直到大人塞给他，这一系列表现也让黄玲心生怜悯。虽然后面图南要高考的那段时间拒绝了鹏飞的到来，但是后面再来的时候，鹏飞也没有怨他们，因为他很理解他大舅妈！后面虽然高考没考上，但是凭借自己的能力和魄力，成立了自己的公司，在苏州买了两套房，把远处的爸妈接了过来。宋莹、晓婷走后，只有向鹏飞能理解黄玲了，他也一直在护着黄玲，事业有成后，也在孝顺他们，演的很好，角色很丰富！

林工，最好的男人，宋莹永远的后盾，林家永远的顶梁柱，“我都支持你”胜过千言万语！！！

庄老师前面的愚孝让人窒息，完全不考虑自己身边的人感受，只顾着坚持尊老的思想，受小时候他阿爹阿婆传输的思想“你是老大，你得让着照顾着弟弟妹妹和小辈们”，从小饭让着他们，长大还得照顾一大家子，但只是他阿爹阿婆的工具罢了，因为他们疼的是小儿子，好处也都给小儿子了。但是愚孝的思想已经根深蒂固，导致自己身边的妻子孩子也要跟着一起受欺负，很喜欢林工说的“上一代的事情，就不要牵扯到下一代了，你可以去管你的弟弟妹妹，但是不要也让她们也跟着受委屈”，所有孩子都能看出来他阿爹阿婆偏心，欺负人，所以后面家庭出现过破裂，孝庄逐渐发现身边的孩子都远离他了，也就慢慢注意到了他阿爹阿婆确实做的不对，自己做的也不对，也慢慢觉醒了，还可能就是他老了，再这样，他害怕孩子不给他养老了…… 不止愚孝，还有他死板的思想、在家的傲慢、想管住所有人、说话的刻薄犀利、不考虑他人感受、生气时不会控制情绪只会摔杯子等等，和林工对比起来，有太多令人窒息的地方了

图南就不说了，范丞丞接不住老演员的戏，演的呆呆的，后面十集还好些，因为和老演员对戏变少了

庄晓婷角色也挺丰富的，关晓彤也进入了角色，就挺适合的~

还有太多，这部充满时代感的作品，真的能够让人深刻感受到那个年代特有的人情味与生活气息。

正午出品，必属精品！