Weekly 随笔周刊——第 33 期

随笔周刊——第 33 期

北京晚霞、KV Cache 与 SSH 环境变量

拍到了北京的世纪晚霞

拍到了北京的世纪晚霞


🎶𝓦𝓮𝓮𝓴𝓵𝔂 𝓼𝓸𝓷𝓰 𝓹𝓲𝓬𝓴 🪗:

打开原始内容

知识小品

KV Caching Explained: Optimizing Transformer Inference Efficiency

https://huggingface.co/blog/not-lain/kv-caching

这篇博客文章将以易于理解的方式解析 KV 缓存,解释其用途,并展示它如何帮助 AI 模型更快地工作。键值(KV)缓存是一种通过记住以前步骤中的重要信息来加速这一过程的技术。模型不再从头开始重新计算,而是重复使用已经计算过的信息,从而使文本生成更快、更高效。

  • KV 缓存通过存储注意力层的中间状态,避免重复计算,从而加快文本生成速度。

  • KV 缓存的工作流程包括首次生成时存储键和值,随后每次生成新词时检索并更新缓存。

image.png

SSH session 到底会加载哪些环境变量?

本文深入探讨了 SSH 会话加载环境变量的机制,分析了不同类型的 SSH 会话如何加载环境脚本,并通过实验验证了相关结论。此外,还介绍了 Warpify SSH Sessions 功能对会话行为的影响,以及环境脚本对 SFTP 工作的潜在影响。

  • SSH 会话可以分为四种类型:login + interactive、login + non-interactive、non-login + interactive、non-login + non-interactive。

  • ssh your-name@your-host 会加载的环境脚本包括:/etc/environment、/etc/profile(以及 /etc/profile.d 下的脚本)、/etc/bash.bashrc、/.bash_profile、/.bash_login(如果 /.bash_profile 不存在)、/.profile(如果 ~/.bash_profile 和 ~/.bash_login 都不存在)。

  • ssh your-name@your-host — $CMD 会加载的环境脚本包括:/etc/environment、/etc/bash.bashrc、~/.bashrc。

  • Warpify SSH Sessions 功能修改了默认 SSH 会话的行为,导致丢失 —login flag,影响 login_shell 的结果。

  • 环境脚本的加载顺序和条件:/etc/profile 会加载 /etc/profile.d 中的脚本;/.bash_profile、/.bash_login 和 ~/.profile 按顺序加载,且只加载第一个存在且可读的脚本。

image.png

对OpenAI姚顺雨3小时访谈:6年Agent研究、人与系统、吞噬的边界、既单极又多元的世界

https://www.xiaoyuzhoufm.com/episode/68c29ca12c82c9dccadba127

一次关于 OpenAI 研究员姚顺雨的访谈,围绕人工智能领域的最新发展以及智能体研究的未来方向展开。他分享了自己对 AI 技术演进、任务定义、交互方式创新等方面的深刻见解,探讨了从语言模型到智能体系统的演化,以及 AI 技术如何创造价值、推动社会变革。

  • Agent 研究的核心是长上下文处理能力、记忆能力和工具调用能力,这些是实现终身学习的基础。

  • Code 环境是 AI 实现的重要领域,因为它具有支持多轮强化学习和闭环反馈的能力。

  • 设计任务和定义奖励机制是强化学习成功的关键,奖励应该是基于结果且可解释的。

  • Agent 系统的未来发展可能包括多智能体协作和长期记忆,这将推动 AI 从单一助手系统向复杂生态系统演变。

  • AI 技术的泛化能力正在增强,尤其是在数学和编程领域的训练能够迁移到其他任务。

  • 长期记忆和内生奖励机制是智能体系统未来发展的重要方向,这将提升 AI 的自主学习能力。

image.png

Spec Kit

https://github.com/github/spec-kit

Spec Kit是一个开源工具包,用于实现 Spec-Driven Development(规格驱动开发),旨在帮助组织专注于产品场景,而非编写无差异化代码。(现在很多 Code Agent 都有基于 Spec 驱动的第三方工具或者 Code Agent 内置了,这次 Github 官方直接下手做了一个工具包,说明 Spec 驱动开发还是很有必要的,不仅能够让需求更精确,还能动态维护项目状态,让 LLM 更好理解你的项目)

image.png

Verifiers

https://github.com/willccbb/verifiers

一个用于强化学习环境构建和训练大型语言模型智能体的模块化库。它支持多种用途,包括 LLM 评估、合成数据生成、以及任何兼容 OpenAI 接口的模型端点的智能体架构。核心功能包括内置的异步 GRPO 实现、支持大规模 FSDP 训练的 prime-rl 集成,并易于与任何暴露 OpenAI 兼容推理客户端的 RL 框架整合。

  1. 环境模块化:支持单轮环境、多轮环境与工具交互环境,可实现复杂的模型和环境交互模式。

  2. 数据集与评估:支持基于Hugging Face数据集的评估与奖励机制,Rubric封装了多种奖励函数和评价逻辑。

  3. 异步训练:提供用于多GPU加速的GRPOTrainer,兼容全参数微调和高效训练,支持规模化节点部署。

  4. 集成扩展:可以通过添加自定义工具、解析器或奖励函数扩展环境功能,并与其他外部框架(如prime-rl)集成。

随便看看

LLM Things

https://df.fenx.work/llm-things

超有趣的 AI 贴纸,有各种和 AI 相关的 梗,挺有趣的哈哈哈,可以打印出来作为贴纸~

image.png

1、我的技术退步了

五年前,我大学毕业时,很热衷于软件开发,参与了一大堆开源项目。

我全身心投入,为这些项目投入了数千小时。虽然没有回报,但我非常享受这些时间,项目用户也对我的工作评价很高。

毕业后,我开始找工作。我认为,公司会看重我的开源经历。我想错了。

我申请了600多个职位,告诉公司我为开源项目做了许多贡献,但结果只收到了3个 offer。最终,我接受了一家创业公司的 offer。

白天,我为这家创业公司工作八九个小时。回到家后,我继续投入自己的开源项目,直到深夜。

我的薪水少得可怜,但是我乐在其中。我的技能快速提高,社区影响力也显著提升。

终于有一天,我认清了现实。公司的项目根本不能体现我的价值,知道我价值的人,又不是能付钱给我的人。我退缩了,开始苦练 Leetcode。

我不再在开源项目投入很多时间,项目社区也渐渐失去了活力。放弃开源项目让我很难过,但我因此进入了一家大公司,我的薪水增加了5倍。

我把所有时间投入了公司的项目,得到了领导的好评。我的邮箱开始塞满了各种挖我跳槽的邮件。

但是,我知道,自己的技术退步了。公司的项目很枯燥,没有挑战性,使用的是内部技术栈。

此外,我也远不如以前快乐。

我想我会攒点钱,过几年就退休,希望那时开源世界还像以前一样。

Instinct

https://blog.continue.dev/instinct/

一个开源的 Next Edit model,旨在预测开发者的下一步代码编辑操作,并显著提升代码编辑效率。该模型支持本地运行,满足隐私和定制需求,通过收集真实世界的开发数据和多语言支持进行训练,并采用 SeleKT 算法进行高效的权重更新。测试结果显示,Instinct 不仅能提供高质量的编辑建议,还能将编辑速度提高 6.4 倍。

目前虽然各大 Code Agent IDE 和 Code Agent CLI 很多,但是 Curosr 的 Tab Model 依然是天花板的存在,95% 情况下准确预测我的下一步操作,所以导致我在使用 Copilot 等 IDE 时,感觉很笨重,无法理解我的意图…… 虽然有人说现在都是自然语言编程,不需要手动编写修改代码了,但完全交给 AI 来主导,生成的代码还是挺重的,而且,总有需要小修改的地方,这种时候 Tab 就很舒服了。

image.png

Online RL for Cursor Tab

https://cursor.com/blog/tab-rl

正巧 Cursor 这周也更新了新的 Tab 模型,发布了一些技术细节,用用户的数据,然后在线 RL 来快速迭代和部署模型!我就说最近的 Tab 怎么更好用了。

  • Cursor 的 Tab 模型通过预测用户的下一步操作提供建议,旨在提升开发者的生产力。新模型的接受率提升了28%,建议数量减少了21%。

  • 使用在线强化学习优化 Tab 模型,使用实时数据进行训练,与传统的静态数据集或人工标注方式不同。

  • 为了提高建议的接受率,开发团队选择使用策略梯度方法而非简单的过滤机制,直接调整模型以避免产生错误建议。

  • 策略梯度算法通过奖励机制优化模型行为,鼓励被接受的建议并减少不被接受的建议。

  • 使用“策略梯度定理”,通过采样用户交互数据来估算梯度,并通过随机梯度下降优化模型。

  • 快速部署新模型并收集数据是关键,目前部署和数据收集的时间为 1.5 至 2 小时,未来仍有优化空间。

image.png

similarity

https://github.com/mizchi/similarity

一个高性能代码相似性检测工具,主要采用 Rust 编写,用于跨多种编程语言检测代码中的重复函数和类似代码模式。

  • 多语言支持。

  • 基于抽象语法树(AST)进行代码比较,较传统的文本匹配更加快速和精准。

image.png

Awesome-Nano-Banana🍌-images

https://github.com/PicoTrex/Awesome-Nano-Banana-images

一个基于 Gemini-2.5-flash-image 模型(Nano Banana🍌)生成和编辑的创意图片案例合集。它展示了 Google 先进 AI 图像生成与编辑技术的多种应用可能性,包括插图、3D 建模、照片修复、表情控制、商品设计等多达 68 种不同案例。

image.png

随便玩玩

Zotero MCP

https://github.com/54yyyu/zotero-mcp

旨在通过 Model Context Protocol 将 Zotero 研究库与 Claude 和其他 AI 助手(如 Cherry Studio、Cursor 等)无缝连接,实现论文讨论、摘要生成、引用分析、PDF注释提取等功能。

  1. AI驱动的语义搜索:支持基于向量的全库相似性搜索,提供多种嵌入模型(默认、OpenAI、Gemini),可按频率自动更新数据库。

  2. 智能搜索:按标题、作者、内容搜索文献,并支持复杂条件的检索。

  3. 内容访问:提取元数据、全文内容及附件和注解。

  4. 注释功能:搜索和提取PDF注释,生成和更新注解。

EcoPaste

https://github.com/EcoPasteHub/EcoPaste

EcoPaste 是一款基于 Tauri v2 开发的跨平台剪贴板管理工具,支持 Windows、macOS 和 Linux(x11)。项目特点包括轻量高效、简洁直观的界面设计、支持多种剪贴板内容类型(纯文本、富文本、HTML、图片及文件)、数据本地存储确保隐私安全、便利的备注功能及丰富的个性化设置。

image.png

WinBoat

https://github.com/TibixDev/winboat

WinBoat 是一个运行于 Linux 系统上的工具,旨在通过无缝集成让用户在 Linux 上运行 Windows 应用程序。使用 Electron 构建,通过 Docker 容器运行 Windows。借助 FreeRDP 和 Windows 的 RemoteApp 协议进行应用窗口的系统级渲染。

  • 🖼️ 优雅界面:提供直观的用户界面,使 Windows 应用在 Linux 上运行时犹如原生体验。

  • 📦 自动安装:支持简单的安装流程,自动处理配置。

  • 🚀 运行任意应用:几乎所有 Windows 应用都可以在 WinBoat 上运行。

  • 🖥️ 完整桌面体验:可选择运行完整的 Windows 桌面或单独的应用。

  • 📁 文件系统集成:共享文件变得轻松,Linux 的主目录会挂载到 Windows。

  • 🛠️ 更多功能:如智能卡透传、资源监控等。

下载使用了一下,还挺方便的,一键下载 ISO 然后就可以启动 Windows 容器了,通过 rdp 来控制桌面。我为什么还要在 Ubuntu 中装一个 Windows 呢?因为我想用网易云客户端 🤡,网易云快反思反思,怎么不更新 Linux 客户端!

image.png

AlgerMusicPlayer

https://github.com/algerkong/AlgerMusicPlayer

一个跨平台的第三方音乐播放器,支持本地化服务和多种音乐功能。主要特点包括:

  • 🎵 音乐推荐、播放历史记录、歌曲收藏管理、每日推荐等功能。

  • 🔐 支持网易云账号登录与同步。

  • 🎨 提供沉浸式歌词显示、独立桌面歌词窗口、明暗主题切换、多语言支持等界面优化。

  • 🎼 提供完整歌单、MV、专辑服务,支持音乐资源解析、EQ均衡器、高品质音乐播放与下载等。

image.png

ConvertX

https://github.com/C4illin/ConvertX

一个可自托管的在线文件转换器,支持超过 1000 种格式,很适合本地或者云端部署一个。

  • 文件格式转换

  • 批量处理文件

  • 支持密码保护和多账号

  • 提供丰富的转换器(如 ImageMagick、FFmpeg、Pandoc 等)

image.png

随便说说

这个月比较忙,忙于工程项目,基本没咋看论文,也没探索太多有趣的东西,所以周刊也就停更了一个月,可能以后这也是常态?有时候也没动力更新 hhh,说不定哪天就停更周刊了,碎碎念就自己看。不清楚吧,可能还没完全适应和平衡研究生的上班生活吧…… 一个明显的变化是,周末对我来说感受更明显了,忙碌一周,会期待周末睡个大觉然后出去拍照、吸氧,即使无聊的闲逛和发呆

开始着手尝试一些科研的想法,看能不能构建出来一个相对有意思而且有效果的东西,需要学习和调研的挺多~

上周末拍到了月全食,在外面蹲到凌晨三四点,小长焦也是尽力了~

image.png

目录 共 19 节

评论

访客
⌘ / Ctrl + Enter 发送

发送后直接公开 · 访客昵称未经认证

正在读取评论…