type
status
date
slug
summary
tags
category
icon
password
AI summary
🎶𝓦𝓮𝓮𝓴𝓵𝔂 𝓼𝓸𝓷𝓰 𝓹𝓲𝓬𝓴 🪗：
知识小品
Prompt Cache
现在多个模型厂家相继提供了 Prompt Cache 来做让 LLM API 成本大幅降低！也就是这篇论文提出了一种名为Prompt Cache的技术，旨在解决大型语言模型（LLM）在推理过程中的高延迟问题。具体来说，它试图解决以下问题：
- 推理延迟：大型语言模型在处理输入提示（prompts）时，尤其是在涉及长文本或文档的情境下，推理过程可能会非常耗时。这影响了用户体验和模型的实时交互能力。
- 计算效率：在LLM的自回归（autoregressive）生成过程中，每次生成新token时都需要重新计算整个输入序列的注意力状态，这导致了显著的计算开销。
- 注意力状态的重用：许多输入提示在结构上具有高度重叠的部分，例如系统消息、提示模板和上下文文档。这些重叠的部分在不同的提示中频繁出现，但目前的LLM推理方法并未有效利用这些重叠部分的计算结果。
formatron
语言模型输出格式控制工具，通过最小化开销使每个人都能控制语言模型的输出格式，轻量级且易于集成现有代码库和框架。
随便看看
unlock-music
在浏览器中解锁加密的音乐文件：https://git.unlock-music.dev/um/web
OBS Studio
OBS（Open Broadcaster Software） 是一款免费且开源的视频录制和直播串流软件，广泛应用于各种操作系统，包括 Windows、macOS 和 Linux。
随便玩玩
嘿嘿这周拿下了《黑神话：悟空》，只在第一天玩了几个小时们就开学了 😭，最近也比较忙，相关的视频，攻略也没刷。自己体验下来，棍势打法太爽了，未曾体验过的打法，小时候就喜欢捡一些好看的木棍树枝等耍着玩哈哈。整体的难度对于我这个有点手残党来说还是有点难的，就比如第一章第三个怪大头娃娃，直接一巴掌拍碎了我的大圣梦！打了二十遍左右才过去，呜呜，我的虎先锋，再等等我去给你送外卖 🥹
随便说说
这周开学啦，先和家人在北京耍了两天，逛了逛天安门附近的景区，几个公园和故宫。故宫很宏伟，很壮观，有百年城墙，千年古树，推开一扇门，两朝三十六百年。很是被古代精美设计所震撼，奈何我才学疏浅，历史知识浅薄，对所陈列的文物也只是走马观花，唯感叹做工精美而已，甚不如周围游学的小学生和外国友人，看到一个外国友人做了很厚的笔记，自愧不如。
后面就到学校报到啦，果壳雁栖湖校区，很大很美，饭好像也能吃 🥲。和家人在校园里拍了拍合影，晚上和舍友在校园里骑着共享滑板车逛了逛，很舒适，背靠大山和景区，风景和空气自然优美~缺点也显而易见，我想喝个奶茶都在十几公里左右……哦对，好尴尬，共享滑板车还不会骑，按按钮不跑，打客服电话才知道是要助力一小段 🤣
下周基本就是开学准备，开开会，准备选课啥的，学生会的话，i 人还是不敢尝试 🤐
- 作者:huhu
- 链接:https://blog.mwwlzz.top/article/Weekly-3
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
