📝随笔周刊——第 9 期
type
status
date
slug
summary
tags
category
icon
password
AI summary
🎶𝓦𝓮𝓮𝓴𝓵𝔂 𝓼𝓸𝓷𝓰 𝓹𝓲𝓬𝓴 🪗：
知识小品
Hands-On Large Language Models
这个 repo 介绍了《Hands-On Large Language Models》一书及其官方代码库。该书由Jay Alammar（也就是经常出动画讲解的大牛博主）和Maarten Grootendorst撰写，旨在通过视觉化和实用的例子帮助读者理解和使用大型语言模型（LLM）。书中涵盖了语言模型的基础知识、实际应用以及最新技术进展。读者可以通过Google Colab轻松运行书中的示例代码。
codellm-devkit
codellm-devkit 是一个用于无缝与 CodeLLMs 交互的 Python 库。它是一个多语言程序分析框架，旨在弥合传统静态分析工具和专门用于代码的大型语言模型(CodeLLMs)之间的差距。codellm-devkit 提供了一个统一的接口,用于整合来自各种分析工具的输出,并将其准备好供 CodeLLMs 有效使用。
主要功能点
- 统一: 提供单一框架,用于整合多种分析工具和 CodeLLMs,而不受编程语言的影响。
- 可扩展: 旨在支持新的分析工具和 LLM 平台,使其能够适应不断发展的代码分析领域。
- 简化: 简化将原始代码转换为结构化、LLM 就绪输入的过程,减少通常与多语言分析相关的开销。
Machine Learning for Software Engineering
一个关于机器学习在软件工程（ML4SE）领域应用的资源汇总。该仓库由 TU Delft 的 SALT 研究小组维护，旨在为研究人员、学生和实践者提供一个关于 ML4SE 的中心资源库。仓库内容广泛，涵盖了从类型推断、代码补全、代码生成到代码摘要、代码嵌入、代码修改、代码注释、漏洞检测等多个方面的论文、博士论文、数据集和工具。这些资源按照研究领域进行了分类，以便用户能够轻松地找到相关的研究资料和最新的技术进展。
Awesome-LLM-Synthetic-Data
关于基于大型语言模型（LLM）的合成数据生成的阅读清单，包含了最新的研究论文、工具和博客文章。
提升 PyTorch 数据加载速度的简单技巧
在使用 PyTorch 进行 GPU 模型训练时，默认的 DataLoader 设置可能会导致性能瓶颈。通过简单的调整，实现约 5 倍的速度提升。
在标准的训练过程中，
.to(device) 方法将数据传输到 GPU，这意味着当 GPU 在工作时，CPU 处于空闲状态，反之亦然。为了优化这一点，可以启用内存固定（memory pinning），这样在处理第一个小批量时，CPU 可以将第二个小批量传输到 GPU，从而减少 GPU 的等待时间。在 PyTorch 中启用内存固定非常简单：
- 在 DataLoader 对象中设置
pin_memory=True。
- 在数据传输步骤中使用
.to(device, non_blocking=True)。
此外，建议在 DataLoader 对象中指定
num_workers 参数，以进一步提升性能。
5 techniques to fine-tune LLMs
- LoRA：引入两个低秩矩阵 A 和 B，与权重矩阵 W 一起工作，通过调整 A 和 B 而非庞大的 W 来进行更新。
- LoRA-FA（Frozen-A）：在 LoRA 的基础上，将矩阵 A 冻结，只调整矩阵 B，从而减少所需的激活内存。
- VeRA：关注效率，将矩阵 A 和 B 固定并在所有层中共享，专注于每层中的微小、可训练的缩放向量，非常节省内存。
- Delta-LoRA：对 LoRA 的改进，在训练步骤中将矩阵 A 和 B 的乘积与主权重矩阵 W 的差值相加，提供一种动态但受控的参数更新方法。
- LoRA+：对 LoRA 的优化变体，矩阵 B 获得更高的学习率，这导致更快和更有效的学习。
随便看看
gpu_poor
这个项目是一个用于计算 GPU 内存需求和语言模型每秒可处理的 token 数量的工具。它支持多种量化方法(GGML、bitsandbytes、QLoRA)和推理框架(vLLM、llama.cpp、HF)。
MinerU
MinerU 是一个专注于提取 PDF 文档的工具箱，支持将 PDF 转换为 markdown、json 等格式，并且能够保持文档的结构完整性，包括标题、段落、列表等。该项目是在书生 - 浦语的预训练过程中诞生的，致力于解决科技文献中的符号转化问题，并希望在大模型时代为科技发展做出贡献。MinerU 支持多种操作系统和硬件环境，包括 Ubuntu、Windows、macOS，以及 CPU 和 GPU 环境。
Windows_Setting_dotfiles
一个公开的配置文件集合，用于在 Windows 11 系统上实现类似 MAC 和 Linux 环境的定制。
facad
facad 是一个现代化、多彩的命令行目录列表工具。它旨在通过功能和简单性的完美结合来增强文件管理体验。
随便玩玩
神奇的投影
国庆和女朋友逛雁栖湖公园，发现有一个神奇的投影，是 unity 相关的，投影的内容会根据前置的东西触发一些效果，比如下面这个礼包，当有东西在上面时，就会炸开，还有其他场景，感觉很有意思，一群小孩对着一片墙跳来跳去😂
北京野生动物园
国庆期间抽一天和女朋友去了北野，也没做什么攻略，就看了一些小红书的经验帖子。早上八点多打车过去，到地方快九点了，人很多，然后想着赶快去排猛兽区，然后，嗯，都在排猛兽区，即使有工作人员提醒不要把时间浪费在这里了，但好像没人走🌚，我们也就继续排了，这可好了一排就是三四个小时，快一点才排到。
猛兽区的游玩就是坐在一个封闭的车里，在猛兽区开一圈，期间买了投喂的游客可以通过一个洞进行投喂。这里吐槽一些人的素质，排队有一家子六个人总是喜欢往前插队，就走慢了一点就硬往前挤💩，上车的时候，最右侧的视角最好，因为动物一般在右边，那一家人一人一个右边靠窗，工作人员都说了一家子坐在一起，并排坐满再往后，素质真低🤮🤮🤮，主要是他们一家子也没买投喂的😓，无语，送他们“鸟语花香”的祝福(¯―¯٥)。猛兽区的动物也都比较温柔，除了熊一直在等吃的，其他都懒洋洋趴着，不鸟我们，所以，体验并不好🥲，不值得排这么久的队。
里面的物价也是贼贵，两百多毫升西瓜汁三十块钱，一根烤肠 12 块钱😅，我们早上走的急忘买泡面了，只能在店里吃一份一百多的快餐了🙁，要是去玩，建议自带一些食物和水。
下午就懒得排队了，小火车观光外围动物就没排，随便在园区里步行，绕了园区一圈随便看看，比上午有意思多了🤭，最后逛的爬虫区感觉挺好玩的，好多蜥蜴🦎种类，还有巨蟒😱，真的好大🌚
随便说说
那天随便浏览到一篇文章，推广的是拯救者的便携氮化镓电源适配器，和黑神话悟空联名的 觉着好帅，给女朋友看看，然后就被啪的一下买单了🥹，被女朋友狠狠宠到了🥰🥰🥰
和女朋友度过了一个非常舒适的国庆假期~还剩两天，恢复下节奏，干会活 💃💃💃
Loading...