随笔周刊——第 18 期

type

status

date

slug

summary

知识小品

How to fine-tune open LLMs in 2025 with Hugging Face

https://www.philschmid.de/fine-tune-llms-in-2025

本文详细介绍了如何在 2025 年使用 Hugging Face 平台对开源大型语言模型进行微调。文章首先指出，随着 2024 年的发展，LLMs 变得更加小型、高效，且能够通过提示处理多种任务。尽管如此，对于需要高精度或领域专业知识的特定应用，微调仍然是提高结果质量、降低成本、确保特定用例的可靠性和一致性的有力方法。

文章列出了微调 LLMs 的五个主要步骤：定义一个合适的微调用例、设置开发环境、创建和准备数据集、使用 trl库和 SFTTrainer 微调模型，以及测试和评估模型。解释了 QLoRA 和 Spectrum 如何通过 4 位量化和最小参数更新以及通过信噪比分析选择最有信息的层进行有效的微调。

TRL - Transformer Reinforcement Learning

TRL（Transformer Reinforcement Learning）是一个用于使用 SFT、PPO 和 DPO 等高级技术对基础模型进行后训练的综合库。它建立在 Transformers生态系统之上，支持各种模型架构和模态，并可以在各种硬件设置上进行扩展。

Finally, a Replacement for BERT

🤗ModernBERT-Base

🤗ModernBERT-Large

📝arXiv

🤗ModernBERT documentation page

新型的 encoder-only 模型 ——ModernBERT，对 BERT 模型的改进，提供了更长的序列处理能力（8192）、更好的下游任务性能和更快的处理速度。ModernBERT 有两种尺寸：base（139M 参数）和 large（395M 参数），并且在transformers库的 v4.48.0 版本中得到了支持。ModernBERT 使用了最新的大型语言模型的技术进展，包括改进的架构和训练过程，如使用旋转位置嵌入（RoPE）、GeGLU 层、移除不必要的偏置项以及增加额外的归一化层。

算法新解——第二版本

https://github.com/liuxinyu95/AlgoXY

作者从2009年开始编写，并于2017年发布了第一版中文版本。2020年至2023年，作者对项目进行了重写和改进，发布了第二版英文和中文版本，并进行了开源。

O1 Replication Journey

https://github.com/GAIR-NLP/O1-Journey

O1 技术开源复现之旅。该团队由上海交通大学 GAIR 研究组的本科生和博士生组成，并得到了来自纽约大学和 MBZUAI 的顶尖研究科学家的指导。

1 dataset 100 visualizations

https://100.datavizproject.com/

通过一个简单的数据集，创造出 100 种 insightful 且视觉上吸引人的数据可视化。这个实验旨在展示数据可视化的广泛性和深度，以及如何利用有限的视觉属性和资源讲述不同的故事。网页上列出了 100 种不同的数据可视化方法，每一种都是对原始数据集的独特解释和展示。（可以扩展一下可视化图表的视野和角度）

随便看看

照明商店 조명가게

一群素昧平生的人，努力与过去和解。试图抚平过往伤痛的陌生人们，在因缘际会下，被吸引到一间在幽暗巷子尽头的照明商店。

最近看了这部剧，虽然剧情比较短，但故事情节挺完整的，人物塑造的也比较丰满。剧情整体都是昏暗的色调，因为故事主要地点发生在没有白天的死亡后的世界，所以前四集其实有点惊悚的，黑暗的巷子，突然坏掉的灯泡，路上古怪的人们等，但，后四集会发现，一切都是有原因的，每个古怪的人背后都关联着一位濒死之人的感人故事…

（后面太感人了😭😭😭）