huhu
Weekly 随笔周刊——第 2 期

随笔周刊——第 2 期

CVEfixes、Llama 微调与 LivePortrait

huhu · 约 10 分钟

家

家

🎶𝓦𝓮𝓮𝓴𝓵𝔂 𝓼𝓸𝓷𝓰 𝓹𝓲𝓬𝓴 🪗：南京恋爱通告——银河快递

知识小品

CVEfixes

https://github.com/secureIT-project/CVEfixes

CVEfixes是一个不断更新的自动收集和整理的漏洞数据集，来源于美国国家漏洞数据库（NVD）的公共漏洞记录，CVEfixes 工具会自动从 NVD 中获取所有可用的 CVE 记录，并收集相应的漏洞代码及其修复信息。该数据集旨在支持基于源代码和相关修复的安全研究，包含详细的修复信息，包括提交、文件和方法等多个层面。数据集已在Zenodo发布，相关文档和使用说明可在GitHub上找到。该项目得到了挪威研究委员会的资助。

image.png

Python 中的 C 语言解析器

1. libclang

https://pypi.org/project/libclang/

这个仓库包含了从LLVM项目中提取的代码，目的是为了简化clang的Python绑定的安装。它复制了必要的Python绑定文件，添加了打包脚本，并将包上传到pypi。该项目提供了静态链接的libclang共享库，支持多个平台（如OSX、Windows和Linux），使得用户无需安装LLVM工具包即可使用clang.cindex。安装时只需运行pip install libclang。

import clang.cindex
from clang.cindex import Index

# 初始化 Clang 索引
index = Index.create()

# 解析 C++ 文件，生成 AST
translation_unit = index.parse('example.cpp')

# 遍历 AST 节点
def traverse_ast(node, depth=0):
    print('  ' * depth + f'{node.kind} {node.spelling}')
    for child in node.get_children():
        traverse_ast(child, depth + 1)

# 从根节点开始遍历
traverse_ast(translation_unit.cursor)

2. pycparser

https://github.com/eliben/pycparser

pycparser是一个用纯Python编写的C语言解析器，旨在便于集成到需要解析C源代码的应用中。它支持C99标准，并且可以处理部分C11特性。pycparser的主要用途包括C代码混淆、静态代码检查和自动单元测试发现等。安装过程简单，只需使用pip进行安装。使用时，pycparser需要与C预处理器配合，以正确解析C代码。

Python 中的 GitPython

https://github.com/gitpython-developers/GitPython

果然，阅读开源仓库的源代码是有好处的，能发现很多实用的第三方库或者功能实现！GitPython允许开发者使用高层次或低层次的抽象来与Git仓库进行交互。这意味着你可以像使用Git命令行工具那样操作Git，但通过Python代码实现

import git
import os

def clone_repo(repo_url, repo_path):
    if not os.path.exists(repo_path):
        git.Repo.clone_from(repo_url, repo_path)

def get_commit_diff(repo_path, commit_hash):
    repo = git.Repo(repo_path)
    commit = repo.commit(commit_hash)
    diffs = commit.diff(commit.parents[0], create_patch=True)
    for diff in diffs:
        print(diff.diff.decode('utf-8'))

repo_url = "https://github.com/example/example-repo.git"
repo_path = "/path/to/local/repo"
commit_hash = "abc123def456"

clone_repo(repo_url, repo_path)
get_commit_diff(repo_path, commit_hash)

postgres-new

https://github.com/supabase-community/postgres-new

postgres.new 是一个基于浏览器的 Postgres 沙箱，允许用户使用 AI 数据库助手，通过聊天进行数据库操作，可以实时生成 ER 图并生成完整 SQL，还支持上传文件解析 CSV 数据，并能根据数据生成数据分析图表。尝试了一下发现效果很不错，实时的关系表展示、展示生成的SQL代码、前端数据库实时交互，当时上数据库课的时候怎么没有这么好用的 AI 工具 🤣

image.png

用户可以通过拖放 CSV 文件导入数据、生成和导出报告、创建图表以及构建数据库图示。该平台利用 PGlite（一种能够在浏览器中运行的 WASM 版本的 Postgres）实现所有查询，数据存储在 IndexedDB 中以确保刷新后数据持久。项目分为前端（使用 Next.js 构建的主要网页应用）和后端（通过 pg-gateway 提供 S3 支持的 PGlite 数据库）。

certd

https://github.com/certd/certd

CertD 是一个免费的自动申请和更新 SSL 证书的工具，支持多种云服务平台，如阿里云、腾讯云等。它能自动化整个证书申请和更新过程，确保证书永不过期，并支持通配符域名。

什么是通配符域名证书？第一次听说，好像挺方便~

通配符域名证书是一种 SSL/TLS 证书，用于保护同一域名下的多个子域名。与传统的单一域名证书不同，通配符证书只需购买和管理一个证书即可保护多个子域，大大简化了证书的管理工作。

通配符证书的特点在于，它使用“通配符”符号（即星号 *）来表示可以匹配的所有可能的子域。例如，针对 *.example.com 的通配符证书可以同时保护 www.example.com、mail.example.com、blog.example.com 等任意数量的子域名。

然而，需要注意的是，通配符证书通常只能用于一级子域名，而不能跨越多个级别的子域名。比如，*.example.com 不能保护 sub.mail.example.com。

使用通配符域名证书可以有效地减少证书管理的复杂性和成本，但在某些情况下，应该小心地考虑安全需求，因为一个通配符证书的私钥一旦泄露，所有受该证书保护的子域名都会受到影响。

image.png

LivePortrait

https://liveportrait.github.io/

LivePortrait 是由快手科技与中国科学技术大学和复旦大学合作开发的AI驱动肖像动画框架，能够将静态图像转化为逼真的动态视频。就是说很好玩啊，把你家可爱萌宠的照片配上一个鬼畜的视频，喜感拉满哈哈哈哈 🤣。快手在开源方面很赞，不像之前那几家大厂发个 readme 没代码或者部署不方便，用户不友好，快手直接给了一个压缩包，解压即可运行。

我的本地环境为 RTX 4060 8G，运行 34s 的视频，大概生成所需的时间为两分半，这质量还要什么自行车，你说是不 😍，运行时的信息如下。由于可爱猫狗不是我家的，未经允许就不贴成果了，但太可爱了 😚

image.png

使用 Unsloth 超高效微调 Llama 3.1

https://github.com/unslothai/unsloth

Unsloth 是一个专为大语言模型（LLM）微调和训练而设计的开源库，旨在显著提升训练速度并减少显存占用。

Fine-tune Llama 3.1 Ultra-Efficiently with Unsloth

Llama3.1 8B 使用《史记》七十列传文本数据微调训练，实现现代文翻译至古文

随便看看

在远方的阿伦AaronLiu

https://www.youtube.com/@aaronliu4515

新发现的一个旅行博主，发现拍的视频也都是高质量的，拍摄、配乐、文案、剪辑等都很不错，博主的《围城随笔》旅行纪录片也在 B 站上评分高达 9.9！

image.png

我特别喜欢看这些旅行博主，之前关注的有 Links、老张、期末 77 等，在小红书上还关注了一些摄影博主。每当我观看这些视频，都会沉浸于那美丽的风景之中，也能够了解不同地方的风俗文化、饮食住行等等。我可能会产生陶醉、好奇、震惊、震撼、激动、羡慕等各种心情，但看完之后心情格外舒畅，对我而言它就如同多巴胺一般！

Mureka

昆仑万维集团发布全球首个 AI 流媒体音乐平台 Melodio 和 AI 音乐商用创作平台 Mureka，搭载新款自研 DiT 架构的 AI 音乐大模型 Skymusic 2.0，实现了个性化音乐生成和商业化音乐创作。

自己试了试之前在另一个平台创作的歌，发现 Mureka 确实在 Style 上更丰富而且更精细化，并且针对每个 Style 都提供了对应的试听音频，可以很方便的选择喜欢的 style。这里我选择了一个 Hip-Pop，生成大概一两分钟，哇，被前奏给吸引到了，虽然后面整体有些普通，但是节奏还可以并且会有经典的语气发音，总体是很不错的，而且最长时长达六分钟，能够持续输出曲风、曲调、速度、和弦、配器相似的特定风格歌曲！给大家听听嘿嘿，yao, qie ke nao：996

image.png

How I Use “AI”

自从 ChatGPT 等 LLMs 发布，我也给身边的人安利，但有时就会听到这种声音“这回答的啥啊，这也不对啊，这生成的代码还报错”。首先我认为如果想要使用好 AI 首先知道基础的使用方法，比如如何编写更好的 prompt，也就是更好的提问，这在真实世界中一样重要。其次我认为对于一个疑难问题，LLM 更重要的作用是帮我实现了一个从无到有的方案，你可能对于一个问题没有一点解决办法或者对于一个第三方库没有一点使用的概念，LLM 输出的代码可能会产生 bug，但是提供了解决这个问题的大致思路和方法，可以使用的工具等。我从来不要求 AI 能一次给我 100% 正确的答案，我看中的是给了我思路和灵感！

Languages, syntax, flags, and the details… I too have touched so many different technologies over the years that I understand at a high level, but don’t remember the minutiae of. I have almost turned into a “conductor” rather than an instrumentalist.
Especially for debugging issues that could previously take days of searching documentation, Stack overflow, and obscure tech forums. I can now ask an LLM, and maybe 75% of the time I get the right answer. The other 25% of the time it still cuts down on debugging time by helping me try various fixes, or it at least points me in the right direction.

How I Use "AI"

How I Use “AI”

By the way, 无论是哪个行业，充分掌握领域知识并配合 AI 才是最佳做法。

随便玩玩

https://store.steampowered.com/app/3132990/_/

游戏科学公司发布了《黑神话：悟空 性能测试工具》，各位天命人可以先看看自己的主机性能如何。光是这个测试工具我就已经激动了，首先终于首选语言是“简体中文”了，不再是到处找汉化包了 🤤；然后游戏的性能测试是一段游戏画面，从这段画面看到做工确实好精细，可惜我的电脑配置不是很高，如果电脑性能拉满，画质开到电影史诗级别，开启光线追踪，那简直就是视听盛宴 😍

全景光线追踪

全景光线追踪（Path Tracing）是一种先进的渲染技术，用于在游戏和电影中模拟真实世界中的光线行为。它通过追踪光线在场景中的路径，生成更加逼真的光照和阴影效果。以下是全景光线追踪的主要功能和优势：

  1. 逼真的光照效果：

    • 全景光线追踪能够准确模拟光线在场景中的传播、反射、折射和散射，从而生成非常逼真的光照效果。

    • 例如，在《赛博朋克2077》中，每个霓虹灯、路灯、LED广告牌和汽车前灯都可以通过全景光线追踪技术实现逼真的光照效果。

  2. 动态阴影：

    • 全景光线追踪可以生成动态阴影，这些阴影会根据光源的位置和强度实时变化，增强了场景的真实感3。

  3. 全局光照：

    • 全景光线追踪能够模拟全局光照，即光线在场景中的多次反射和散射。这使得场景中的每一个角落都能被适当照亮，避免了传统渲染方法中常见的“黑洞”现象8。

  4. 反射和折射：

    • 全景光线追踪可以生成真实的反射和折射效果。例如，水面、玻璃和金属表面的反射效果会更加逼真8。

PixPin_2024-08-13_16-20-34.png

PixPin_2024-08-16_21-17-53.png

PixPin_2024-08-13_16-22-32.png

八月二十发布，现在还没买，有点小贵，而且八月二十二就开学走了，哎可惜，发工资再买吧 🫠

随便说说

这周基本都在准备开学的东西，和我妈妈一起挑一个行李箱的话能挑一上午 🤣，也做了一个简易的北京两天游玩攻略，用的是一个新的 APP — exping，之前在一个频道被安利的，能在地图上标记绘制路线等，还不错~

不得不说，这故宫的票是真难抢，是个持续战，四十分钟才抢到，整个流程比较复杂，需要点击好几个页面，而且因为是小程序，一不小心就滑到主页面了 🥲，刷新频繁还会被禁掉 IP！还好最后抢到了嘿嘿~

周六发现科目三可以预约了，然后极限的约了 21 号的考试，练四天的科三，每天一小时左右，有点慌。第一次练加减档位发现自己没进化好一样，手脚眼🧠不会协调，嗯，祝我好运！！！ 🙏🙏🙏

下周就要去另一个城市了，新的环境，陌生的人，对于 i 人来说，还是有点焦虑的。那就祝自己所遇皆良善 ，所行化坦途 😊

目录 共 16 节

评论

访客
⌘ / Ctrl + Enter 发送

发送后直接公开 · 访客昵称未经认证

正在读取评论…