随笔周刊——第 17 期type
status
date
slug
summary
tags
category
icon
password
AI summary
🎶𝓦𝓮𝓮𝓴𝓵𝔂 𝓼𝓸𝓷𝓰 𝓹𝓲𝓬𝓴 🪗：
知识小品
papers
自动收集和总结安全四大顶会的学术论文。提供了一系列功能，包括收集论文摘要、对论文进行分类、搜索论文以及将论文导入Notion数据库等。这是师兄的一个项目，上周在分享 top4grep 项目时其实就想实现一个能够基于 keyword/query 并使用 LLM 搜索相关的 paper 的功能，正好上周末晚上看到师兄发布了这个收集四大的项目，所以就直接开始干了，思路很简单，就是读取已经保存的论文数据库，然后遍历每个论文，将 title 和 abstract 以及设定好 prompt 的喂给 LLM 就行，相比于关键词匹配，LLM 能够基于语意判断是否相关，还是更准确一些的😊。然后后面存储为 datasets 数据库查看不太方便，又提交了一个导入到 notion 的功能，谁让我是 notion 忠粉❤️(⁎⁍̴̛ᴗ⁍̴̛⁎)。
但是好像整个自动化流程还是缺少点什么，就是能不能自动获取到对应的 PDF 文件呢，然后我就记得 Zotero 可以，所以这也是下回来 Zotero 的直接原因哈哈哈😂，目前也已经实现好了导入到 Zotero 的功能，但发现配置相关插件后还是不能自动下载 PDF，因为保存的论文数据只有四个字段，并不包含 DOI 以及其他关键信息🌚，所以相当于没太有用，相当于在 Zotero 中占了个坑🥲，后面再看看能不能改改之前的代码获取到 DOI，或者通过一些 API 获取到相关字段☺️。目前项目基本就是自用的状态，没有很好的组织，但如果对你有帮助，也可以点个 star🌟
onnx
ONNX 是一个开源的机器学习模型交换格式，为深度学习和传统机器学习模型提供了统一的开源格式，主要用于模型推理场景，ONNX 的主要优势在于它提供了一个标准化的模型交换格式，使得模型可以在不同的深度学习框架之间转换和部署，大大提高了 AI 开发的效率和灵活性。
- 模型转换：将不同框架训练的模型转换为统一格式
- 模型部署：便于在不同平台上部署模型
- 模型优化：支持模型优化和推理加速
- 跨平台兼容：实现模型的跨平台和跨框架使用
（注意到 onnx，主要是因为最近看到比较多的模型通过 onnx 结尾格式分享，看来比较受欢迎~）
Infinity
Infinity 是一个高吞吐量、低延迟的 REST API 服务引擎，用于提供文本嵌入、重排序模型、CLIP、CLAP 和 ColPali。它支持部署任何来自 HuggingFace 的模型，并使用 PyTorch、Optimum(ONNX/TensorRT) 和 CTranslate2等快速推理后端，利用 FlashAttention 充分发挥 NVIDIA CUDA、AMD ROCM、CPU、AWS INF2 或 Apple MPS 加速器的性能。Infinity 还支持多模态和多模型，可以混合使用多个模型，并通过 FastAPI 提供简单易用的 API。
marimo
marimo 是一个反应式的 Python 笔记本，可以运行可重复的实验，作为脚本执行，部署为应用程序,并通过 Git 进行版本控制。它解决了传统 Jupyter 笔记本存在的问题，提供了一个更好的编程环境来进行研究、代码实验和知识分享。
- 🚀 功能丰富：替代 Jupyter、Streamlit、Jupytext、IPywidgets、Papermill 等工具
- ⚡️ 反应式：运行单元格时，marimo 会自动运行所有相关的单元格或将其标记为过时
- 🖐️ 交互式：无需回调即可绑定滑块、表格、图表等 UI 元素
- 🔬 可重复性：无隐藏状态、确定性执行、内置包管理
- 🏃 可执行：可作为 Python 脚本执行,可通过命令行参数进行参数化
- 🛜 可共享：可部署为交互式 Web 应用程序或幻灯片,可通过 WASM 在浏览器中运行
- 🛢️ 针对数据：可使用 SQL 查询数据帧和数据库,对数据帧进行过滤和搜索
- 🐍 Git 友好：笔记本以 .py 文件的形式存储
随便看看
克服肉体的极限，抵达灵魂的自由
这一次 Links，登上了瑞士的马特洪峰。我就是一位粉丝，一个没了解过登山的普通人，不知道马特洪峰有多险峻，不了解徒手攀岩的困难和危险。但"大学生"体质的我起码知道爬山很累🥹。Links 为了登上这座山峰训练了九个月，看往期视频的时候看到他在高原还在坚持一个多小时的跑步，很佩服，原来是在准备攀登高峰。后面徒手攀岩训练，高海拔山峰实战，不断的挑战自我，突破极限，最终如愿，实现了灵魂的自由。视频最后的那段旁白，Links有些哽咽，想必回想起那段经历，至今仍感概万千。Links 还是一如既往的令人钦佩，他的经历也让我向往，这也是为什么我看他的视频很容易沉浸其中吧…
随便玩玩
语音识别 🗣️ → 📜
周末女朋友说要处理一段录制的音频转为文字，我就找找可用的 STT 工具，因为我记得之前也是有人分享给相关的工具或者模型的，但是我找不到了 😅，经典用的时候找不到。但是我还是记得几个 STT model 的，所以就每个都先试一遍效果。测试的是一首歌《骂》，B站上几位神仙 UP 主联合创作的歌曲，强烈推荐欣赏一下，歌词、作曲和动画都非常棒！其实歌词是比较难识别的，因为整体是一首 RAP，而且部分歌词有重叠，语速比较快，以及还有一些中文的生僻字，很不常见的词组搭配，所以整体难度挺大的。
最前面那几句说实话我也没听清，所以就以后面一段来评判，根据视频配的字幕，标准字幕如下：
Gemini-2.0-flash
最近 Gemini 发布了最新的 Gemini-2.0-flash 模型，能力有很大的提升，而且能够进行实时的视频和语音传输，真正的多模态啊！不得不说，Google 从不搞虚假营销，每次都是硬货直接全批量放松，而且每日有免费额度，比隔壁那个传销的 CloseAI 好太多了。
可以看到 Gemini 整体的效果还是很不错的，除了个别比较难识别到的词，其他基本都正确，而且并不是简单的识别到这个发音对应到的汉字，而是能够知道上下文场景下对应的词，为什么说这一点，看下面其他模型的结果就知道了。
whisper-1
然后是吃相比较难看的 OAI 家的，可以简单的通过下面代码进行语音识别：
得到的结果也是真离谱哈哈哈，我都懒得标注了，基本都不对，而且整体的人物语境就没识别到，属于那种耳背，而且知道词也不会组句子的，根本没理解嘛 😅
剪映
剪映工具的接口实现的字幕处理，也可以用来语音转文字吧：
这不比 OAI 的好，大多都识别正确，只是不是对应的字而已，但是部分人物和关键词还是对上了的，不错不错，主要是还免费。
B站
我去，B站的识别能力这么高，基本都全对啊，标出的也大多都是对应的字没对应上，但是发音识别对了，这可以原谅，因为确实这些词搭配在一起的频率比较低。B站还是牛啊！
总结
目前就测试了这些，其中剪映和B站是通过 VideoCaptioner 这个工具实现转录的，软件很不错哦，还支持通过开源 fast-whisper 模型和在线的 LLM API 进行转录和字幕优化，推荐一下！！！
所以目前感觉最好用的就是 Gemini-2.0-flash 和 B站的接口，剪映的也不错，就是 OAI 的 whisper-1 比较菜了，而且还不支持时长比较长的音频，如果直接给 whisper-1 传入两小时的音频，会没有任何输出 🥲
待测
还有一个模型其实挺想测试一下的，就是阿里云的 SenseVoice，也是开源了的，但暂不清楚模型推理所需的配置是多少，还没深入研究，后面有时间可以试试~
当然肯定还有其他很好的 model，后面看到就及时在这里记录一下 😊
Zotero
最近重新下载了 Zotero，之前也用过，发现没有 ReadPaper 方便，但是最近发现管理的文献容量有限制，所以想着还是本地优先最舒服吧，起码没有啥限制。在这里列一下在配置 Zotero 时相关的插件：
Zotero Plugins Collection
Zotero 插件合集，提供了多个 Zotero 插件的信息和下载链接，插件的分类和组织清晰简介！
Zotero Better Notes
非常优雅方便的笔记记录插件，在 Zotero 中能够方便的使用 md 语法进行记录，而且可以通过代码和 Zotero 进行联动，提取一些 metadata。笔记的功能也是比较多，比如还可以和本地笔记软件 Obsidian 联动，实时同步等，暂时还没研究完 😝
它还提供笔记模板，这就不需要每个论文的笔记都重新搞一遍一些固定的配置，这真的太舒服啦 🤩
Zotero Style
Zotero-Style 是一个为 Zotero 提供丰富功能的插件，包括阅读进度可视化👍、标签管理、快速过滤等。旨在让用户享受更好的文献阅读体验。仓库中有文档和贴心的视频教程哎，让 Zotero 的使用体验上升了一个档次！
已安装的插件
下面再贴一下我安装了哪些我认为对我有帮助的插件，这些插件就功能很直观，并不需要进行特意学习了。其中 Awesome GPT 和 Translate for Zotero 可以使用自己的 API key，很方便！总的来说开源🐂🍺，这不比商业化的软件舒服多了，可以定制插件来满足需求，社区的力量永远伟大 🥳
待探索
周末在帮导师写本子的时候，对于论文引用确实可以很方便从 Zotero 中插入引用，但是发现引用和引用列表无法自动链接，手动改也不是这么方便，点击超链接引用不会显示出引用列表，有点奇怪，看社区的说法是比较难实现，目前只能通过定义宏稍微改善。
Imagenie
Imagenie 是一款基于 AI 的桌面应用程序，可以帮助用户轻松地处理图像，包括图像超分辨率、人脸修复和背景移除等功能。该应用程序采用本地处理方式，确保用户的图像隐私得到保护。
目前还未找到能够修复图片中有缺失或者大糊块的模型，但是看到有些在线网站实现了这种效果，不知道使用的是什么模型，自己尝试的几个并没有较好的效果。不过对比较完整的照片用处还是比较大的，家里爸妈的照片高清放大之后清楚多了，然后就可以打印出高清照片了！希望后面有更好的模型出现~
HS.Spider
XHS-Spider是一款颜值超高的小红书数据采集工具，提供了扫码登录、自动登录、博主合集信息、单条笔记解析、关键字搜索、用户搜索、数据导出、评论导出、本地关注、短链接解析、批量导入单条笔记解析、评论采集、评论词云导出、Live图下载等功能。
随便说说
为什么别的组的工资这么高，比我高五六百甚至八百，而且基本组里都没安排任务的情况下，干得越多情况下钱也给的越多！😭😭
😭终究不配了，我这干的活也不少啊，不平衡了，拿着低保🤡🤡🤡
这周有个审稿，也是 CCF-A 的，发现还是不太会找 cons，可能是没太读懂的缘故，而且感觉至少得熟悉这个领域已有的经典工作的做法，这样才能给出更好的评价，但我没时间👻
周末党团活动，山上给守林员送水，我的妈呀，许久未锻炼的我要废了，山上路很陡，全是上坡，而且不是步道，原生的山路，路上石头很多，废鞋还硌脚，上去的时候差点晕😵💫，眼前都有些发黄了，还好坐一会就好了🥹，下山更是费膝盖，刹都刹不住，和跑着下山没区别🫠
- 作者:huhu
- 链接:https://blog.mwwlzz.top/article/Weekly-17
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
