Sakura LLM |
---|
0 介绍
Sakura LLM是基于LLM的翻译工具,可以部署在本地、也可以使用AutoDL的在线计算平台。
我注意到:
- 对日语效果更好,特别适用于日系轻小说和Galgame。
- 使用的模型是基于QWEN2训练的。
- 目前有7B、14B、32B的量化版本,分别适合6G、12G、更大显存的显卡版本。
以我使用的2070(8G显存)为例,使用7B版本的速度尚可,14B版本速度更长、效果更佳。
1 在本地部署的方法
- 下载 GUI版本的启动器。Releases · PiDanShouRouZhouXD/Sakura_Launcher_GUI
- 根据自己的显卡,下载对应的翻译模型,放在启动器所在目录。SakuraLLM (SakuraLLM)
- 根据自己的显卡,下载对应的llama.cp,放在启动器所在目录。Releases · ggerganov/llama.cpp
- 在启动项目中选择要使用的模型和显卡,然后点击自动配置。如果不确定的话,保持默认即可。
- 点击【启动】,出现控制台后,提示出现
http://127.0.0.1:8080
就可以访问这个地址了。 - 在文本框中输入要翻译的内容,就会输出对应的中文翻译。
2 需要批量翻译多个文件的情况
对于需要翻译epub或者txt格式的轻小说,可以使用fishhawk.top
提供的工作台来调取进一步功能。
3 另外……
对于外语视频或者ASMR之类的音声,可以使用N46Whisper来识别声音转为文本STT,再用SakuraLLM来配合使用!
GitHub - Ayanaminn/N46Whisper: Whisper based Japanese subtitle generator