将英文视频转换为中文视频

将英文视频转换为中文视频-精品AI
普通用户下载
非百度会员的普通用户下载专区
1
立即购买
您当前未登录!建议登陆后购买,可保存购买订单
普通用户下载需要收取1元的费用,请考虑好再下载,否则使用下面文章中的免费百度网盘下载。
付费资源

如果你对搬运英文视频到国内感兴趣,那么请看精品AI这篇文章就对了!

这里主要是说针对于视频中出现的英文语音转换为中文语音。随着AI的兴起,像这类转换视频语言的平台或者是工具有很多,貌似几乎都是收费的!这无可厚非也可以理解,但现如今AI的发展收费服务质量也不比免费的好多少,只是收费的要便携方便些,另外选项也多一些罢了!

比如剪映就有这种功能,当然是收费的(会员),操作也不是很方便。其实这些视频语音转换都是这套逻辑。
即:分离视频中的背景音乐和人声—>解析人声部分转换成英文字幕—>英文字幕核对翻译成中文字幕—>AI将中文字幕转换为对应的角色语音—>合成最终的成品视频
对,大概就是这个逻辑,虽然精品AI描述的不是很仔细,但是几乎都是这样去实现的,这种简单的操作逻辑最大的缺点就是语气时快时慢。
这里语气指的是视频中人物说话的口气,因为英文表达语气和中文表达有很大的区别,这也就造成利用文本字幕来实现语音(文本转语音)的缺点!
这也很好理解,因为同样一句话用英文文本书写出来,然后再翻译成中文文本,两者字面上的长度就不一样,读起来长度也不一样。

好了书归正文,今天精品AI为大家推荐一个,完全免费的英文视频转中文视频的工具—>Pytvzhen

图片[1]-将英文视频转换为中文视频-精品AI

这个工具是开源的:https://github.com/sutro-planet/easyvideotrans-frontend

Pytvzhen 的作者是国内的,这是他的B站视频。很感谢他的开源精神!

 

Pytvzhen可以部署到服务器端,也就是在线Web网页端,也可以部署到本地。
关于部署到服务器端,大家可以转到上面他的github开源地址。如果嫌麻烦也可以直接使用他已经部署好的网页版:https://easyvideotrans.com

 

Pytvzhen本地部署

依赖

(整合包用户可以忽略环境依赖,直接运行run.bat即可。如果想直接运行exe,仅需安装ffmpeg并添加环境变量)
首先,你需要一张英伟达显卡,因为作者比较懒只做了cuda的兼容。
安装依赖需要:requirements.txt中的各种依赖,pythorch库,ffmpeg(可选)。本工程Python 3.9.19上验证。另外如果你想体验完整的工作流程,推荐下载一个字幕文件编辑器,尽管本程序用不到,但是在转换视频的工作中,你一定用得到,作者使用的是Aegisub。

1、各种基本库安装
pip install -r requirements.txt

2、ffmpeg安装
ffmpeg按照后添加到环境变量中,自行搜索安装ffmpeg。

3、pytorch安装
点击这里,选择合适的安装版本,必须要选择gpu版!!!! 原因是作者偷懒没有做cpu方案,其实如果你愿意,改几行源码实现在CPU上跑应该也不难。

4、其他依赖
因为本项目依赖faster-whisper,所以下载模型的时候国内可能会比较慢,甚至无法下载!!可执行文件版本在

faster-whisper_models

目录自带模型(应该吧)。另外本项目的release会提供模型压缩包,源码用户可以解压在faster-whisper_models目录中,使得目录结构为:

解释

faster-whisper_models
|-models–Systran–faster-whisper-base.en
|-models–Systran–faster-whisper-medium
|-…
整合包下载(下载pytvzhen-*.zip解压运行):
建议百度会员用户下载(4个多GB大小)
非百度会员用户的普通用户下载(4个多GB大小,建议结合下载工具下载速度更快,浏览器直接下载也可以)
说明:普通用户下载需要收取1元的费用,请考虑好再下载,否则使用上面的百度网盘下载。
整合包依赖ffmpeg,如果没有将ffmpeg添加到环境变量,可以选择“点我运行.bat”运行。
github项目:https://github.com/CuSO4Gem/pytvzhen
作者讲解的运行操作视频
精品AI写在最后(务必要看)
1、关于代理问题
作者也说了将paramDict.json配置文件里面的:”proxy”: “127.0.0.1:7890″,修改为”proxy”: “”,否则当你使用代理软件开始科学上网后无法连接网络。2、当无法下载油管视频时,可以使用:https://y2down.cc/zh/   在线免费下载油管视频后再拷贝到conver文件夹中。
然后打开paramDict.json配置文件,更改如下配置选项”download video”: false,
“download fhd video”: false,也就是将原先的对应配置选项“true”改为“false”3、最后一项配置是根据具体情况更改
如果你使用的是剪映软件来剪辑视频的话,建议你将
“video zh preview”: true  更改为 “video zh preview”: false
这项配置主要是最后的视频和语音合成部分,默认前面的执行完后会合并一个新的中文视频文件,如果你的电脑配置不高,最终会导致合成时间很长,当然几分钟的视频可以忽略不计。
所以更改为 “video zh preview”: false 之后,这一项将不再执行。
最后可以利用剪映来编辑会更快。
剪映具体操作大概如下
比如你的视频ID是777,将conver文件夹里面的777.mp4文件拖到剪映里面。
然后鼠标在视频轨道上右键—>分离音频—>删除音频—>
再将conver文件夹里面的777_insturment.wav文件拖到剪映里面777.mp4视频轨道的对应下面
再将conver文件夹里面的777_zh.wav文件拖到剪映里面777_insturment.wav音频轨道的对应下面
最后也可以将字幕777_zh_merge.srt文件拖里面,如果你是剪映的会员用户,建议使用识别字幕方法重新生成字幕的方式,因为Pytvzhen生成的字幕排版不是很美观!
广告链接
© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容