loralora/sovits_aishell3

1import gradio as gr2from inference import infer3import numpy as np4 5spkdict=np.arange(175).tolist()6spkdict=['speaker'+str(spk) for spk in spkdict]7 8app = gr.Blocks()9with app:10    with gr.Tabs():11        with gr.TabItem("Basic"):12            gr.Markdown(value="""13            本模型为基于soft-vc和vits的AI声线转换模型。\n14            模型混合了aishell3（174说话人，共约80+h）和opencpop（1说话人，5+h）数据集训练，用A100单卡在60batchsize下训练了350左右epoch得到的。\n15            模型对于通常的说话语音转换效果良好，唱歌的话需要在目标说话人音域范围内才能有较好效果。由于aishell3数据占比过大，训练epoch不足，opencpop说话人的高音部分质量不佳。\n16            模型中各说话人的适宜中心音域分别为：\n17            aishell3(0-173号) 女性说话：A3,男性说话：C3\n18            opencpop(174号)   女性唱歌：C4-G4（超过C5基本失真）\n19            如果转换通常说话音频，需要参考上面范围调key至目标说话人中心音域附近(如男性说话转为女性说话，key=8，反过来为-8(4-16这个区间基本都可以试试))\n20            如果源音频为部分虚拟主播音频，通常音调会高于正常女性说话范围，可达到F4-A4左右，请适当降调\n21            对于说话人的详细信息(如性别、年龄等)，可以在文件目录的spkdic_new.json中查看\n22            \n23            若合成效果不佳请首先考虑如下因素加以改善：\n24            1.音域范围是否合适，可参考上文调整调key的参数，或更换说话人进行尝试\n25            2.源音频是否存在杂音/bgm，请尽量使用干净的音源进行合成，录音时保持室内安静\n26            3.源音频是否存在混响。较强的混响会显著干扰合成效果，导致ai念错字/音调识别错误等\n27            4.再合成一次试试，每次合成会有部分随机性因素参与，微小的声调问题可能重新合成一次就不存在了。\n28            5.部分对源音频的消伴奏/降噪处理会对合成效果有较大影响，虽然人听不出差别，但是对ai识别的频谱有影响。29            """)30            sid = gr.Dropdown(label="说话人",choices=spkdict, value='speaker0')31            vc_audio = gr.Audio(label="上传音频,建议小于2分钟",type='filepath')32            vc_record = gr.Audio(source="microphone", label="或者录制你的声音", type="filepath")33            vc_transform = gr.Number(label="调key（按照十二平均律确定的半音，一整个8度就是12）",value=0)34            vc_submit = gr.Button("转换", variant="primary")35            vc_output1 = gr.Textbox(label="Output Message")36            vc_output2 = gr.Audio(label="Output Audio")37        vc_submit.click(infer, [vc_audio,vc_record,sid, vc_transform], [vc_output1, vc_output2])38 39    app.launch()