キーワードHALC@LOID(NNSVS)を含む動画：51件 ページ目を表示
2024年11月30日 07時01分に生成された05時00分のデータです
2021-04-30 23:11:02
HALC@LOID(NNSVS) 樹海の糸
2位じゃんPのアイドルマスター 『樹海の糸』 春香ソロ（sm4914451）にNNSVSを使用して深層学習で合成した歌声を付けてみました.
● NNSVSを使用した深層学習版HALC@LOIDの作成方法
用意するもの: xbox360, アイドルマスターL4U, キャプチャボード, NNSVSの実行環境, (NVIDIAのGPU)
1. L4Uで「i」, 「kosmos, cosmos」, 「いっぱいいっぱい」を除く29曲をボーカル有り/ボーカル無しの2条件でキャプチャする(全部で58曲キャプチャする).
2. 1でキャプチャした音源からアカペラ音源を作成する. 位相を反転して足し合わせても良いし歌声りっぷなどのソフトを使っても良い.
3. musicxml形式で各曲のボーカルパートの楽譜を用意する. ニコニ・コモンズに投稿されている midi 音源や www 上に投稿されているピアノ譜などを参考にすると良い
4. 各曲の音素ラベルファイル(各音素がどのタイミングで発声されているか)を作成する. WavesurferまたはAudacityで手作業で作成するか, julius(segmentation-kit)またはSHIROを使って自動でラベリングしても良い
5. NNSVS の egs ディレクトリに含まれる pjs のレシピを参考にして自作音源のレシピを作成する. ofuton_p_utagoe_db, natsume_singing, oniku_kurumi_utagoe_db のレシピは各歌声データベースに合わせてカスタマイズされているので参考にしてはいけない
6. bash run.sh --stage 0 --stop-stage 6 を走らせて数時間～1日程度待つ春香さんの樹海の糸を新しい形で世に出してくれてありがとう… すげぇ 888888888888888888 名作に新たな命が宿ったな。 すごい技術とクオリティだ すごい GJ .
- 2,736
- 90.3
- 220.8
- 210.8
2021-07-21 23:06:02
【AI式HALC@LOID】浮遊月光街【NNSVSカバー】
3位原曲: 稲葉曇『浮遊月光街』Vo. 歌愛ユキ sm34347007
参考にした ust: 【櫻花アリス】浮遊月光街【UTAUカバー+UST配布】sm34398772
学習モデル生成, 歌声合成, ミキシング: ひょこおじ
イラスト: かづき(@kAduk0).
- 2,137
- 30.1
- 110.5
- 70.3
2021-07-11 18:13:03
AI式HALC@LOIDで「空」
4位第2回アイマス人力歌謡祭失格作品(レギュレーション違反). イラストはズブロカPに描いて頂いて候.
fftq氏のHALC@LOID sm1303096いいね おお ズブロカP!? 可愛らしい空だったGJ!
- 1,797
- 40.2
- 271.5
- 150.8
2021-12-01 22:41:02
アイドルマスター 天海春香 WISH
5位Visual M@ster 2021 遅刻作品 / 伴奏は "WISH/LUNASEA/カラオケ用" (https://www.youtube.com/watch?v=JI56Kz7Eu1M) から無断で拝借して候 / オリジナルキー+5 / HALC@LOID(NNSVS) - WISH(LUNA SEA)
良いね 良き感じですなぁ .
- 1,779
- 30.2
- 120.7
- 110.6
2021-05-30 20:46:02
HALC@LOID(NNSVS) Blackbird(The Beatles)6位日本語歌唱の学習データで英語詞を歌わせるための習作. 映像は適当.
歌声はコンプ, EQ, リバーブ, ディレイをかけていますが, タイミングやピッチ補正はしておらず NNSVS の出力のままです.素晴らしい… .
- 1,714
- 20.1
- 90.5
- 100.6
2021-12-08 21:40:02
HALC@LOID(NNSVS) サンデイ7位元動画: タクヲP THE iDOLM@STER 天海春香「サンデイ」 sm6141655
嬉しい！！！新しい形でまた見れるなんて！！！ また見れて嬉しい 当時の驚きが蘇る！ .
- 1,692
- 40.2
- 130.8
- 191.1
2021-02-13 21:20:00
THE iDOLM@STER HARUKA AMAMI STAY GOLD
8位深層学習による歌唱合成 / HALC@LOID-NN - Stay Gold(Hi-STANDARD) / お借りした演奏 https://www.youtube.com/watch?v=Z6SDOVF5n_Y
ほげ～ .
- 1,658
- 30.2
- 50.3
- 130.8
2021-12-30 22:33:02
【AIはるちは】ハッピーシンセサイザ【NNSVSカバー】
9位第3回アイマス人力歌謡祭参加作品 / 原曲: EasyPop ハッピーシンセサイザ【EasyPop/巡音ルカ GUMI】 sm12825985
参考にした ust: https://bowlroll.net/file/251497
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)千早はかなり似てる すごい…！ 公式かと思った GJ これが新技術か AI力じゃねーか！タコ！ GJ 割と違和感無い。 .
- 1,477
- 90.6
- 231.6
- 130.9
2021-09-17 22:57:02
HALC@LOID(NNSVS) ワールズエンド・スーパーノヴァ10位元動画: OGOP アイドルマスター春香「ワールズエンド・スーパーノヴァ」 sm2910223
原曲キー+9(オク上-3)古いのに新しい .
- 1,081
- 20.2
- 30.3
- 70.6
2021-09-17 23:05:02
HALC@LOID(NNSVS) さよならリグレット11位元動画: ヨルP 【1M】アイドルマスター春香×くるり「さよならリグレット」 sm5681329
原曲キー+7(オク上-5).
- 990
- 10.1
- 20.2
- 30.3
2021-09-12 23:20:02
HALC@LOID(NNSVS) 強く儚い者たち12位元動画: シーバスP 【アイマスMAD】 強く儚い者たち sm39325387
. .
- 984
- 20.2
- 10.1
- 50.5
2024-10-26 00:46:03
【AI式HALC@LOID】かたむすび【NNSVSカバー】13位原曲: 稲葉曇 かたむすび https://www.youtube.com/watch?v=n9xlE973OMs
musicxml: https://bowlroll.net/file/326353 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 957
- 10.1
- 30.3
- 30.3
2024-10-17 01:49:03
【AI式HALC@LOID】シンカンセンスゴイカタイアイス【NNSVSカバー】14位原曲: MV「シンカンセンスゴイカタイアイス」/ 初音ミク & GUMI & 歌愛ユキ sm44166253
参考にしたust: r__Em氏 https://bowlroll.net/file/325532
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)すごく合ってるー .
- 911
- 20.2
- 80.9
- 40.4
2024-11-10 00:25:03
【AI式HALC@LOID】かにだいすき【NNSVSカバー】15位アイドルマスター 春香さんがアルバイトを始めましたベーリング海峡編
原曲: 稲葉曇 かにだいすき https://www.youtube.com/watch?v=KK9nXYdmkiM
musicxml: https://bowlroll.net/file/327100 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 829
- 10.1
- 30.4
- 30.4
2022-02-14 22:50:02
【AI式HALC@LOID】紗痲【NNSVSカバー】16位原曲: ∴flower『紗痲』/ 煮ル果実 sm33974546
アレンジ: 稲葉曇 https://twitter.com/inabakumori/status/1110154553138118656
参考にした ust: 【ZOLA_PROJECT】紗痲【MMDボカロカバー+ust配布】 sm38910522
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0).
- 793
- 10.1
- 111.4
- 60.8
2022-02-07 23:03:02
【AI式HALC@LOID】絶体暗星【NNSVSカバー】17位原曲: 稲葉曇 絶体暗星 https://www.youtube.com/watch?v=lYtZ5oMs3_8
参考にした ust: coolkiwiii 【巡音ルカ】絶体暗星【VOCALOIDカバー】+VSQ/UST/SVP/MIDI sm39972572
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
オフボーカル音源は spleeter ( https://github.com/deezer/spleeter ) で作成しています. 歌愛ユキの歌声は
spleeterとの相性が良いのかかなり綺麗に分離することができます(2022/6/12追記).ボーカルのないバージョンはどこに？ 綺麗な曲だあ 人が歌ってるみたい、、、すごい ８８８８ .
- 773
- 50.6
- 91.2
- 70.9
2024-11-06 00:21:03
【AI式HALC@LOID】ループスピナ【NNSVSカバー】18位原曲: 稲葉曇 歌愛ユキ『ループスピナ』 sm28759701
参考にしたust: half a head氏 https://half-a-head.tumblr.com/USTs
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 756
- 10.1
- 40.5
- 20.3
2022-03-27 00:52:02
【AI式HALC@LOID】きみに回帰線【NNSVS新音響モデル】19位祝・ウェザーステーション発売 & NNSVS新音響モデル実装!
NNSVSでsinsyの最近の論文を元に実装されたResSkipF0FFConvLSTMを使ってみましたが, 一部の滑舌が不明瞭になるなどまだ工夫が必要そうです(改良されたduration予測は大変良い).
原曲: 稲葉曇『きみに回帰線』Vo. 歌愛ユキ https://www.nicovideo.jp/watch/sm40230104
musicxml: https://bowlroll.net/file/276648 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
timelag model: MDN, hidden_dim 32, num_layers 3, num_gaussians 1
duraion model: MDN, hidden_dim 256, num_layers 3, num_gaussians 1
acoustic model: ResSkipF0FFConvLSTM, conv_hidden_dim 1024, lstm_hidden_dim 256, ff_hidden_dim 2048, dropout: 0.0, bidirectional True
vibrato model: sine普通に歌えていて凄い うぽつ .
- 722
- 30.4
- 182.5
- 60.8
2021-11-22 20:24:02
【AI式HALC@LOID】ハローマリーナ【NNSVSカバー】20位原曲: 稲葉曇『ハローマリーナ』Vo. 歌愛ユキ & 初音ミク sm39646734
参考にした ust: 【黯冥ダスト】ハローマリーナ【UTAUカバー&ust配布】 sm39649483
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)ブレス良い いいね .
- 682
- 30.4
- 101.5
- 81.2
2021-01-03 14:41:02
アイドルマスター 天海春香 ラグトレイン
21位深層学習による歌声合成のための習作. 伴奏は稲葉曇様のオリジナル(sm37198038)から, ust はばにらあいす様の黯冥ダストカバー(sm37199842)よりお借りしました.
.
- 624
- 10.2
- 81.3
- 71.1
2022-05-20 19:42:02
【AI式HALC@LOID】篝火【NNSVSカバー】22位Hn-sinc-NSFは学習データの音域から外れると著明に合成結果が悪くなるので今回はWorldで合成しました. 一部歌詞を改変しています.
原曲: ちいたな 『篝火』- IA - sm34128998
アレンジ: 稲葉曇 https://www.youtube.com/watch?v=2A46CwhV4aE
musicxml: https://bowlroll.net/file/277823 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)うぽつです。 .
- 581
- 40.7
- 101.7
- 101.7
2024-11-17 00:14:04
【AI式HALC@LOID】秘密音楽【NNSVSカバー】23位原曲: 稲葉曇 歌愛ユキ『秘密音楽』 sm28276659
参考にしたust: half a head氏 https://half-a-head.tumblr.com/USTs
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 490
- 10.2
- 30.6
- 10.2
2021-08-16 23:50:02
【AI式HALC@LOID】ノンユース【NNSVSカバー】24位原曲: 稲葉曇『ノンユース』Vo. 歌愛ユキ & 初音ミク sm35109167
参考にした ust: 【黯冥ダスト】ノンユース【UTAUカバー+ust配布】 (現在非公開)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)かづきさんのイラスト合ってる .
- 488
- 20.4
- 102.0
- 102.0
2021-08-27 19:36:02
【AI式HALC@LOID】ひみつの小学生【NNSVSカバー】25位原曲: 稲葉曇『ひみつの小学生』Vo. 歌愛ユキ sm36042320
参考にした ust: 【黯冥ダスト】ひみつの小学生【UTAUカバー+ust配布】 (現在非公開)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)GJ のヮの のヮの .
- 459
- 51.1
- 81.7
- 81.7
2021-10-14 22:48:02
【AI式HALC@LOID】ハルノ寂寞【NNSVSカバー】26位原曲: 稲葉曇『ハルノ寂寞』Vo. 弦巻マキ sm38728089
参考にした ust: ばにらあいす氏(現在非公開)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)すごい うぽつ .
- 448
- 30.7
- 92.0
- 71.6
2022-06-05 15:57:02
【AI式HALC@LOID】とこしずめ【NNSVSカバー】27位原曲: 稲葉曇『とこしずめ』Vo. 星界 sm40564386
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)うぽつです。 GJ .
- 439
- 30.7
- 133.0
- 71.6
2022-01-30 22:05:02
【AI式HALC@LOID】ポストシェルター【NNSVSカバー】28位原曲: 稲葉曇『ポストシェルター』Vo. 弦巻マキ sm39963084
参考にした ust: ばにらあいす 【黯冥ダスト】ポストシェルター【UTAUカバー&ust配布】 sm39964733
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)GJ はや .
- 438
- 30.7
- 112.5
- 71.6
2022-08-28 19:57:02
【AI式HALC@LOID】シンクタンク【NNSVSカバー】29位思い出してもらいたいな / Voc@loidM@ster祭り'22フライング参加作品
--
原曲: 稲葉曇『シンクタンク』Vo. 裏命 sm40978472
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)ハルカロイドと聞いて イラスト素敵です .
- 418
- 51.2
- 102.4
- 41.0
2023-02-20 01:11:02
【ニコマスPが】シャボン / ゆのす【HALC@LOIDと歌ってみた】
30位ゆのすと申します。
蜂屋ななし様の『シャボン（sm35191636)』を
Heimatlos氏作成のAI式HALC@LOIDと一緒に歌わせていただきました。
Vocal:ゆのす（mylist/71936118）、AI式HALC@LOID（sm40995997）
Mix:やまやま（@yama2mix）
イラスト:かづき（@kAduk0）
音源、イラストで協力いただいた方々ありがとうございました。
普段はニコマスMADをつくってます。
つくったもの：mylist/62150623かっこよかった！GJ！
- 389
- 10.3
- 51.3
- 20.5
2022-05-03 21:38:02
【AI式HALC@LOID】天泣【NNSVS+Hn-sinc-NSF】31位NNSVSのdevブランチで開発中のParallelWaveGANサポートを使用して, 音声の出力をPyWorldからNEUTRINOでも採用されているHn-sinc-NSFに変更してみました. 音響モデルはResidual F0を使った新しい音響モデルが学習データ不足で安定しないため従来のままです.
原曲: 稲葉曇 天泣 https://www.youtube.com/watch?v=1_8pQVYJtwQ
musicxml: https://bowlroll.net/file/276647 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)うぽつです。 .
- 376
- 71.9
- 123.2
- 71.9
2023-08-11 00:01:02
【AI式HALC@LOID】リレイアウター【NNSVSカバー】32位ボカコレ2023夏TOP100ランキング1位おめでとうございます.
原曲: 稲葉曇『リレイアウター』Vo. 歌愛ユキ sm42576236
参考にしたust: ばにらあいす氏 【黯冥ダスト】リレイアウター【UTAUカバー&ust配布】 sm42580913
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
NNSVS-WORLD v4(自己回帰モデル)と SemiMultistreamRDARMDN(自作のより単純な自己回帰モデル)をコンピングしてミックスしています.春香かわいい .
- 346
- 185.2
- 102.9
- 41.2
2024-11-21 00:36:03
HALC@LOID(NNSVS) スマトラ警備隊33位元動画: スーP アイドルマスター 春香 千早 「スマトラ警備隊」 sm11250006
うｐおつ .
- 335
- 20.6
- 20.6
- 20.6
2024-10-14 23:10:03
【AI式HALC@LOID】フロートプレイ【NNSVSカバー】34位原曲: 稲葉曇『フロートプレイ』Vo. 歌愛ユキ sm41645109
参考にしたust: ばにらあいす氏 【黯冥ダスト】フロートプレイ【UTAUカバー&ust配布】 sm41646580
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 331
- 10.3
- 51.5
- 30.9
2021-01-03 14:35:02
アイドルマスター 天海春香 耳のあるロボットの唄35位深層学習による歌声合成のための習作. ustおよび伴奏は耳ロボPのオリジナル(nm3611741)よりお借りしました.
他のPによる耳ロボ: ヨコハマP sm5346842 , アシスP sm12678961, パラP sm11892625これは良い .
- 321
- 20.6
- 20.6
- 51.6
2023-07-02 00:48:02
【AI式HALC@LOID】期待通り【NNSVSカバー】36位原曲: 稲葉曇『期待通り』Vo. AI音街ウナ sm42389178
参考にしたust: ばにらあいす氏 【黯冥ダスト】期待通り【UTAUカバー&ust配布】 sm42392026
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
新音響モデルで AI式HALC@LOID を学習させるには学習データ量が不足しており, 特に学習データにない長い音符で破綻しがちなので, 安定性を優先してより単純な自己回帰モデルを独自に実装しました(参考: NII の Xin Wang 博士の論文 https://ieeexplore.ieee.org/document/8341752 ). 2021 年頃に AI式HALC@LOID で使用していた RMDN に深い自己回帰入力を追加しただけですが, 以前は必要だった動的特徴量の推定が不要になるなど一定の効果はあるようです. Vocoder はまた前回 (sm42337928) と同じく ParallelWaveGAN(Hn-sinc-NSF) を使用しました.投稿早い .
- 318
- 20.6
- 72.2
- 20.6
2023-12-22 23:55:02
【AI式HALC@LOID】電気予報【NNSVSカバー】37位原曲: 稲葉曇『電気予報』feat. 初音ミク sm43089818
参考にしたust: 冬宮紀沙氏 【Cevio AIカバー+ust】電気予報【東北きりたん】 sm42882718
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)うぽつ .
- 310
- 20.6
- 92.9
- 41.3
2021-09-14 22:38:02
【AI式HALC@LOID】うつしあそび【NNSVSカバー】38位原曲: 歌愛ユキ『うつしあそび』 sm31093977
参考にした ust: 【黯冥ダスト】うつしあそび【UTAUカバー+UST配布】 (現在非公開)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0).
- 287
- 10.3
- 72.4
- 62.1
2023-06-11 01:22:02
【AI式HALC@LOID】レイニーブーツ【NNSVS-WORLD v4(自己回帰モデル)+ParallelWaveGAN】39位原曲: 稲葉曇『レイニーブーツ』Vo. 歌愛ユキ sm38927801
参考にしたust: ばにらあいす氏の ust https://lit.link/Vanilla9831
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
----
NNSVSの最近の音響モデルに関して得られた知見
・2021年頃のAI式HALC@LOIDで採用していたRMDNと比較して大量の学習データが必要. NNSVS-WORLD v4(自己回帰モデル)で1h, NNSVS-WORLD v5(拡散モデル)で2h以上
・学習データ量が足りないと音程の他に音量(低次のmgcが関係)も不安定になり音痴に聴こえる
・学習データ量が足りない場合は pitch-shift data augmentation (以下PSDAと省略)という手法で
学習データを拡張することで音程や音量が安定化させることができる(場合がある) (参考: https://github.com/nnsvs/nnsvs/blob/master/utils/pitch_augmentation.py )
・PSDA で学習データを拡張しても元の学習データ量が30分程度だと NNSVS-WORLD v5で良好な結果を得ることは難しい
・有声/無声の誤推定が目立つ場合は vuv_model から mgc に対する依存を外した方が良い
・新しく採用されたニューラルボコーダである HN-uSFGAN, SiFiGAN はどちらも素晴しい出力が得られるが, 学習データにリバーブ等のノイズが乗っている場合は ParallelWaveGAN(Hn-sinc-NSF)の方がノイズに対して堅牢である(気がする).
- 283
- 51.8
- 103.5
- 72.5
2021-11-13 00:24:02
【AI式HALC@LOID】アンチサイクロン【NNSVSカバー】40位原曲: 稲葉曇『アンチサイクロン』Vo. 歌愛ユキ sm35909360
参考にした ust: ばにらあいす氏(現在非公開)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)調声すごい GJ .
- 265
- 41.5
- 93.4
- 62.3
2022-01-16 22:16:02
【AI式HALC@LOID】ツクリカケノ心象【NNSVSカバー】41位原曲: 稲葉曇 歌愛ユキ『ツクリカケノ心象』 sm30117882
参考にした ust: あめころもるち゛ 【飴音わめあ】ツクリカケノ心象【UTAUカバー＋UST配布】 sm30182652
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)春香の歌声がすごい うぽつ .
- 255
- 31.2
- 103.9
- 62.4
2024-05-14 23:43:04
【AI式HALC@LOID】私は雨【NNSVSカバー】42位原曲: 稲葉曇『私は雨』Vo. 歌愛ユキ sm43679339
参考にしたust: ばにらあいす氏 【黯冥ダスト】私は雨【UTAUカバー&ust配布】 sm43680466
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF)パンダさそ〜 パンダたそ〜 .
- 210
- 31.4
- 73.3
- 52.4
2023-08-20 02:29:03
【AI式HALC@LOID】言って。【NNSVSカバー】43位原曲: ヨルシカ - 言って。(Music Video) https://www.youtube.com/watch?v=F64yFFnZfkI
参考にしたust: ばにらあいす氏 https://lit.link/Vanilla9831
オフボーカル音源: 【生音カラオケ】言って。 / ヨルシカ【Instrumental / Off Vocal】https://www.youtube.com/watch?v=Ao9K0RFBjXQ
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
HN-uSFGANの学習に失敗してブレスが有声化けしてしまうため, ParallelWaveGAN(Hn-sinc-NSF)の出力と適宜コンピングしています..
- 200
- 2613.0
- 105.0
- 42.0
2023-11-20 00:31:02
【AI式HALC@LOID】余裕欲【NNSVSカバー】44位原曲: 稲葉曇『余裕欲』Vo. nagiβ & カゼヒキβ sm42915661
参考にしたust: ばにらあいす氏 【黯冥ダスト】余裕欲【UTAUカバー&ust配布】 sm42918100
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: SemiMultistreamRDARMDN
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 182
- 10.5
- 63.3
- 31.6
2021-01-03 14:38:02
アイドルマスター 天海春香 Fantastic45位深層学習による歌声合成のための習作. 伴奏はモノローグPのオリジナル(sm8837393)よりお借りしました.
.
- 169
- 10.6
- 10.6
- 42.4
2022-08-25 20:21:02
【AI式HALC@LOID】カゼマチグサ【NNSVSカバー】46位最新版のNNSVSの更新でmasterに入ったGAN based mgc postfilter に挑戦しましたが, 学習データにリバーブなどのエフェクトが掛かっていると上手く学習できないようです(今回は従来の merlin postfilter で合成)
--
原曲: 稲葉曇『カゼマチグサ』Vo. 鳴花ヒメ sm37136620
参考にしたust: ばにらあいす氏の ust https://lit.link/Vanilla9831
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0).
- 166
- 10.6
- 84.8
- 42.4
2024-08-06 09:54:03
【AI式HALC@LOID】言って。BARON REMIX【NNSVSカバー】47位原曲: ヨルシカ - 言って。/ BARON REMIX feat.初音ミク sm34415945
参考にしたust: ばにらあいす氏 https://lit.link/Vanilla9831
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: HN-uSFGANはるーん .
- 157
- 21.3
- 42.5
- 21.3
2024-08-06 09:29:05
【AI式HALC@LOID】ロストアンブレラ【NNSVSカバー】48位原曲: 稲葉曇『ロストアンブレラ』Vo. 歌愛ユキ sm32801250
参考にしたust: ばにらあいす氏 【黯冥ダスト】ロストアンブレラ【UTAUカバー&ust配布】 https://www.youtube.com/watch?v=F8HzTyyxPqY
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 114
- 10.9
- 32.6
- 21.8
2024-08-06 09:35:03
【AI式HALC@LOID】ナミダ電波【NNSVSカバー】49位原曲: 稲葉曇 歌愛ユキ『ナミダ電波』 sm28936182
参考にしたust: half a head氏 https://half-a-head.tumblr.com/USTs
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 111
- 10.9
- 21.8
- 21.8
2024-02-28 17:03:02
【AI式HALC@LOID】Fantastic【NNSVSカバー】50位sm38066370 のセルフリメイクです.
原曲: モノローグP 【巡音ルカ】 Fantastic 【オリジナル曲】 sm8837393
musicxml: https://bowlroll.net/file/314511 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: SemiMultistreamRDARMDN
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 99
- 11.0
- 44.0
- 22.0
2024-11-29 01:38:03
【AI式HALC@LOID】さかさま少女感【NNSVSカバー】51位原曲: 稲葉曇 さかさま少女感 https://www.youtube.com/watch?v=n8O_gZ0Ebbs
musicxml: https://bowlroll.net/file/327898 (pass: wahhoi)
学習モデル生成, 歌声合成, ミキシング: Heimatlos
イラスト: かづき(@kAduk0)
---
Timelag model: MDNv2
Duration model: VariancePredictor
Acoustic model: NPSSMultistreamParametricModel
lf0_model: BiLSTMResF0NonAttentiveDecoder
mgc_model: BiLSTMNonAttentiveDecoder
bap_model: BiLSTMNonAttentiveDecoder
vuv_model: FFConvLSTM
Vibrato model: none
Vocoder: ParallelWaveGAN(Hn-sinc-NSF).
- 50
- 12.0
- 12.0
- 12.0
