Modelpublic

yenpolin/wav2vec2-tiny-1-cnn-fp16-demo

sourceHugging Faceupdated 4y agoView on Hugging Face

1likes13downloads

Model Card

wav2vec2-tiny-1-cnn-fp16-demo

This model is a fine-tuned version of yenpolin/wav2vec2-tiny-1-cnn on the DNA_R9.4.1 - NA dataset. It achieves the following results on the evaluation set:

—Loss: 0.2063
—Mean Acc: 2.4426
—Median Acc: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

—learning_rate: 0.0003
—trainbatchsize: 100
—evalbatchsize: 200
—seed: 42
—optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
—lrschedulertype: cosine
—lrschedulerwarmup_steps: 500
—num_epochs: 100.0
—mixedprecisiontraining: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Acc
0.5146	1.0	1000	0.3673	0.0
0.3785	2.0	2000	0.3447	0.0
0.364	3.0	3000	0.3317	0.0
0.3523	4.0	4000	0.3249	0.0027
0.3447	5.0	5000	0.3181	0.0027
0.3386	6.0	6000	0.3123	0.0027
0.3334	7.0	7000	0.3085	0.0027
0.3294	8.0	8000	0.3046	0.0
0.326	9.0	9000	0.3027	0.0
0.323	10.0	10000	0.2978	0.0
0.32	11.0	11000	0.2963	0.0027
0.3061	12.0	12000	0.2616	0.0465
0.2818	13.0	13000	0.2575	0.0486
0.2768	14.0	14000	0.2517	0.1075
0.2731	15.0	15000	0.2492	0.0397
0.2697	16.0	16000	0.2448	0.0648
0.2658	17.0	17000	0.2444	0.1171
0.2619	18.0	18000	0.2385	0.1305
0.2585	19.0	19000	0.2389	0.0960
0.2546	20.0	20000	0.2326	0.0909
0.2505	21.0	21000	0.2287	0.0635
0.2462	22.0	22000	0.2240	0.1070
0.2408	23.0	23000	0.2190	0.1429
0.2334	24.0	24000	0.2109	0.7212
0.225	25.0	25000	0.2027	0.7305
0.2178	26.0	26000	0.1980	0.8186
0.2115	27.0	27000	0.1937	0.9743
0.2065	28.0	28000	0.1892	0.8266
0.2026	29.0	29000	0.1890	0.1615
0.1987	30.0	30000	0.1836	1.0021
0.1953	31.0	31000	0.1830	0.8009
0.1921	32.0	32000	0.1821	1.2837
0.1893	33.0	33000	0.1819	0.5987
0.1865	34.0	34000	0.1835	0.9360
0.1835	35.0	35000	0.1796	1.3452
0.1808	36.0	36000	0.1816	1.4669
0.1779	37.0	37000	0.1806	2.4269
0.1755	38.0	38000	0.1787	0.7843
0.1726	39.0	39000	0.1807	1.8650
0.1699	40.0	40000	0.1811	2.1893
0.167	41.0	41000	0.1799	1.7285
0.1644	42.0	42000	0.1792	1.5862
0.1617	43.0	43000	0.1785	1.5165
0.159	44.0	44000	0.1806	1.1542
0.1563	45.0	45000	0.1804	1.8334
0.1539	46.0	46000	0.1830	2.1450
0.1515	47.0	47000	0.1835	2.2905
0.1489	48.0	48000	0.1821	2.4879
0.1465	49.0	49000	0.1806	1.6113
0.1441	50.0	50000	0.1857	1.7132
0.1418	51.0	51000	0.1847	1.2830
0.1394	52.0	52000	0.1862	1.8548
0.137	53.0	53000	0.1815	2.1585
0.1345	54.0	54000	0.1896	1.1918
0.1325	55.0	55000	0.1892	1.5508
0.1304	56.0	56000	0.1879	1.5180
0.1282	57.0	57000	0.1868	0.8048
0.126	58.0	58000	0.1906	1.6521
0.1243	59.0	59000	0.1879	1.3255
0.1222	60.0	60000	0.1884	1.2970
0.1202	61.0	61000	0.1905	1.5370
0.1184	62.0	62000	0.1936	1.7408
0.1167	63.0	63000	0.1922	1.5556
0.1149	64.0	64000	0.1960	1.5176
0.1133	65.0	65000	0.1966	1.8577
0.1117	66.0	66000	0.1942	2.1886
0.1102	67.0	67000	0.1961	1.4547
0.1087	68.0	68000	0.1965	1.5482
0.1072	69.0	69000	0.1965	1.5644
0.1058	70.0	70000	0.1982	1.5436
0.1045	71.0	71000	0.1956	2.2319
0.1033	72.0	72000	0.2037	2.5393
0.1019	73.0	73000	0.1977	1.9089
0.1008	74.0	74000	0.1983	1.6957
0.0997	75.0	75000	0.1980	3.0164
0.0986	76.0	76000	0.2004	1.8043
0.0976	77.0	77000	0.2025	1.8234
0.0966	78.0	78000	0.2006	2.1719
0.0957	79.0	79000	0.1991	1.8594
0.0948	80.0	80000	0.2037	1.9660
0.094	81.0	81000	0.2000	2.2630
0.0932	82.0	82000	0.2068	2.3164
0.0925	83.0	83000	0.2004	2.0110
0.0918	84.0	84000	0.2034	2.4419
0.0912	85.0	85000	0.2031	2.0823
0.0906	86.0	86000	0.2039	2.3955
0.0901	87.0	87000	0.2042	2.4907
0.0897	88.0	88000	0.2052	2.3399
0.0892	89.0	89000	0.2050	2.3214
0.0888	90.0	90000	0.2052	2.1339
0.0884	91.0	91000	0.2050	2.3432
0.0881	92.0	92000	0.2052	2.3161
0.0878	93.0	93000	0.2050	2.4258
0.0876	94.0	94000	0.2051	2.2742
0.0874	95.0	95000	0.2065	2.3400
0.0872	96.0	96000	0.2063	2.4099
0.0871	97.0	97000	0.2060	2.4249
0.087	98.0	98000	0.2064	2.4826
0.0869	99.0	99000	0.2064	2.4447
0.0869	100.0	100000	0.2063	2.4426

Framework versions

—Transformers 4.26.0
—Pytorch 1.12.1
—Datasets 2.9.0
—Tokenizers 0.13.2