Modelpublic

KYAGABA/w2v-bert-2.0-am-amharic-dataset-100hr-v3

sourceHugging Facemitupdated 2y agoView on Hugging Face

0likes12downloads

Model Card

w2v-bert-2.0-am-amharic-dataset-100hr-v3

This model is a fine-tuned version of facebook/w2v-bert-2.0 on an unknown dataset. It achieves the following results on the evaluation set:

—Loss: 1.5946
—Model Preparation Time: 0.0138
—Wer: 0.3741
—Cer: 0.1276

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

—learning_rate: 2e-05
—trainbatchsize: 32
—evalbatchsize: 8
—seed: 42
—gradientaccumulationsteps: 2
—totaltrainbatch_size: 64
—optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
—lrschedulertype: linear
—lrschedulerwarmup_ratio: 0.05
—num_epochs: 100
—mixedprecisiontraining: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Model Preparation Time	Wer	Cer
28.4961	1.0	507	24.5446	0.0138	1.0	1.0
22.2286	2.0	1014	20.0992	0.0138	1.0	1.0
15.8894	3.0	1521	11.5153	0.0138	1.0	1.0
7.2682	4.0	2028	4.5303	0.0138	1.0	1.0
4.2318	5.0	2535	4.0953	0.0138	1.0	1.0
3.8514	6.0	3042	2.7851	0.0138	0.9840	0.5389
2.2072	7.0	3549	1.6607	0.0138	0.4906	0.1360
1.467	8.0	4056	1.1145	0.0138	0.3982	0.1042
1.0695	9.0	4563	0.7976	0.0138	0.3775	0.0965
0.7661	10.0	5070	0.6245	0.0138	0.3467	0.0878
0.5898	11.0	5577	0.4383	0.0138	0.2693	0.0677
0.4784	12.0	6084	0.3584	0.0138	0.2470	0.0608
0.4023	13.0	6591	0.2929	0.0138	0.2300	0.0562
0.3409	14.0	7098	0.2402	0.0138	0.2014	0.0483
0.2984	15.0	7605	0.2023	0.0138	0.1662	0.0406
0.266	16.0	8112	0.1866	0.0138	0.1562	0.0383
0.2427	17.0	8619	0.1707	0.0138	0.1381	0.0339
0.2221	18.0	9126	0.1543	0.0138	0.1280	0.0311
0.2057	19.0	9633	0.1577	0.0138	0.1290	0.0318
0.1934	20.0	10140	0.1457	0.0138	0.1237	0.0297
0.183	21.0	10647	0.1438	0.0138	0.1184	0.0289
0.1724	22.0	11154	0.1310	0.0138	0.1092	0.0260
0.1604	23.0	11661	0.1349	0.0138	0.1132	0.0276
0.1517	24.0	12168	0.1368	0.0138	0.1140	0.0273
0.1398	25.0	12675	0.1319	0.0138	0.1025	0.0248
0.1313	26.0	13182	0.1292	0.0138	0.1017	0.0243
0.1225	27.0	13689	0.1345	0.0138	0.1042	0.0253
0.1151	28.0	14196	0.1346	0.0138	0.1042	0.0254
0.1083	29.0	14703	0.1300	0.0138	0.1003	0.0240
0.1016	30.0	15210	0.1359	0.0138	0.1036	0.0250
0.0973	31.0	15717	0.1348	0.0138	0.1048	0.0250
0.0906	32.0	16224	0.1337	0.0138	0.1017	0.0244
0.0874	33.0	16731	0.1349	0.0138	0.1017	0.0241
0.0816	34.0	17238	0.1329	0.0138	0.0959	0.0233
0.0777	35.0	17745	0.1386	0.0138	0.1006	0.0246
0.0743	36.0	18252	0.1338	0.0138	0.0984	0.0237
0.07	37.0	18759	0.1338	0.0138	0.0953	0.0232
0.0663	38.0	19266	0.1334	0.0138	0.0942	0.0231
0.0623	39.0	19773	0.1345	0.0138	0.0959	0.0230
0.0609	40.0	20280	0.1395	0.0138	0.0947	0.0229
0.0574	41.0	20787	0.1398	0.0138	0.0948	0.0231
0.056	42.0	21294	0.1469	0.0138	0.0955	0.0235
0.0528	43.0	21801	0.1446	0.0138	0.0969	0.0230
0.05	44.0	22308	0.1505	0.0138	0.0973	0.0233
0.0482	45.0	22815	0.1486	0.0138	0.0983	0.0234
0.0461	46.0	23322	0.1519	0.0138	0.0981	0.0233
0.0438	47.0	23829	0.1557	0.0138	0.0987	0.0239
0.0419	48.0	24336	0.1550	0.0138	0.0995	0.0236
0.0397	49.0	24843	0.1562	0.0138	0.0950	0.0230
0.0377	50.0	25350	0.1611	0.0138	0.0939	0.0227
0.0365	51.0	25857	0.1674	0.0138	0.1003	0.0239
0.0346	52.0	26364	0.1601	0.0138	0.0931	0.0223
0.0332	53.0	26871	0.1595	0.0138	0.0931	0.0221
0.0312	54.0	27378	0.1707	0.0138	0.0997	0.0239
0.0304	55.0	27885	0.1727	0.0138	0.0990	0.0239
0.0285	56.0	28392	0.1741	0.0138	0.0969	0.0230
0.0267	57.0	28899	0.1766	0.0138	0.0975	0.0231
0.0252	58.0	29406	0.1750	0.0138	0.0939	0.0226
0.0242	59.0	29913	0.1830	0.0138	0.0978	0.0233
0.0226	60.0	30420	0.1774	0.0138	0.0938	0.0223
0.0212	61.0	30927	0.1926	0.0138	0.0984	0.0232
0.0198	62.0	31434	0.1858	0.0138	0.0928	0.0222
0.0187	63.0	31941	0.1858	0.0138	0.0945	0.0225
0.0176	64.0	32448	0.1888	0.0138	0.0924	0.0219
0.0163	65.0	32955	0.1921	0.0138	0.0925	0.0221
0.0153	66.0	33462	0.1909	0.0138	0.0914	0.0220
0.0146	67.0	33969	0.1978	0.0138	0.0914	0.0220
0.0132	68.0	34476	0.2002	0.0138	0.0906	0.0219
0.0121	69.0	34983	0.2081	0.0138	0.0959	0.0229
0.011	70.0	35490	0.2072	0.0138	0.0945	0.0224
0.0104	71.0	35997	0.2120	0.0138	0.0924	0.0223
0.0099	72.0	36504	0.2086	0.0138	0.0952	0.0225
0.0091	73.0	37011	0.2071	0.0138	0.0917	0.0221
0.0083	74.0	37518	0.2095	0.0138	0.0899	0.0218
0.0076	75.0	38025	0.2166	0.0138	0.0917	0.0221
0.007	76.0	38532	0.2145	0.0138	0.0906	0.0223
0.0066	77.0	39039	0.2189	0.0138	0.0924	0.0222
0.006	78.0	39546	0.2169	0.0138	0.0927	0.0221
0.0054	79.0	40053	0.2213	0.0138	0.0927	0.0221
0.0048	80.0	40560	0.2201	0.0138	0.0920	0.0219
0.0044	81.0	41067	0.2204	0.0138	0.0906	0.0216
0.0045	82.0	41574	0.2171	0.0138	0.0925	0.0218
0.004	83.0	42081	0.2240	0.0138	0.0931	0.0223
0.0035	84.0	42588	0.2249	0.0138	0.0910	0.0218
0.0032	85.0	43095	0.2254	0.0138	0.0899	0.0218
0.0032	86.0	43602	0.2266	0.0138	0.0920	0.0221
0.0029	87.0	44109	0.2285	0.0138	0.0889	0.0214
0.0025	88.0	44616	0.2300	0.0138	0.0889	0.0215
0.0023	89.0	45123	0.2304	0.0138	0.0885	0.0213
0.0021	90.0	45630	0.2289	0.0138	0.0889	0.0212
0.0019	91.0	46137	0.2327	0.0138	0.0920	0.0220
0.0018	92.0	46644	0.2341	0.0138	0.0922	0.0219
0.0017	93.0	47151	0.2343	0.0138	0.0888	0.0214
0.0016	94.0	47658	0.2358	0.0138	0.0880	0.0214
0.0015	95.0	48165	0.2343	0.0138	0.0886	0.0213
0.0014	96.0	48672	0.2330	0.0138	0.0883	0.0212
0.0013	97.0	49179	0.2341	0.0138	0.0885	0.0212
0.0013	98.0	49686	0.2329	0.0138	0.0875	0.0211
0.0013	99.0	50193	0.2335	0.0138	0.0875	0.0209
0.0013	100.0	50700	0.2337	0.0138	0.0872	0.0208

Framework versions

—Transformers 4.44.2
—Pytorch 2.1.0+cu118
—Datasets 2.20.0
—Tokenizers 0.19.1