ALBERT Caidéal hiodrálacha ABT1-55-4R02-Z11 ALBERT ABT1-25-1R00-B10E ABT1-55-2R02-Caidéal eite C1 servo-chaidéal hiodrálacha.

Is minic go mbíonn feidhmíocht níos fearr ar thascanna iartheachtacha mar thoradh ar mhéadú ar mhéid na samhla nuair a bhíonn réamhoiliúint á chur ar léirithe teanga nádúrtha. Mar sin féin, ag pointe éigin éiríonn níos deacra méaduithe breise samhlacha de bharr teorainneacha cuimhne GPU/TPU agus

amanna oiliúna níos faide. Chun aghaidh a thabhairt ar na fadhbanna seo, cuirimid dhá theicníc laghdaithe paraiméadar i láthair chun tomhaltas cuimhne a laghdú agus an oiliúint a mhéadú

luas BERT (Devlin et al., 2019). Léiríonn fianaise eimpíreach chuimsitheach

go n-eascródh múnlaí ar scála níos fearr i gcomparáid leis na modhanna atá beartaithe againn

an bunaidh BERT. Bainimid úsáid freisin as caillteanas féin-mhaoirsithe a dhíríonn ar shamhaltú

comhleanúnachas idir-abairtí, agus a thaispeáint cabhraíonn sé go comhsheasmhach le tascanna iartheachtacha le

ionchuir il-abairte. Mar thoradh air sin, bunaítear ár múnla is fearr den scoth nua

torthaí ar thagarmharcanna GLUE, RACE, agus SQuAD cé go bhfuil níos lú paraiméadair acu i gcomparáid le BERT-large. Tá an cód agus na samhlacha réamhoilte ar fáil