Nynorskroboten mot ChatGPT: Kven er best?

Vi har utfordra dei to omsetjarane til kamp. På den eine sida har vi Nynorskroboten, som nyttar ei regelbasert tilnærming for å omsetje, og på den andre sida har vi OpenAIs GPT-modellar, som bruker maskinlæring for å forstå og omsetje tekst. Her kan du lese resultata frå undersøkinga vår.

Regelbasert omsetjing mot kunstig intelligens

I undersøkinga vår nytta vi Nynorskroboten og OpenAIs GPT-4o-modellar, både den vanlege 4o-modellen og 4o-mini-modellen.

Nynorskroboten byggjer på Apertium, som er ei regelbasert omsetjingsplattform. Den regelbaserte tilnærminga gir konsekvente omsetjingar med føreseielege resultat. Tilnærminga gjer det lett å finne og rette feil i omsetjingssystemet. Kvifor ein feil skjer, er ofte openbert. Likevel er denne typen verktøy bundne av førehandsdefinerte reglar og menneskelege ressursar for å definere og implementere reglar, noko som avgrensar fleksibiliteten til systemet.

På den andre sida er GPT-4o-modellane frå OpenAI maskinlæringsbaserte og kan gjere meir enn berre omsetjing. Desse modellane skaper ofte flytande omsetjingar og kan generalisere i møte med nye og ukjende ord. Risikoane med denne typen verktøy er mellom anna misvisande omsetjingar, såkalla hallusinasjonar og inkonsekvent språk. Det er heller ikkje enkelt å feilrette konsekvent i systemet, sidan instruksane (“prompta”) ikkje alltid blir tatt omsyn til og det ikkje er tydeleg kva som ligg bak omsetjinga til modellane.

Begge omsette 5000 setningar

I undersøkinga nytta vi 5000 parallelle setningar på bokmål og nynorsk frå Målfrid-korpuset.

Vi sende alle dei 5000 setningane gjennom Nynorskroboten og OpenAIs GPT-4o-modellar GPT-4o og GPT-4o-mini. Omsetjingane vi fekk tilbake, samanlikna vi med dei menneskeomsette setningane frå Målfrid-korpuset. Dei menneskeomsette setningane blei sette som “gullstandard”. Det vil seie at jo nærare omsetjingane til verktøya var Målfrid-setningane, jo høgare skår fekk dei maskinomsette setningane.

Vi nytta to målemetodar for å vurdere omsetjingane til Nynorskroboten og GPT-4o-modellane: BLEU og METEOR, som er automatiserte metodar for å vurdere kvalitet på maskinomsetjingsverktøy.

Knapp siger til Nynorskroboten

Nynorskroboten fekk dei høgaste skårane med både BLEU og METEOR, tett følgt av GPT-4o-modellen. GPT-4o-mini-modellen låg litt lenger bak. Alle verktøya produserte omsetjingar som i det store og heile var forståelege og grammatisk korrekte.

Konsekvens mot fleksibilitet

Det regelbaserte systemet til Nynorskroboten sikrar konsekvente omsetjingar som kan finjusterast etter språkmalen til brukaren, men kan slite med å omsetje nye og ukjende ord. GPT-4o-modellane tilbyr større fleksibilitet og kan generalisere og dermed “gjette” rett omsetjing av eit heilt ukjent ord. Men desse modellane kan slite med språkleg konsekvens, inneber ein risiko for hallusinasjonar og kan la vere å omsetje noko som er sett på som “sensitivt” av OpenAI. Det bør også nemnast at GPT-4o-modellane bruker meir enn tre gonger så lang tid som Apertium på å omsetje eit sett med setningar.

Valfridom skaper utfordringar

Undersøkinga avdekte utfordringane med dei mange valfrie formene i nynorsk. Det er for eksempel valfritt å skrive anten “vi” eller “me” og “begynne” eller “byrje”. Denne valfridommen betyr (eller tyder!) at setninga "273 kommunar har vedteke å bli ståande åleine, ifølgje oversikta" faktisk har over 48 korrekte skrivemåtar på nynorsk.

Den store valfridommen førte til tidvis kunstig låge skårar når eit av omsetjingsverktøya brukte ei anna, men korrekt form i omsetjinga enn det som var brukt i setningane i Målfrid-korpuset. Med både Nynorskroboten og OpenAI la vi opp til at modellane skulle følgje “midtlinja” innanfor nynorskrettskrivinga.

Nynorskroboten er framleis best

Per i dag er framleis Nynorskroboten best til å omsetje frå bokmål til nynorsk, sjølv om GPT-4o-modellen ikkje ligg langt bak.

I tillegg har Nynorskroboten og GPT-4o-modellane kvar sine unike fordelar og avgrensingar. Nynorskroboten er best på konsekvent omsetjing og tilpassing av språket. Han er rask til å omsetje tekst og sender ikkje data ut av EU. GPT-4o-modellane kan generalisere i møte med heilt ukjende ord og er eit meir fleksibelt verktøy. GPT-4o er meir treffsikker enn GPT-4o-mini, men er mykje treigare til å omsetje og kostar meir i bruk.

Framtida er hybrid

Etter kvart som teknologien utviklar seg, lovar nye modellar som GPT-o1 endå betre prestasjonar, sjølv om kostnads- og tidsvurderingar kan avgrense kor nyttige dei er til omsetjingsoppgåver.

Derimot kan ei hybrid løysing som nyttar både regelbaserte og maskinlæringsbaserte metodar, vere ei løysing som drar nytte av fordelane til kvar av tilnærmingane.

I Nynorskroboten jobbar vi no med å ta i bruk KI-funksjonar for å auke kvaliteten på omsetjingane. Ein av funksjonane er ein språkvaskar som hjelper deg med å skrive klart og godt, og ein annan funksjon finpussar nynorskomsetjinga di til å bli endå betre. Utrullinga av dei nye KI-funksjonane startar allereie vinteren 2025.