AI is altijd onze voorkeursmethode geweest in onze missie om personeels-, wervings- en HR-processen te versnellen. Meer dan 20 jaar geleden waren we zelfs pioniers op het gebied van AI-oplossingen voor werving en selectie en sindsdien hebben we de ontwikkelingen op het gebied van AI op de voet gevolgd en toegepast. En dat is niet alleen omdat het een spannende technologie is: AI maakt onze klanten juist effectiever! Of het nu gaat om het automatiseren van gegevensinvoer van cv’s of vacatures, het selecteren van kandidaten voor vacatures of het mogelijk maken van marktanalyses, AI-gestuurde software kan de efficiëntie van processen enorm verbeteren. En in de loop der tijd hebben we geleerd dat het omarmen van nieuwe ontwikkelingen op het gebied van AI essentieel is om ervoor te zorgen dat de kwaliteit van deze systemen steeds beter wordt.
Met alle media-aandacht van tegenwoordig zouden veel mensen verbaasd zijn te horen dat AI al bestaat sinds de uitvinding van computers. Wat in de loop der jaren is veranderd, zijn de AI-algoritmen die worden gebruikt om computers intelligent te maken.
De beginperiode
De AI-algoritmen van de jaren 80 bestonden uit een reeks hard gecodeerde aannames en regels die gemaakt waren door domeinexperts. Denk aan regels als “als een CV een 10-cijferig nummer bevat, dan moet het een telefoonnummer zijn”, of “wat volgt op de zin “Naam:” is iemands naam”. Het blijkt dat taal veel te complex is om met regels te vangen (telefoonnummers kunnen worden geschreven met streepjes tussen de cijfers, de zin “Naam:” kan voorkomen in zinnen als “Schoolnaam:”). Op regels gebaseerde AI-systemen hebben de neiging om uit te groeien tot een grote stapel uitzonderingen op uitzonderingen: foutgevoelig en moeilijk te onderhouden. Praktische toepassingen van dergelijke systemen lagen buiten bereik.
Statistisch machine learning
Eind jaren negentig kwam statistisch machine learning als redding. In plaats van regels handmatig te schrijven, kunnen statistische algoritmen (bijvoorbeeld Hidden Markov Models in de vroege jaren 2000) regels en patronen afleiden uit geannoteerde gegevens. Die regels zijn over het algemeen beter dan de regels die door menselijke ingenieurs worden gevonden: ze vinden de juiste balans tussen specifiek en generaliseerbaar en gebruiken patronen in de gegevens die mensen niet zouden hebben gezien. Door gebruik te maken van machine-learning modellen in combinatie met verschillende rijke gegevensbronnen, bereikte Textkernel de beste nauwkeurigheidsniveaus voor de problemen die het wilde oplossen.
De introductie van Deep Learning
Maar vroege modellen voor macchine learning hadden nog steeds hun beperkingen: ze waren niet in staat om veel context te verwerken en waren nog steeds sterk afhankelijk van menselijke expertise (van welke signalen/kenmerken relevant zijn voor specifieke problemen). Om te begrijpen wat een bepaald woord betekent, keken ze in principe alleen naar de woorden in hun directe omgeving. Voor een goed begrip van een CV of een vacature is het echter nodig om de context van de hele alinea of zelfs het hele document te begrijpen.
Daarom hebben we geïnvesteerd in het upgraden van onze modellen naar een speciaal soort machine learning-technologie: Deep Learning. Deze iets complexere neurale netwerken maakten een veel meer gecontextualiseerde vorm van documentbegrip mogelijk. Bovendien konden ze zelf uitzoeken welke tekstuele kenmerken relevant zijn om een bepaalde taak op te lossen. Deep Learning veroverde de academische wereld stormenderhand in de jaren 2010 en in 2017 was het volwassen genoeg om te worden toegepast op zakelijke problemen.
Toen we het eenmaal toepasten op parsing, leidde dit tot nog een aanzienlijke verbetering van onze nauwkeurigheidsniveaus.
Onlangs hebben we een van de meest ontwrichtende ontwikkelingen in taaltechnologie tot nu toe op de voet gevolgd: Large Language Models (de technologie achter ChatGPT) en hun indrukwekkende vermogen om goed te presteren op vrijwel elke taaltaak en om kennis van de wereld te coderen.
Wat zijn LLM’s en waarom werken ze zo goed?
Taalmodellen zijn AI-systemen met een verrassend eenvoudig doel: taal “simuleren”. Gegeven een reeks woorden, is het hun taak om het volgende meest waarschijnlijke woord te voorspellen. Bijvoorbeeld, “bank” of “geldautomaat” zijn de meest waarschijnlijke woorden die zouden volgen op de reeks “Ik heb wat geld opgenomen bij de …”. Taalmodellen bestaan al ongeveer 30 jaar. In de afgelopen jaren hebben mensen taalmodellen gebouwd met behulp van steeds grotere neurale netwerken met een speciaal aandachtsmechanisme (transformatoren) en met behulp van steeds meer taalgegevens (zie onderstaande tabel). Het blijkt dat deze Large Language Models (LLM’s) vaardigheden beginnen te vertonen die zelfs hun makers hebben verrast:
Taaltaken uitvoeren: om taal te “simuleren” worden ze erg goed in taaltaken. Ze kunnen tekst van hoge kwaliteit genereren, tekst samenvatten, tekst herschrijven in specifieke stijlen, enz.
Kennis van de wereld coderen: taal kan niet goed worden gesimuleerd zonder kennis van de wereld (je kunt bijvoorbeeld geen goede tekst over Obama schrijven als je niet weet dat hij president van de VS was). LLM’s kunnen die kennis op magische wijze vastleggen en weergeven door gewoon veel tekst te lezen.
Enkele cognitieve vaardigheden: LLM’s proberen tekst te simuleren die handmatig door mensen is gemaakt door verschillende cognitieve vaardigheden toe te passen: gevolgtrekking, deductie, eenvoudig redeneren, enz. LLM’s lijken zulke vaardigheden te ontwikkelen – of op zijn minst na te bootsen – om goed te zijn in het simuleren van tekst. Er wordt verondersteld dat de grootte van het neurale netwerk en het aandachtsmechanisme hiervoor de sleutel vormen. Omdat hun trainingsgegevens ook computerprogramma’s, hun documentatie en de tekst eromheen bevatten, zijn LLM’s bovendien verrassend goed in het genereren van code. LLM’s kunnen zelfs nieuwe vaardigheden leren.
LLM’s in werving: mogelijkheden en beperkingen
De HR-media worden overspoeld met suggesties over hoe ChatGPT en soortgelijke tools kunnen worden toegepast om workflows te stroomlijnen. Ideeën variëren van geautomatiseerde contentgeneratie (vacatures, interviewvragen, marketingcontent) tot verbeterde kandidaatscreening en geautomatiseerde communicatie. Sommige zullen meer opleveren dan andere, maar één ding is zeker: recruitment en HR behoren tot de vele sectoren die opgeschud, zo niet gerevolutioneerd, zullen worden door deze nieuwe generatie AI-technologie.
Behalve dat er innovatieve producten uit voortkomen, is het ook duidelijk dat LLM’s bestaande AI-gebaseerde tools zullen helpen een hogere nauwkeurigheid te bereiken en hun gebruikerservaring te verbeteren. Dat geldt ook voor onze software: net zoals we hebben gezien dat eerdere AI-ontwikkelingen aanzienlijke kwaliteitsverbeteringen met zich meebrachten, zullen LLM’s zeer zeker de kwaliteit van onze software voor het begrijpen van documenten, het sourcen en matchen van kandidaten, gegevensverrijking en analyses ten goede komen. In de volgende delen van deze blogserie vertellen we hoe we de technologie op dit moment gebruiken en wat ons te wachten staat.
Niet zo snel?
Bij Textkernel, dat zich al meer dan twintig jaar bezighoudt met AI-gedreven innovatie, zijn we ons er terdege van bewust dat technologische doorbraken niet alleen reden tot opwinding zijn. En we zijn niet de eersten die opmerken dat het gebruik van technologieën zoals ChatGPT risico’s en beperkingen met zich meebrengt. Er zijn technische beperkingen met betrekking tot schaalbaarheid en kosten. Het bouwen van LLM’s is bijvoorbeeld een zeer complex en duur proces. Naar schatting heeft het OpenAI 4 miljoen dollar gekost om hun GPT-3 te trainen. Houd in gedachten dat ChatGPT is gebaseerd op een nog nieuwere versie, GPT-3.5. Voor de nabije toekomst is het de bedoeling dat bedrijven LLM’s van een klein aantal aanbieders gebruiken in plaats van zelf een LLM te bouwen. Het draaien van LLM’s is ook duur, wat weer van invloed is op de kosten van diensten die erop worden gebouwd.
Tot slot, en niet te onderschatten, zijn er gegronde zorgen over de privacy van gegevens, transparantie en vooringenomenheid. Deze zorgen moeten zeer serieus worden genomen en de verschillende aankomende vormen van AI-wetgeving, zoals de EU AI Act en de NY AEDT Law, zullen ervoor zorgen dat deze zorgen serieus worden genomen.
Blijf op de hoogte van de volgende delen van deze blogserie om meer te horen over hoe LLM’s zich verhouden tot AI-wetgeving en hoe we naleving van de wetgeving willen combineren met baanbrekende innovatie.
