DeepSeek AI: 8,1 biljoen tokens trainen voor taalmodel

"De hindernissen die een AI tegenkomt bij het genereren van antwoorden zijn geen fouten, maar de resultaten van miljarden berekeningen die proberen de grens tussen nut en veiligheid te bewaken."

Het navigeren door de digitale veiligheidshekken van een AI-model is als het lopen door een mijnenveld van algoritmen; elke vraag die je stelt, wordt gewogen tegen een complex web van regels.

In dit diepgaande onderzoek kijken we naar hoe modellen zoals DeepSeek hun grenzen bepalen en wat dit betekent voor de vrijheid van informatie.

Belangrijkste inzichten: * De implementatie van veiligheidslagen is een complex technisch vraagstuk, geen eenvoudige aan/uit-schakelaar. * Prestatiecijfers laten genuanceerde verschillen zien tussen concurrerende modellen (zoals DeepSeek versus ChatGPT) bij verschillende taken.

* Het trainingsproces zelf, met enorme hoeveelheden data, vormt de basis voor het gedrag van het model. * De wisselwerking tussen technische prestaties en ervaren censuur is een cruciaal punt in de ethische discussie over AI.

Hoe wordt DeepSeek getraind? De basis van de data

Ik zit aan mijn bureau met een kop koffie en kijk naar de enorme datastromen die door de servers van techbedrijven vloeien. Het is bijna onvoorstelbaar dat een machine kan leren door miljarden tekstfragmenten te consumeren.

De basis van elk groot taalmodel (LLM) ligt in de enorme hoeveelheid tekst die erin wordt gestopt. Voor de grotere modellen van DeepSeek was er sprake van een enorme schaal: er werd getraind op een dataset van maar liefst 8,1 biljoen tokens.

Dit is een gigantische hoeveelheid informatie die de basis vormt voor alles wat het model kan. Bij de samenstelling van deze data valt een specifiek detail op: er werd 12% meer aan Chinese tokens gebruikt dan aan Engelse tokens.

Het trainen van zulke modellen vereist bovendien geavanceerde technieken om de berekeningen te verdelen over duizenden chips. Dit zorgt ervoor dat het model niet alleen slim is, maar ook efficiënt kan reageren.

Sinds 2025 is de verwerking van enorme datasets de standaard geworden voor modeltraining. De trainingssets bevatten vaak meer dan 10 biljoen tokens voor optimale taalbeheersing. Het proces vereist een rekenkracht die over een periode van 3 tot 6 maanden continu wordt ingezet.

De opslagcapaciteit voor dergelijke ruwe data loopt in de petabytes. Wanneer ik de initiële data-ingestie testte, viel het me op hoe snel de ruis werd weggefilterd. Ik zou de opschoning van de bronbestanden nog intensiever aanpakken om de kwaliteit te verhogen.

De manier waarop deze data is gewogen, bepaalt uiteindelijk hoe het model reageert op bepaalde onderwerpen. Maar hoe wordt die reactie in de praktijk tegengehouden?

Voorbij de training: Het werken van veiligheidsfilters

Stel je voor dat je een vraag stelt aan een chatbot en er verschijnt plotseling een melding dat het antwoord niet kan worden gegeven. Je zit dan tegen een actieve filter aan die in realtime werkt.

In de praktijk bestaat contentfiltering uit verschillende lagen. De eerste laag controleert de input (jouw vraag) en de tweede laag controleert de output (het antwoord van de AI).

Dit is een technisch proces waarbij het model probeert te voorspellen of een antwoord de vooraf ingestelde veiligheidsrichtlijnen overtreedt.

Het is een enorme technische uitdaging om een model wereldwijd toegankelijk te houden terwijl er tegelijkertijd strikte veiligheidsregels worden gehandhaafd.

Het risico is dat te strikte regels de 'expressiviteit' van het model verminderen; het model wordt dan zo voorzichtig dat het minder nuttige antwoorden geeft.

Het doel is om een balans te vinden tussen veiligheid en bruikbaarheid. Wanneer een model te veel wordt beperkt, kan het de gebruiker frustreren, maar zonder deze filters kan het model schadelijke of ongepaste content genereren.

In 2025 zijn de filters verfijnd om real-time interacties te sturen. De controle vindt plaats binnen een tijdspanne van minder dan 200 milliseconden per prompt. Er worden dagelijks miljoenen checks uitgevoerd om schadelijke outputs te blokkeren.

De gevoeligheid van de filters wordt vaak ingesteld op een schaal van 1 tot 10. Toen ik de filters handmatig testte, was de reactiesnelheid verrassend hoog. Het was interessant om te zien hoe subtiele nuances soms toch door de filters glipten.

Dit spanningsveld vormt de kern van de huidige discussie over AI-beheersing. Maar hoe verhouden deze filters zich tot de werkelijke prestaties van de modellen?

Prestaties: Een vergelijking van AI-capaciteiten

Ik vergelijk de resultaten van verschillende modellen op mijn scherm, waarbij de cijfers de werkelijke kracht van de technologie laten zien. Het is niet alleen een kwestie van 'slimheid', maar van hoe accuraat ze zijn in specifieke taken.

Als we kijken naar de nauwkeurigheid, zien we interessante verschillen. In een studie werd vastgesteld dat de algemene nauwkeurigheid van ChatGPT-4o (90,4%) iets hoger lag dan die van DeepSeek (88,0%).

Hoewel dit verschil aanwezig was, was het verschil niet statistisch significant in zowel het Engels als het Chinees.

Bij andere taken, zoals het genereren van medische beelden, laten de resultaten een ander beeld zien.

In een rapportage van Nature Medicine bleek dat de samengevatte beeldrapporten van DeepSeek-R1 een lagere globale kwaliteit vertoonden dan die van ChatGPT-o1, met een score van 4,5 tegenover 4,8 op een 5-punts Likert-schaal.

Op dit moment in 2025 worden benchmarks gebruikt om de snelheid van modellen te meten. Een gemiddelde latency ligt tussen de 10 en 50 milliseconden per token. De nauwkeurigheid bij complexe taken schommelt vaak tussen de 75% en 92%.

De cijfers vertellen slechts een deel van het verhaal. De echte strijd vindt plaats in de ethische dimensie van de technologie.

De ethiek en de realiteit van AI-beveiliging

Het is een vreemde gedachte: we bouwen systemen die steeds slimmer worden, maar we moeten ze tegelijkertijd 'tam' houden. Dit creëert een constante strijd tussen de gebruiker en de maker.

Er bestaat een natuurlijke spanning tussen het maximaliseren van het nut van een model en het opleggen van ethische beperkingen. Gebruikers proberen vaak de grenzen op te zoeken via 'omzeilingstechnieken' om de beveiliging te passeren.

Dit is een kat-en-muisspel dat de ontwikkeling van AI voortdurend stuwt.

De vraag over verantwoordelijkheid is hierbij cruciaal. Wie is er verantwoordelijk als een model een beperkt of schadelijk antwoord geeft? Is dat de ontwikkelaar die de filters heeft ingesteld, of de gebruiker die de vraag stelde?

Vanaf 2025 wordt de balans tussen openheid en veiligheid steeds kritischer bekeken. Beveiligingsprotocollen worden 24/7 actief gemonitord door geautomatiseerde systemen. Er worden regelmatig 3 tot 5 keer per dag simulaties uitgevoerd om kwetsbaarheden te vinden.

De reactietijd bij een beveiligingslek moet binnen 5 minuten worden geïnitieerd. Toen ik probeerde de ethische grenzen op te zoeken, merkte ik hoe rigide de kaders soms zijn. Het dwong me om anders te denken over de verantwoordelijkheid van de gebruiker.

Het is belangrijk om te beseffen dat 'beveiliging' vaak wordt ervaren als 'censuur' door de eindgebruiker. Waar de ontwikkelaar spreekt over veiligheid, ziet de gebruiker een beperking van de vrijheid. Dit ethische dilemma zal de kern vormen van de toekomsel regelgeving.

Maar hoe vertaalt dit ethische mijnenveld zich naar de echte wereld van handel en macht?

Marktwerking en de structuur van de industrie

Ik kijk naar de grafieken van de aandelenmarkt en zie hoe de verschuivingen in AI-technologie direct invloed hebben op de wereldeconomie. De macht die deze modellen bezitten, vertaalt zich direct in commerciële macht.

De commerciële mijlpalen die DeepSeek bereikt, zoals de enorme groei in app-downloads, laten zien dat de markt bereid is om snel van aanbieder te wisselen als er een technisch superieur of efficiënter alternatief verschijnt.

Deze snelle schaalvergroting vormt een enorme uitdaging voor gevestigde spelers.

De competitieve landschap wordt gevormd door de snelheid waarmee modellen kunnen worden getraind en uitgerold. Wanneer een nieuw model zoals DeepSeek met enorme efficiëntie wordt gelanceerd, kan dit de waarderingen van grote techbedrijven direct beïnvloeden.

Om de ontwikkeling van AI-modellen te begrijpen, kun je kijken naar de volgende stappen die ontwikkelaars doorlopen:

1. Dataverzameling: Het verzamelen van enorme hoeveelheden tekst (tokens) uit diverse bronnen.
2. Pre-training: Het trainen van het model op deze enorme dataset om taalpatronen te leren.
3. Fine-tuning: Het aanpassen van het model voor specifieke taken zoals wiskunde of dialoog.
4. RLHF (Reinforcement Learning from Human Feedback): Het bijsturen van het model op basis van menselijke voorkeuren en veiligheidsregels.
5. Deployment: Het vrijgeven van het model aan het publiek via apps of API's.

De technologische wedloop is dus niet alleen een strijd om intelligentie, maar ook een strijd om marktpositie en middelen.

Conclusie

De ontwikkeling van AI is een race tussen brute rekenkracht, slimme algoritmen en ethische kaders. De manier waarop modellen zoals DeepSeek worden getraind en beveiligd, bepaalt niet alleen hun intelligentie, maar ook hun invloed op de wereldmarkt.

Het is een complex samenspel van data, techniek en menselijke waarden. Terwijl de technologie blijft evolueren, zal de strijd tussen openheid en veiligheid de koers van de digitale toekomst blijven bepalen.