DeepSeek, een Chinees bedrijf gespecialiseerd in artificiële intelligentie, daagt de reuzen van de sector uit met zijn nieuwe R1-model, dat gratis en open source is. Dit model, dat is ontworpen om middelen te optimaliseren en tegelijkertijd topprestaties te garanderen, wekt evenveel enthousiasme als controverse op, met name over de ontwikkelingsmethoden en de economische impact.

DeepSeek, een relatief nieuwe speler uit China, haalt de krantenkoppen met zijn nieuwe R1 AI-model, dat gratis en open source is. Achter het bedrijf staat Liang Wenfeng, een specialist op het gebied van digitale visie die ook het kwantitatieve hedgefonds High-Flyer heeft opgericht. Zijn team bestaat uit dynamische jonge onderzoekers van prestigieuze Chinese universiteiten zoals Beijing en Tsinghua. Tot de belangrijkste leden behoren computationeel linguïst Luo Fuli van Peking University, Shao Zhihong, een NLP-expert van Microsoft Research, en verschillende jonge wetenschappers.

Wat is DeepSeek R1?
DeepSeek R1 is de nieuwste versie van een reeks steeds krachtigere modellen die door het bedrijf zijn ontwikkeld. Eerdere mijlpalen zijn onder andere

• DeepSeek Coder: gelanceerd in november 2023, de eerste stap in open source AI, specifiek voor coderingstaken.
• DeepSeek LLM: een model met 67 miljard parameters.
• DeepSeek-V2: gelanceerd in mei 2024 en ontketende een prijzenoorlog in de Chinese AI-sector dankzij de opmerkelijke winstgevendheid.
• DeepSeek-V3: met 671 miljard parameters en volgens de ontwikkelaars getraind met een budget van slechts 5,58 miljoen dollar. Het zou beter hebben gepresteerd dan vlaggenschipmodellen zoals Meta's Llama 3.1 en OpenAI's GPT-4o, terwijl het veel minder rekenkracht nodig had.
• DeepSeek-R1: onthuld in januari 2025, zou beter presteren dan OpenAI's GPT-4o model, wederom tegen een fractie van de kosten. Het maakt gebruik van de “Mixture of Experts” (MoE)-techniek, die taken verdeelt over verschillende gespecialiseerde netwerken, of “experts”, waardoor selectieve en geoptimaliseerde activering van bronnen mogelijk is.

Met 671 miljard parameters zijn er slechts 37 miljard nodig voor elke berekening, waardoor een spaarzaam gebruik, maar hoge prestaties gegarandeerd zijn. Het model is gebaseerd op volledig reinforcement learning, met behulp van een methodologie genaamd Group Relative Policy Optimization (GRPO), die het klassieke kritische model vervangt door groepsstatistieken, waardoor zelfbeoordeling mogelijk wordt door vergelijkbare acties te vergelijken. Deze aanpak vermindert de afhankelijkheid van door mensen gelabelde gegevens.

R1 beheert zijn geheugen via een systeem genaamd DeepSeekMLA (Multi-head Latent Attention), gebaseerd op de architectuur van transformatoren en het optimaliseren van het aandachtsproces. De combinatie van multi-head aandacht en latente compressie garandeert een efficiënt beheer van geheugenbronnen met behoud van de kwaliteit van de berekeningen.

Daarnaast verbetert het DeepSeekMoE-concept de gegevensroutering en load balancing tussen expertnetwerken. Deze optimalisaties zijn ontworpen om te werken met H800 GPU's, waarvan de geheugenbandbreedte beperkter is dan die van H100's, die over het algemeen worden beschouwd als de standaard voor AI-onderzoek. Dit zou erop kunnen wijzen dat de hardwarebeperkingen minder nadelig zijn dan verwacht.

De controverses
De komst van DeepSeek R1 vindt plaats tegen een complexe geopolitieke achtergrond. De ontwikkeling laat zien dat China, ondanks de Amerikaanse beperkingen op het gebied van halfgeleiders, nog steeds een groot potentieel heeft op het gebied van AI. Het gebruik van H800 GPU's, waarvoor minder strenge beperkingen gelden, zou erop kunnen wijzen dat deze beperkingen minder impact hebben dan verwacht.

Er zijn echter vermoedens dat DeepSeek modeldistillatietechnieken heeft gebruikt van concurrerende systemen, zoals GPT-4 of Claude. Deze methode, waarbij een eenvoudiger model wordt getraind door de resultaten van een complexer model te reproduceren, roept ethische en juridische vragen op over intellectueel eigendom.

Bovendien lijken de opgegeven kosten van 5,58 miljoen dollar voor de uiteindelijke training verrassend laag, wat twijfels oproept over de transparantie van de werkelijke ontwikkelingskosten.

Economische impact
DeepSeek R1 heeft een grote economische impact gehad. Na de release daalde de beurswaarde van Nvidia met bijna 600 miljard dollar, wat de bezorgdheid over de ontwikkelingskosten van AI weerspiegelt. De API-prijs van DeepSeek R1, vastgesteld op $0,55 per miljoen input tokens en $2,19 per miljoen output tokens, staat in schril contrast met concurrenten zoals OpenAI, waar vergelijkbare diensten respectievelijk $15 en $60 kosten. Dit verschil kan bedrijven miljoenen dollars besparen.

DeepSeek heeft al meer dan 10 miljoen gebruikers aangetrokken voor zijn AI Assistant app, die naar de top van de Amerikaanse App Store van Apple is gestegen.

De vooruitzichten
Er blijven vragen over de ontwikkelingsmethoden en de werkelijke kosten. DeepSeek R1 zou echter wel eens de voorloper kunnen zijn van een nieuw tijdperk waarin efficiëntie en openheid de nieuwe standaarden worden voor AI-innovatie.

De grote vraag blijft: wat is de impact van dit nieuwe model op de ontwikkeling van generatieve AI op de korte en middellange termijn? Zullen bedrijven in de gezondheidszorg er hun voordeel mee kunnen doen en hoe kunnen de twijfels rond dit model worden overwonnen?

Wordt vervolgd.