Met Open WebUI de AI regie terugnemen

De razendsnelle opkomst van generatieve AI stelt organisaties voor een fundamenteel dilemma: hoe pluk je de vruchten van deze technologie zonder de controle over gevoelige data te verliezen? Bij Bossers & Cnossen hebben we een robuust antwoord geformuleerd. Door de inzet van Open WebUI en een hybride modelstrategie realiseren we 100% digitale soevereiniteit.

In de huidige IT-markt zien we dat de vraag naar AI-ondersteuning groeit, maar de zorgen over privacy en compliance (GDPR) terecht toenemen. Het simpelweg uploaden van bedrijfsgevoelige documenten naar publieke Large Language Models (LLM’s) is voor een professionele organisatie vaak geen optie. Daarom hebben wij een eigen, lokaal AI-ecosysteem ontwikkeld dat fungeert als een veilige haven voor dataverwerking. Hoe dat precies zit? Dat leggen we je uit in deze blog.

De hardware

Om AI-modellen lokaal en efficiënt te draaien, is specialistische hardware een harde voorwaarde. Waar een traditionele CPU uitblinkt in complexe berekeningen, is een GPU met zijn duizenden kleine, gespecialiseerde kernen de ‘Fabrieksarbeider’ die het zware parallelle rekenwerk van AI mogelijk maakt.

Voor onze eigen implementatie maken we gebruik van een high-end configuratie die de nodige rekenkracht garandeert:

Een Dell PowerEdgde Server met:

• 2 x NVIDIA A100 GPU’s met in totaal 160GB VRAM voor optimale modelprestaties.
• Een 96-core AMD EPYC processor om de zwaarste workloads te coördineren.
• 512GB RAM om soepele verwerking van grote datasets en meerdere gelijktijdige verzoeken mogelijk te maken.

Een hybride oplossing: veiligheid per doeleinde

Niet elke vraag vereist dezelfde aanpak. Onze architectuur binnen OpenWebUI rust op drie pijlers om flexibiliteit en veiligheid te garanderen:

• 100% Digitaal Soeverein met Qwen 3.5: Voor taken waarbij data onze eigen infrastructuur absoluut niet mag verlaten, draaien we het Qwen3.5-122B-A10B model volledig lokaal op onze eigen server. Gezien de verwerking lokaal plaatsvindt, behoud je volledige controle over de privacy en veiligheid.
• GDPR-Compliant met Mistral AI: Wanneer we externe rekenkracht nodig hebben maar strikt binnen de Europese privacykaders willen blijven, zetten we Mistral AI in. Dit biedt een uitstekende balans tussen prestaties en volledige AVG-compliance.
• Algemene vragen via OpenAI: Voor algemene kennisvragen waarbij geen sprake is van gevoelige bedrijfsdata maken we gebruik van publieke modellen. Dit biedt de breedst mogelijke ondersteuning zonder onnodige risico’s.

We hebben OpenWebUi dan ook gekoppeld met het lokaal draaiende model Qwen3.5, met MistalAI, OpenAI en via Openrouter.ai met een groot aantal andere modellen.

Onder de motorkap: van token tot intelligentie

Het proces achter een lokaal draaiend model is een technisch hoogstandje. Zodra een gebruiker een ‘prompt’ invoert, wordt de tekst “getokeniseerd” (omgezet in getallen) en via embeddings in een meerdimensionale ruimte geplaatst om context en betekenis te begrijpen.

Dankzij softwarecomponenten zoals vLLM voor efficiënte model-serving, Redis voor razendsnelle caching en tools zoals Docling voor het verwerken van documenten, ontstaat een systeem dat direct werkt met onze eigen data via een beveiligde omgeving. De toegang wordt hierbij strikt geregeld via EntraID SSO/SAML-integratie.

Conclusie: regie in eigen hand

Bij Bossers & Cnossen geloven we dat AI een krachtig hulpmiddel is, mits de organisatie aan het stuur blijft. Door Open WebUI te combineren met krachtige lokale hardware en de juiste hybride strategie, bewijzen we dat innovatie en digitale soevereiniteit hand in hand gaan. Hierdoor hoef je niet te kiezen tussen vooruitgang en veiligheid; met de juiste inrichting krijg je beide.

Wil je meer weten over hoe je een soevereine AI-omgeving inricht binnen jouw organisatie? Wij laten je graag zien hoe onze lokale implementatie in de praktijk werkt.