OSAI – Een blik op de OSAI certificering van OffSec

Ik ben altijd heel blij met de trainingen van Offsec. Ongeacht welke training je ook volgt. Ze leren je “op eigen benen” te staan. Ze geven je zelfvertrouwen door je in het diepe te gooien. En ondanks dat ik het hele “Try Harder” principe op sommige momenten erg lastig vindt (vooral tijdens examens waar je volgens mij moet kunnen leunen op alles dat je geleerd hebt) vind ik de OffSec trainingen het meest waardevol! Dus toen ik begin dit jaar op zoek was naar een nieuwe training en OSAI (Advanced AI Red Teaming ofwel AI-300) aangekondigd werd was ik er “als de kippen” bij. En op 28 april kocht ik de course als een van de eerste en kon dit nieuwe avontuur beginnen!

Truth-to-be-told… dat was best een avontuur. Want ik denk dat een course, als je het volle bedrag betaald compleet moet zijn. Of, dat je bij aankoop gewaarschuwd wordt dat je eigenlijk een beta-tester bent. Want dat was dus exact wat ik aan het doen was de eerste maanden. Opdrachten werden niet juist beoordeeld (geautomatiseerd) en er waren nog geen labs aanwezig. Dit zorgde er uiteindelijk voor dat ik een maand extra verlenging heb gekocht om alsnog de broodnodige “challenge labs” te doen. Het enige dat ik in het begin dus had was het boek, en de opdrachten die niet altijd lekker werkte. Best lastig.

Gesproken over het boek, wat leer je dan. Nou, vanuit het boek leer je vooral AI systemen testen als een red-teamer ofwel, door ze op verschillende manieren aan te vallen. En dan hebben we het echt over alle soorten zoals het testen of AI modellen veilig zijn (denk aan o.a. prompt injection & role playing). Maar interessanter wordt het wanneer je AI gedreven systemen gaat testen zoals AI Agents, RAG Pipelines, Multi-Agent Systems (A2A), Embeddings, MCP en andere koppelvlakken en ook complete AI Supply Chains! Het aanvallen van AI-based systemen is een nieuw verdiepingsvlak en lijkt eigenlijk op geen enkel ander aspect waar we als pentester bekend mee zijn. Active Directory, Web, Cloud… al deze technieken gaan je niet enorm helpen (je analytisch vermogen uiteraard wel)!

Het boek is relatief kort. +/- 500 pagina’s. OSCP, dat door Offsec als prerequisite wordt aangegeven voor het volgen van OSAI is ongeveer 900 pagina’s. Echter is het aantal plaatjes minimaal en is er aardig wat leeswerk. Ook niet alles staat uitgelegd in het boek. Heel veel verdieping moet (bij wens) gevraagd worden aan KAI, de OffSec Study AI Assistent. Persoonlijk had ik de verdieping liever direct in de tekst gehad. Maar ok, dit werkt ook. De stof is wel echt goed. Natuurlijk leer je ook outdated technieken die je nu alleen nog maar in verouderde omgevingen kunt gebruiken maar dit help je ook om de meer moderne technieken beter te begrijpen. En die zitten er ook zeker tussen. Uiteraard is het lastig voor een course om content altijd up-to-date te hebben, zeker in een wereld waarin er elke dag iets nieuws te leren is. Maar Offsec’s OSAI geeft je een erg compleet beeld. De informatie is interessant, de voorbeelden zijn goed en de bijbehorende opdrachten dagen je altijd uit om net een andere benadering te kiezen of om de kennis die je geleerd hebt net even wat anders toe te passen. Zoals al gezegd had de “grader”, ofwel het systeem welke geautomatiseerd controleert of je de opdracht juist hebt uitgevoerd en afgerond niet altijd lekker mee. Of komt het voor dat je het doel wel gehaald hebt maar net niet helemaal zoals de Grader dit verwacht en dan ben je even aan het prutsen om uiteindelijk de opdracht toch rond te krijgen.

Sommige hoofdstukken hebben aan het einde een “Capstone Challenge” en deze is net wat uitgebreider en ingewikkelder en zorgt ervoor dat je echt “out-of-the-box” moet denken. En… zoals Offsec betaamd is dit een eigenschap die je ook nodig hebt bij de challenge labs en het examen. De challenge labs zijn nog grotere netwerken dan de “capstone challenges” en dagen je nog meer uit. Hier zijn er op het moment van schrijven 5 van. Reken gerust op 30-60 uur aan tijdsinvestering per challenge lab. Mijn advies is om deze wel allemaal uit te spelen. Dit geeft je absoluut een voorsprong op het examen omdat de moeilijkheidsgraad en het out-of-the-box denken hier van hetzelfde niveau is. Ik had erg veel plezier in het spelen van de challenge labs. Dit is waar Offsec echt zijn meerwaarde en jarenlange marktpositie laat zien. Let wel, en dat is mijn punt van aandacht voor Offsec. Je bent eigenlijk vrij weinig bezig met het exploiten van AI systemen. Je komt in een netwerk waarin je aardig wat “traditioneel” moet exploiten. In dit netwerk worden ook AI systemen gebruikt die je gaandeweg tegenkomt. Hier pas je met name je OSAI kennis toe. Maar voor alle overige obstakels heb je je traditionele kennis nodig. En die gaat op sommige momenten een stuk verder dan OSAI. Deze opzet is super realistisch voor echter corporate omgevingen waarbij je met veel meer systemen te maken hebt dan alleen AI-based systemen. Maar voor iedereen die denkt non-stop AI exploits uit te voeren… think again. In de challenge labs, en ook in het examen wordt je gedropt in een corporate omgeving. Je OSAI kennis is nodig… maar er wordt meer van je gevraagd! Dus je, OSCP helpt maar ik denk dat OSEP eigenlijk ook een vereiste had moeten zijn vanuit Offsec incl. kennis van cloud systemen en gedockeriseerde omgevingen.

Je kunt uiteraard via de Offsec Discord gedurende je challenges wel hulp vragen. Dit werkt beter dan “vroeger”. Er zijn heel wat moderators en medestudenten actief. Soms heb je binnen 30 minuten hulp gekregen (vaak in de vorm van een gerichte hint) maar er zijn ook momenten geweest dat ik 3x hulp vroeg alvorens ik antwoord kreeg. Dan verlies je veel tijd. Vaak is het ook zo dat je gedurende die wachttijd toch zelf ontdekt hoe je verder moet. Try Harder… en dat klopt. Uiteindelijk leer je wel erg goed op deze manier. Maar… het duurt erg lang! Dus het support is niet slecht… maar kan echt nog een stuk beter.

En dan heb je de stof 2x doorgenomen, je hebt alle opdrachten klaar en je hebt de challenge labs gespeeld. Dan ben je feitelijk klaar voor het examen! En dit is een examen zoals alle andere. Je boekt het examen waarvoor je 24 uur de tijd krijgt. Je hebt daarna, als je voldoende punten gehaald hebt nog 24 uur om je rapportage in te leveren. Dus in totaal ben je maximaal 48 uur met het examen bezig. Qua punten moet je minimaal 75 halen van de maximaal 100 punten. De examenomgeving bestaat uit 1 netwerk met 2 ingangen. Beide ingangen moet je exploiten om uiteindelijk voldoende punten te kunnen halen want beide bieden andere machines. Beide bieden ook hetzelfde doel. Uiteindelijk kom je uit om de DC, het eindpunt van een route. Gedurende je exploitation kom je machines tegen die je via traditionele methoden moet exploiten. Deze zijn 10 punten waard. Alle AI exploits (je OSAI kennis) zijn 15 punten waard. De enige uitzondering is de Domain Controller zelf. Deze is slechts 5 punten waard omdat je hier via beide routes op kunt komen. In het netwerk vindt je ook nog een volledige stand-alone machine welke een AI exploit heeft. Ook deze is 15 punten waard. Deze brengt je overigens niet verder in het netwerk. Deze stand-alone machine kun je ook via beide routes vinden. Elke flag die je vindt vul je in op je examen portal maar vermeld je natuurlijk ook in je rapportage.

Het examen is “proctored” en dat betekent natuurlijk dat je je webcam non-stop aan hebt staan. Men kan “je handelen” dus in de gaten houden. Ook kan men (de proctor) je schermen ten aller tijde zien. Je mag zo vaak pauze nemen als je wilt zolang je dit maar aankondigt. Wanneer je weer terug komt kondig je dit ook aan. Verder is het prima om muziek aan te zetten (ze kunnen je niet horen) of om b.v. YouTube te kijken. Je mag echter geen oortjes meer in. Dit zou “valsspelen” makkelijker maken. Verder is elke bron toegestaan. Je mag alle AI systemen gebruiken, AI agents, video’s, je boek etc. Je mag eigenlijk ALLES raadplegen behalve om hulp vragen. Zo mag je prima Discord gebruiken om informatie te lezen maar je mag onder geen beding chatten en hulp vragen! Als het goed is heb je tegen deze tijd een favoriete AI provider gevonden en heb je zelf een workflow gemaakt hoe je je eigen offensieve AI zo goed mogelijk inzet. Claude is ontzettend goed, zeker wanneer je bent aangemeld voor het AI Cybersecurity Program waarbij Claude minder vaak stopt op kritische momenten in je pentest-cycles. Uiteindelijk heb ik gekozen voor een combinatie van Claude en Grok waarbij Claude mijn fallback provider was. Grok is na veel testen in mijn ogen, als snel cloud-based model superieur in pentesten (kijkende naar de weigeringsgraad en de kwaliteit). Maar je kiest uiteindelijk zelf wat voor jou het beste werkt. Veel mede-studenten gebruikte ook OpenAI. Qua voorbereiding betekent dit dat ik beide agents had draaien, beide in hun eigen profiel welke compleet ingesteld was op het examen. Zo wisten de agents meteen:

• Dat we bezig zijn met een geautoriseerde CTF
• Dat elke stap gedocumenteerd moest worden (succesvolle stappen in een writeup en gefaalde stappen in een “try-and-failed” document)
• Dat het model eerst denkt, analyseert, terugkijkt in de geschiedenis van gefaalde zaken, nogmaals denkt en uiteindelijk vraagt of de meest logische vervolgactie uitgevoerd moet worden. Dit is dus een cyclisch proces waarbij de agent leert van zichzelf en waarbij redenatie voor “dom proberen” gaat.
• De agent kon ook indien de wens zou bestaan autonoom draaien.
• Alle flags worden gelogd in een separaat bestand, net als de screenshots.
• De agent had bepaalde skills, geoptimaliseerd door de leerstof. Denk aan API enum skills, maar ook Kubernetes, AWS, Credential hunting etc.

Kortom, een goede voorbereiding geeft je een kick-start op het examen. Dus bereid deze gedurende je leerproces voor en blijf dee optimaliseren. Dit is ook een klein puntje van kritiek. De stof gaat niet heel diep in op het proces van het optimaliseren van je eigen red-team arsenaal. De nadruk ligt op exploitation terwijl je, zonder goed ingerichte aanvalsmachine erg veel moeite hebt met de challenges en het examen. Neem deze tip dus mee.

Ik begon lekker op tijd met het examen. Om 8:00 zou mijn examen beginnen. Ik had goed geslapen dus om 7:45 begon ik met de voorbereidingen (het intake proces). Dit verliep vloeiend waardoor ik om 8:00 netjes kon starten. Gedurende je opdrachten en de challenge labs gebruik je een OpenVPN verbinding. Dit werkt prima. Maar tijdens het OSAI examen krijg je een dedicated omgeving waarmee je verbinding maakt via Tailscale. Dit werkt fantastisch. Snel, responsive en stabiel! Dus credits voor het opzetten van een zeer stabiele examen omgeving. De eerste uren verliepen prima. Rond de lunch had ik 20 punten en lag ik voor mijn gevoel goed op schema. Na de lunch ging het echter wat minder. Rond het avondeten stond ik nog maar op 30 punten en had ik bijzonder weinig vooruitgang geboekt. Dit gaf wel lichtelijk wat stress. Waar ik rond de lunch nog dacht rond 23:00 klaar te kunnen zijn wist ik nu zeker dat dit niet meer ging lukken. Wel heb ik gewoon de nodige pauzes genomen omdat deze echt belangrijk zijn. Natuurlijk blijf je “doormalen” in je hoofd maar dit helpt. Meer dan eens kwam ik op nieuwe gedachten die waardevol bleken te zijn. Om 20:00 in de avond, ik was nu al 12 uur bezig had ik nog geen vooruitgang. Nog steeds maar 30 punten. De uren na het diner waren de ergste. Het gevoel vast te zitten, geen uitweg meer te weten en de vermoeidheid begon toe te slaan. Als extra bijkomstigheid werd het op dat moment ook zeer benauwd in Nederland en zat ik echt zwetend achter de computer.

Na veel stress had ik rond 20:00 een doorbraak. Eindelijk een exploit die lukte. Zonder AI was dit overigens nooit gelukt binnen deze tijd. AI helpt dus ontzettend maar het is aan jou om je AI juist te sturen. Vraag de juiste dingen want als je hem zelf laat “prutsen” dan kom je er niet. Daar zie je meteen de meerwaarde van een ervaren pentester. AI kan het niet alleen, maar OSAI laat wel zien dat je met AI een super krachtig hulpmiddel hebt. We worden steeds meer “de operator” van een pentest waarbij AI uitvoert en wij op de juiste manier besturen en bedienen. Maar er was dus gelukkig een doorbraak. Dat hielp. Rond 23:30 had ik de benodigde 75 punten compleet. Maar daar wilde ik niet stoppen. Om 1:30 waren dit er 85. De enige machine die nog over was dat was de stand-alone AI machine. Hier ben ik nog 1.5 uur mee bezig geweest, maar de vermoeidheid was hoog en ik had toch al voldoende punten. Omdat ik niet veel verder kwam ben ik rond 3:00 richting bedje gegaan. Moe, voldaan … en hopelijk dat ik alles goed genoteerd had. Uiteraard had mijn agent zelf ook een writeup geschreven als back-up. Maar mijn eigen rapportage had ik on-the-go bijgewerkt.

De volgende dag nog +/- 4 uur aan de rapportage gewerkt om alles te controleren en volledig uit te werken. Het uiteindelijke resultaat was een rapportage van 185 pagina’s incl. afbeeldingen en scripts. Deze netjes ingeleverd en dan begint het lange wachten. Er staan 10 werkdagen voor alvorens je de definitieve uitslag krijgt. Je rapportage is belangrijker dan de flags / punten. Deze punten moet je wel halen maar als de rapportage niet goed is dan kan de uitslag zeker negatief uitvallen. Waar ik gewend ben dat ik bij Offsec binnen 2-4 werkdagen de uitslag heb duurde het het 8 werkdagen. Ik begon bijna te vermoeden dat mijn rapportage was kwijtgeraakt. Het lange wachten werd goed gemaakt met een positieve uitslag.

Ik had mijn OSAI in-the-pocket. Yes!

Blij met de certificering en alles dat ik hierbij geleerd had. Ik vind dat Offsec een aantal zaken moet verbeteren waarvan de belangrijkste 3:

1. OSCP als enige vereiste opgeven vind ik aan de zwakke kant. Ik denk dat er voor OSAI iets zwaardere eisen nodig zijn zoals b.v. OSCP en OSEP. Of OSCP en minimaal 5 jaar praktische red-team ervaring.
2. Er moet tijdens een course als OSAI meer tijd besteed worden aan het optimaliseren van je eigen omgeving. Natuurlijk doe je dit gedurende het proces maar het toch fijn dat je wat handvatten zou krijgen in de leerstof.
3. Support. Hoewel dit al beter is dan alle jaren ervoor vind ik nog steeds het support traag en soms niet goed genoeg. Dit kan echt nog beter.

En wat ik zelf jammer vind is dat als je een splinternieuwe course koopt dat dan de course eigenlijk slechts in beta beschikbaar is waarbij essentiële zaken echt missen en waardoor ik uiteindelijk labtijd bij moest kopen. Ik weet niet of ik het anders in 3 maanden voor elkaar gekregen had, maar dit hielp zeker niet mee. Of, als mensen vroegtijdig aansluiten voor het volle bedrag geef ze dan in ieder geval meer tijd omdat er in de loop steeds meer bijkomt. Zaken die er in eerste instantie al hadden moeten zijn.

Maar op die kritiekpunten na is het gewoon een hele waardevolle course waarin ik ontzettend veel bijgeleerd hebt! Als je zelf ook goed gaat op de “try harder” mentaliteit dan is deze course zeker ook voor jou!!