- Key Takeaways
- De negen beoordelingsdimensies
- Observeerbaarheid en controlebewijs: de twee dimensies die de meeste piloten over het hoofd zien.
- Waarom hersteltijd gemeten moet worden en niet zomaar aangenomen mag worden
- Wat we daadwerkelijk zouden aanbevelen
- Hoe encryptieconsultancy kan helpen
- Een scorekaart, geen indruk.
- Veelgestelde Vragen / FAQ
Kort antwoord: Een PQC-pilotscorekaart vereist meetbare, vooraf gedefinieerde criteria op negen dimensies om een ​​echt 'go' of 'no-go' signaal te geven in plaats van een subjectieve indruk: compatibiliteit (slagingspercentage bij echte clients en middleware), latentie (handshake- en ondertekeningstijd onder belasting), doorvoer (aantal bewerkingen per seconde), certificaat- en berichtgrootte (werkelijke bytes versus de klassieke basislijn), faalpercentage (volledige mislukkingen, niet alleen verminderde prestaties), observeerbaarheid (of je daadwerkelijk kunt zien welk algoritme in productie is gebruikt), herstel (terugdraaitijd als er iets misgaat), controlebewijs (of de pilot audit-bruikbare documentatie oplevert) en zakelijke impact (effect op de gebruiker, indien aanwezig). Deze handleiding biedt een scorekaart voor alle negen dimensies, voortbouwend op het labontwerp dat in onze bijbehorende handleiding wordt beschreven.
Een pilot die eindigt met "het leek prima te werken" is geen pilot, maar een anekdote. Het verschil tussen een pilot die een verdedigbare productiebeslissing oplevert en een die een schouderophalen teweegbrengt, is of de beoordelingscriteria voorafga zijn vastgesteld en gemeten, in plaats van achteraf te zijn samengesteld om te rechtvaardigen wat er is gebeurd.
Key Takeaways
- Negen beoordelingscriteria – compatibiliteit, latentie, doorvoer, omvang, faalpercentage, observeerbaarheid, herstel, controlebewijs en impact op de bedrijfsvoering – leveren een gefundeerd go/no-go-signaal op.
- Observeerbaarheid en controlebewijs zijn de twee aspecten die de meeste piloten over het hoofd zien, terwijl dit juist de twee belangrijkste aspecten zijn voor een verdedigbare productiebeslissing, en niet alleen voor een technische beslissing.
- De hersteltijd moet direct worden gemeten en niet worden aangenomen, aangezien een piloot die zijn eigen terugdraaipad nooit test, het terugdraaiplan in feite niet heeft gevalideerd.
- De scores moeten worden vastgelegd aan de hand van vooraf vastgestelde drempelwaarden die vóór de pilotfase zijn bepaald, en niet achteraf worden geëvalueerd op basis van de resultaten van de pilot.
De negen beoordelingsdimensies
| Afmeting | Wat te meten | Voorbeeld drempelwaarde |
|---|---|---|
| Compatibiliteit | Slagingspercentage bij echte clients, applicaties en middleware in de pilotpopulatie | ≥99% succesvolle onderhandelingen binnen de geteste populatie |
| Wachttijd | Handdruk- en ondertekeningstijd onder realistische belasting, niet de inactieve tijd van een enkele handeling. | Binnen een overeengekomen percentage van de klassieke basislijn bij maximale gelijktijdigheid |
| Doorvoer | Aanhoudend aantal bewerkingen per seconde bij een productierepresentatief volume | Voldoet aan of overtreft het huidige piekvolume aan uitgiften/ondertekeningen. |
| Certificaat-/berichtgrootte | Werkelijk gemeten bytes voor certificaten, handshakes en ondertekende documenten versus klassieke basislijn | Bevestigd binnen de MTU- en opslagcapaciteitslimieten van de infrastructuur. |
| Uitvalpercentage | Volledige storingen, te onderscheiden van verminderde prestaties, worden bijgehouden per type storing. | Geen onverklaarbare storingen; alle storingen zijn terug te voeren op een bekende, gedocumenteerde oorzaak. |
| observeerbaarheid | Of het overeengekomen algoritme en de telemetriegegevens over storingen daadwerkelijk zichtbaar zijn in de productiemonitoring. | 100% van het pilotenverkeer heeft data vastgelegd via een onderhandelingsalgoritme. |
| Gemeten tijd om terug te keren naar de klassieke modus indien geactiveerd. | Rollback wordt uitgevoerd binnen het gedefinieerde wijzigingsbeheervenster. | |
| Controlebewijs | Of de pilot documentatie oplevert die bruikbaar is voor audit- of compliancedoeleinden. | Het bewijsmateriaal is beoordeeld en goedgekeurd door de betrokkene op het gebied van compliance/audit. |
| Zakelijke impact | Eventuele gevolgen voor de gebruiker of operationele effecten die tijdens de pilot zijn waargenomen. | Er hebben zich geen onvoorziene incidenten voorgedaan waarbij gebruikers direct betrokken waren en die aan de pilot kunnen worden toegeschreven. |
Observeerbaarheid en controlebewijs: de twee dimensies die de meeste piloten over het hoofd zien.
Compatibiliteit, latentie, doorvoer en omvang worden in vrijwel elke pilot gemeten, omdat dit de meest voor de hand liggende technische vragen zijn. Observeerbaarheid en controlebewijs worden veel vaker overgeslagen, terwijl dit juist de twee dimensies zijn die bepalen of de resultaten van een pilot bruikbaar zijn voor iets anders dan intern technisch vertrouwen. Een pilot zonder telemetrie van het onderhandelde algoritme kan achteraf niet vaststellen of het verkeer waarvan je dacht dat het PQC testte, het daadwerkelijk heeft onderhandeld, of de hele tijd stilletjes is teruggevallen op klassieke algoritmen. Een pilot zonder auditbare documentatie levert een resultaat op dat je compliance-team niet kan gebruiken ter ondersteuning van een wettelijke indiening of een managementrapport, ongeacht hoe technisch deugdelijk het onderliggende werk was.
Waarom hersteltijd gemeten moet worden en niet zomaar aangenomen mag worden
Een terugdraaiplan dat alleen op papier bestaat, is geen gevalideerd terugdraaiplan. Activeer tijdens de pilotfase bewust een daadwerkelijke terugdraaiing en meet hoe lang het werkelijk duurt om terug te keren naar de klassieke modus, inclusief de tijd die nodig is om de triggerconditie te detecteren, de wijziging door te voeren en te bevestigen dat de terugdraaiing is geslaagd. Dit is de stap die de meeste pilots overslaan, omdat het voelt alsof ze een probleem creëren in plaats van er een op te lossen. Maar een pilot die zijn eigen terugdraaipad nooit oefent, laat de meest cruciale faalmodus volledig ongetest.
Wat we daadwerkelijk zouden aanbevelen
Stel specifieke, numerieke drempelwaarden in voor elke dimensie voordat de pilot van start gaat, waarbij de basislijn van de laboratoriumtests zoals beschreven in onze PQC-laboratoriumontwerpgids als uitgangspunt dient. Neem bewijs van observeerbaarheid en beheer expliciet op in de scorekaart in plaats van deze als impliciete bijproducten van het technische werk te beschouwen. Activeer en meet bewust een terugdraaiing tijdens de pilot zelf, in plaats van alleen een theoretisch terugdraaiplan te documenteren, en eis dat elke dimensie van de scorekaart de drempelwaarde overschrijdt, niet slechts een meerderheid, voordat een bredere productie-uitrol wordt goedgekeurd.
Hoe encryptieconsultancy kan helpen
Onze PQC Advisory Services ontwerpen en voeren pilots uit op basis van deze scorekaart met negen dimensies, waarbij drempelwaarden worden vastgesteld die specifiek zijn voor uw omgeving en het bewijsmateriaal wordt geleverd dat uw compliance- en auditstakeholders daadwerkelijk nodig hebben om de resultaten van de pilot te accepteren.
CBOM Secure stelt de klassieke basislijn vast waaraan deze scorecard meet, waardoor de vergelijkingen van latentie, doorvoer en omvang gebaseerd zijn op echte productiegegevens in plaats van een generiek branchecijfer.
Een scorekaart, geen indruk.
"De pilot is goed verlopen" is geen productiebeslissing, maar een gevoel. Negen meetbare dimensies, met drempelwaarden die voorafgaand aan de tests zijn vastgesteld, maken van een pilot een echt signaal voor goedkeuring of afwijzing. Dit signaal kan onafhankelijk worden geverifieerd door een technisch team, een leidinggevende en een auditor aan de hand van dezelfde gegevens. Observeerbaarheid en controlebewijs, de twee dimensies die het vaakst worden weggelaten bij een informele evaluatie van een pilot, zijn juist de dimensies die bepalen of het resultaat na afloop van de pilot de toets der kritiek kan doorstaan.
Veelgestelde Vragen / FAQ
Welke beoordelingsaspecten van piloten worden het vaakst overgeslagen?
Observeerbaarheid en controlebewijs. Technische aspecten zoals compatibiliteit en latentie worden vrijwel standaard gemeten, maar telemetrie van onderhandelde algoritmen en auditbare documentatie worden vaak weggelaten, waardoor de bruikbaarheid van het pilotresultaat buiten intern technisch vertrouwen beperkt is.
Waarom zou een piloot opzettelijk een rollback in gang zetten in plaats van alleen een rollbackplan te documenteren?
Een plan dat nooit is uitgevoerd, is immers niet gevalideerd. Door de daadwerkelijke terugdraaitijd te meten, inclusief detectie en bevestiging, komen hiaten aan het licht die in een papieren plan niet zichtbaar zijn. Terugdraaien is nu eenmaal de meest ernstige vorm van falen als het niet werkt zoals verwacht.
Moeten de scoregrenzen vóór of na de pilotfase worden vastgesteld?
Voorheen bestond het risico dat drempelwaarden pas na het vaststellen van de resultaten onbewust werden aangepast aan de resultaten van de pilot, wat het nut van meetbare criteria volledig tenietdoet.
Moet een pilotproject op alle vlakken aan de eisen voldoen om een ​​bredere uitrol te kunnen goedkeuren?
Ja, idealiter wel. Door de scorekaart te behandelen als een checklist waarbij een meerderheidsscore voldoende is, bestaat het risico dat een enkele cruciale fout over het hoofd wordt gezien, zoals een defect terugdraaipad of een gebrek aan observeerbaarheid, die bij een gedeeltelijke score wel aan het licht zou komen.
Hoe verhoudt deze scorekaart zich tot de laboratoriumtests die worden beschreven in de PQC-handleiding voor laboratoriumontwerp?
Het laboratorium stelt de representatieve testomgeving en basismetingen vast; deze scorekaart wordt gebruikt tijdens de daaropvolgende pilotfase, die aansluit op de productieomgeving. De basisgegevens van het laboratorium dienen daarbij als referentiepunt voor de resultaten van de pilot in de praktijk.
- Key Takeaways
- De negen beoordelingsdimensies
- Observeerbaarheid en controlebewijs: de twee dimensies die de meeste piloten over het hoofd zien.
- Waarom hersteltijd gemeten moet worden en niet zomaar aangenomen mag worden
- Wat we daadwerkelijk zouden aanbevelen
- Hoe encryptieconsultancy kan helpen
- Een scorekaart, geen indruk.
- Veelgestelde Vragen / FAQ
