DeepMind testar AI-modellen utan att få se frågorna
Gemini 2.5 Flash Lite och hemliga benchmarkfrågor kördes i en attesterad H100-enklav — men rapporten publicerar inga testresultat.
Google DeepMind har genomfört ett pilotförsök där en extern utvärderare kan testa en sluten AI-modell utan att få modellvikterna, samtidigt som Google inte får se testfrågorna. I den tekniska rapporten beskriver partnerna försöket som den första dubbelblinda utvärderingen av en sluten modell i den mest avancerade klassen.
Gemini 2.5 Flash Lite kördes mot en reserverad del av MLCommons säkerhetsbenchmark AILuminate och mot ett separat promptpaket från Singapore AI Safety Institute. AILuminate-frågorna hade enligt rapporten aldrig tidigare behandlats av någon modell. Den publika rapporten redovisar däremot inga poäng eller jämförelser från testerna.
Två hemligheter möts i samma dator
Modellägaren och utvärderaren börjar med att enas om ett gränssnitt och vilken kod som får köras. Båda kontrollerar sedan en kryptografiskt signerad beskrivning av den tillfälliga datormiljön. Först efter godkänd attestation strömmas modellvikterna och testprompterna genom separata krypterade anslutningar.
Själva testet kördes i Google Cloud Confidential Space på en A3 Confidential VM. Värddatorns minne skyddades med Intel TDX och modellvikterna låg i det krypterade minnet på ett Nvidia H100-kort. OpenMineds PySyft samordnade kodgranskning, godkännanden och körning. När testet var klart lämnade bara avgränsade resultat enklaven, som därefter stängdes.
Originaldiagrammet visar hur modellvikter och hemliga testprompter förs in var för sig efter att båda parter verifierat hårdvaran. Källa och kredit: ”Double Blind Evals”, figur 1, Google DeepMind, AVERI, OpenMined, Singapore AISI och MLCommons, 2026. Användning: redaktionellt citat ur publik teknisk rapport. Debrief-bearbetning: dokumentär skärmbild beskuren runt originaldiagrammet; text, färger, pilar och sakuppgifter är oförändrade.
Ett tredje sätt att göra externa tester
Slutna AI-modeller har satt oberoende testare i ett praktiskt dilemma. Antingen lämnar de sina hemliga frågor till modellbolaget, vilket ökar risken för framtida läckor till träning, eller så begär de själva modellvikterna, som bolagen sällan vill lämna ut. Den dubbelblinda miljön skapar en tredje väg där båda tillgångarna stannar krypterade.
MLCommons bekräftar att organisationen använde en reserverad del av AILuminate och att AVERI körde frågorna mot en containeriserad DeepMind-modell. För banker, myndigheter och forskningsmiljöer pekar det mot tester där även användarens känsliga data kan hållas dold för modellleverantören.
Pilotens förtroendekedja är inte färdig
Rapporten beskriver också tydliga begränsningar. All Gemini-kod kunde inte granskas eller begränsas till en lista över tillåtna metoder. Byggena av Google Clouds gästsystem var inte oberoende reproducerbara, och Googles tjänster fanns kvar i kedjan som signerade och verifierade attestationen. AVERI accepterade upplägget för försöket.
Den största flaskhalsen var enligt rapporten dessutom avtal, samordning och manuell kodgranskning snarare än beräkningskostnad. Nästa tekniska steg är att skala från ett H100-kort till distribuerade, konfidentiella kluster.
DeepMind och fyra partner körde Gemini 2.5 Flash Lite mot privata testfrågor i en attesterad GPU-enklav. Modellvikterna och frågorna hölls åtskilda från motparten, men rapporten publicerar inga testresultat.
Oberoende utvärderare kan få en teknisk väg till slutna modeller utan att ge upp sina hemliga benchmarkfrågor, medan modellbolaget slipper lämna ut vikterna.
Det verkligt nya är inte ännu ett modellbetyg utan en möjlig infrastruktur för trovärdigare betyg. Piloten behöver dock upprepas med en annan modellägare och en mer oberoende verifieringskedja innan ”dubbelblind” kan tolkas som att Google helt har tagits ur förtroendet.
