Bilens förklaringar hjälpte människor att förutse dess misstag
I en riktig självkörande bil gav CW-Net föraren en bättre bild av när systemet kunde stanna, bromsa eller missa en cyklist.
En självkörande bil stannar framför en trafikkon. Säkerhetsföraren tar bort konen, men bilen står kvar. Först när bilens nya förklaringssystem visar att den fortfarande tolkar något framför sig som ett stoppat fordon blir felet begripligt.
Det är en av situationerna i en Nature-studie där forskare testade CW-Net i en riktig självkörande bil. Systemet kopplar bilens beslut till mänskligt läsbara begrepp som ”nära cyklist” och ”närmar sig stoppat fordon”. Förklaringen hämtas ur samma beräkningskedja som används för körbeslutet, i stället för att läggas ovanpå som en efterhandsbeskrivning.
Den befintliga körmodellen hade tränats på 80 timmars mänsklig körning. När CW-Net lades till ändrades de uppmätta köregenskaperna med mindre än en procent. Men delsystemet som kände igen begreppen var långt ifrån felfritt: den genomsnittliga träffsäkerheten var 54 procent och precisionen 23 procent.
Förklaringen ändrade förarens beslut
På en privat testbana prövades tre konkreta felhändelser. Vid parkerade bilar visade CW-Net vad som fick bilen att stanna, vilket hjälpte föraren att hitta en väg framåt. I ett annat fall avslöjade systemet att en kon utlöste en fantombromsning. När bilen stannade för en cyklist låg begreppet ”cykel” samtidigt nära noll. Föraren blev då mer försiktig, och forskarna kunde se att ett separat säkerhetssystem – inte den huvudsakliga körmodellen – hade stoppat bilen.
I en uppföljning förbättrade åtta av nio experter och 27 av 30 icke-experter sin bild av hur bilen fungerade. En separat studie med 99 giltiga svar använde inspelade körsituationer från Las Vegas. Där förbättrades deltagarnas lägesbild tydligast när bilen gjorde något oväntat. Vid rutinmässiga händelser syntes ingen statistiskt säkerställd effekt efter korrigering.
Ett lovande test, inte ett färdigt svar
Resultaten visar inte att förklaringar har löst säkerheten i självkörande bilar. Körningen på allmän väg skedde manuellt medan CW-Net körde i bakgrunden, och deltagarna bedömde inspelningar i efterhand. Studien gäller dessutom en särskild planeringsarkitektur, och modellvikter samt träningskod är inte offentliga.
Nästa viktiga test är därför om samma sorts förklaring hjälper en människa att agera rätt i ett verkligt övertagande – under tidspress och i andra fordonssystem.
Forskare testade CW-Net i en riktig självkörande bil. Förklaringarna hjälpte deltagare att förstå och förutse bilens beteende, särskilt när den gjorde något oväntat.
En bil som bara visar att den har fattat ett beslut lämnar människan att gissa varför. En förklaring som blottar vilka begrepp som faktiskt styr beslutet kan göra systemets begränsningar synliga i tid.
Det mest intressanta är inte att föraren började lita mer på bilen, utan att föraren blev mer försiktig när förklaringen visade ett hål. Bra maskinförklaringar ska inte främst lugna oss. De ska göra modellens gränser handlingsbara.
