MIT:s FLEX får robotar att läsa mellan raderna i kommandon
Pipeline: Add, Generalize, Mask. GPT-4o används för generalisering. Presenteras på CoRL.
MIT och New York University visar FLEX, en pipeline där en robotarm tar emot naturliga språkkommandon, följer dem bokstavligt och dessutom generaliserar dem till bredare preferenser i rörelseplaneringen.

I ett simulerat exempel bär roboten en kaffekopp över ett rörigt bord. Personen skriver Don't spill on the laptop. Via en stor språkmodell resonerar systemet om varför laptopen ska undvikas och uppdaterar banan så att även en närliggande telefon undviks, utan att personen nämner den.
Tre steg
- Add: kommandot lägger till en relevant egenskap i listan över saker som spelar roll, till exempel muggen när någon säger Don't drop it on my mug.
- Generalize: en LLM (i studien GPT-4o) letar mönster bland angivna egenskaper och drar en bredare regel, till exempel undvik sköra föremål.
- Mask: datorseendet tar bort objekt som inte längre finns i miljön från listan.
Hela loopen tar enligt forskarna omkring fem sekunder. I simulering testades tre uppgifter: servera kaffe, flytta ett ljus och bära ett bowlingklot, med kommandon som Don't spill on my laptop, Stay away from the stack of paper och Don't drop on the mug. Med FLEX undvek roboten elektronik, brandfarliga objekt respektive sköra saker.
Arbetet leds av Andreea Bobu, biträdande professor vid MIT, med medförfattarna Audrey Lee (MIT) och Ilia Sucholutsky (NYU). Studien presenteras på Conference on Robot Learning. Nathan Dennler, postdoktor i MIT CSAIL och CLEAR Lab, beskriver gränssnittet som ett sätt att säga: när människor säger det här menar de det där.