Startseite / Beiträge / Forschung
Die letzte Tasse auf dem Tisch
Frühstück abräumen wirkt einfach, bis ein Roboter es versucht. Eine Tasse zeigt, was physische KI über Hilfe im wechselnden Alltag noch lernen muss.
Robotik und KI1 / 4
Sie wollen aus dem Haus, doch das Frühstück steht noch da. Zwei Teller werden gestapelt, eine leere Tasse kommt zur Spüle, der halbvolle Kaffee bleibt stehen. In Gedanken sind Sie längst beim Tag. Mittags werden Sie sich an das Abräumen kaum erinnern.
Übergeben wir diese kleine Aufgabe einem Roboter, werden die unausgesprochenen Einzelheiten schwierig. Welche Tasse ist leer? Hält der Teller einen zweiten? Klemmt das Tuch darunter? Mich interessiert an physischer KI dieser Weg: von einer verstandenen Bitte zu einer Hilfe, die im Alltag tatsächlich entlastet.
Das meiste sagen wir gar nicht
„Räum den Tisch ab“ genügt uns, weil wir viel Hintergrund teilen. Das Notizbuch soll trocken bleiben, jemand kommt vielleicht zum Kaffee zurück. Der Roboter bekommt die Worte, ohne den Morgen miterlebt zu haben. Selbst wenn er alle Gegenstände erkennt, bleibt unsere Absicht teilweise offen.
Die Tasse kann wie gestern aussehen, während ihr Henkel anders steht oder ein Tuch darunterliegt. Wir greifen anders und machen weiter. Bei der Maschine reicht die Änderung vom Kamerabild bis zur Kraft an den Fingern. Ein schlüssiger Plan garantiert noch keinen gelungenen Griff.
In der Szene verändert die Position der Tasse den Platz für den Arm. Eine sorgfältig vorbereitete Vorführung kann solche Details ausblenden. Zu Hause sind sie der Normalfall. Die Küche erst robotergerecht herzurichten, bevor der Roboter sie aufräumt, wäre wenig Entlastung.
Gleiche Anweisung, anderer Tisch
Wähle die Situation. Armstellung und Erklärung ändern sich gemeinsam.
Der erste Versuch hat freien Zugang.
- Was hat sich geändert?
- Die Tasse steht am erwarteten Ort.
- In diesem Beispiel
- Der Arm nutzt den vertrauten Weg.
- Bedeutung für die Arbeit
- Ein Ausgangstest vor Veränderungen.
Der alte Ansatz genügt nicht mehr.
- Was hat sich geändert?
- Tasse und Hindernis verändern den Zugang.
- In diesem Beispiel
- Der dargestellte Arm richtet sich neu aus.
- Bedeutung für die Arbeit
- Die Aufgabe braucht neue Beobachtung und Annäherung.
Ein Rückzug hält die offene Aufgabe beherrschbar.
- Was hat sich geändert?
- Der Ansatz eignet sich nicht zur Fortsetzung.
- In diesem Beispiel
- Der Arm zieht sich zurück.
- Bedeutung für die Arbeit
- Vor dem nächsten Versuch kann gezielt geholfen werden.
Eine Küche liefert noch nicht genug Erfahrung
Hier setzt die Forschung an. RT-2 untersucht, wie Bild- und Sprachwissen die Auswahl von Aktionen unterstützt. Open X-Embodiment vereint Erfahrungen verschiedener Roboterkörper. Beide wenden sich gegen dieselbe Grenze: Eine gelernte Fähigkeit kann am Trainingsort überzeugen und anderswo schnell scheitern. [1] [2]
DROID sammelt deshalb Vorführungen in unterschiedlichen realen Umgebungen. Das passt zum Problem: Eine Wohnung ist keine Reihe von Objekten vor neutralem Hintergrund. Licht und freie Flächen wechseln, Dinge landen dort, wo gerade Platz ist. Erfahrung muss auch diese Unordnung enthalten. [3]
Die π0.5-Arbeit von Physical Intelligence untersucht Hausarbeiten in neuen Wohnungen. Die berichteten Erfolge sind ermutigend, weil eine andere Wohnung viele Einzelheiten zugleich verändert. Fehlschläge zeigen ebenfalls, wie weit eine Fähigkeit trägt. Beim Lesen denke ich vor allem an den nächsten unbekannten Raum. [4]
Und wenn die Tasse rutscht?
Zurück am Tisch: Der Griff geht daneben. Die Tasse bleibt stehen, der Arm beendet seine Bewegung. Mensch und Maschine können nun unterschiedliche Vorstellungen vom Arbeitsstand haben. Für den Menschen steht die Tasse noch da; ein System, das nur seine Bewegungsfolge abarbeitet, plant vielleicht schon weiter.
Darum gehört erneutes Hinsehen zur Fähigkeit. Der Roboter muss bemerken, dass die erwartete Veränderung ausgeblieben ist. Ein verfehlter Griff muss nicht die ganze Aufgabe verderben. Anstrengend wird es, wenn ein Mensch jede Bewegung überwachen muss, um übersehene Fehler aufzufangen.
Manchmal ist eine konkrete Bitte um Hilfe der nächste Schritt: Der Henkel ist unerreichbar oder das Tuch muss weg. So helfen Menschen einander auch. Eine verständliche Bitte ermöglicht einen kleinen Eingriff, statt die ganze Arbeit zurückzugeben. Der Ablauf unten lässt Platz für diesen zweiten Blick.
Der Tasse durch die Aufgabe folgen
Ein geschlossener Beobachtungs- und Handlungszyklus
- Beobachten
Szene und Anweisung gemeinsam betrachten.
- Wählen und handeln
Eine zu den aktuellen Bedingungen passende Bewegung wählen.
- Prüfen und erholen
Erneut beobachten, fortsetzen, korrigieren oder Hilfe anfordern.
Die Minuten, die wir zurückgewinnen möchten
Roboter werden gern nach ihrer schwierigsten Leistung beurteilt. Bei Hilfe zu Hause frage ich mich eher: Worum muss sich der Mensch nicht mehr kümmern? Kann er telefonieren oder sich fertig machen, ohne an die nächste Tasse zu denken? Dann beginnt die Maschine, tatsächlich etwas zurückzugeben.
Die Arbeiten versprechen diesen Morgen noch nicht. Sie zeigen aber seine Zutaten: Erfahrung jenseits eines Aufbaus, die Verbindung von Verstehen und Bewegung sowie Erholung nach kleinen Änderungen. Einzeln wirkt das unspektakulär. Zusammen entscheidet es, ob die Hilfe auch nach der Vorführung bleibt.
Die letzte Tasse ist ein bescheidener Anfang. Gerade deshalb gefällt sie mir: Jeder versteht, was noch zu tun ist. Dahinter steht ein größerer Wunsch – eine Maschine, die genug über eine wechselnde Welt lernt, um uns eine Arbeit abzunehmen, die wir gern abgeben würden.
Die Forschung hinter dem Beitrag
| Zum Weiterlesen | Der hilfreiche Gedanke | Die nächste Frage |
|---|---|---|
| RT-2 · 2023 | Verbindet visuelles und sprachliches Wissen mit der Vorhersage von Roboteraktionen. | Welche physischen Veränderungen übersteht dieser Wissenstransfer? |
| Open X-Embodiment · 2023 | Führt Erfahrungen verschiedener Roboterbauformen in einer gemeinsamen Forschungsressource zusammen. | Was muss für einen neuen Roboter und eine neue Aufgabe angepasst werden? |
| DROID · 2024 | Erweitert Manipulationsdaten um vielfältige reale Szenen und Aufgaben. | Verbessert die Vielfalt die für unseren Einsatz relevanten Verhaltensweisen? |
Quellen
- RT-2: Vision-Language-Action Models robotics-transformer2.github.io
- Open X-Embodiment: Robotic Learning Datasets and RT-X Models robotics-transformer-x.github.io
- DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset droid-dataset.github.io
- Physical Intelligence: π0.5, a VLA with Open-World Generalization pi.website