Sofrada kalan son bardak

Evden çıkmak üzeresiniz ama kahvaltı sofrası hâlâ duruyor. İki tabağı üst üste koyup lavaboya götürüyor, boş bardağı alıyor, yarısı içilmiş kahveyi yerinde bırakıyorsunuz. Aklınız çoktan günün geri kalanında. Öğlene doğru, masayı nasıl topladığınızı büyük ihtimalle hatırlamayacaksınız bile.

Şimdi bu küçük işi bir robota bıraktığınızı düşünün. Söylemeye ihtiyaç duymadığınız ayrıntılar birden işin en zor kısmına dönüşüyor. Hangi bardak boş? Tabağın üstüne bir tabak daha konabilir mi? Bez, kaldırılacak şeyin altına sıkışmış mı? Fiziksel yapay zekâda beni en çok bu mesafe düşündürüyor: bir isteği anlamakla, birinin gününü gerçekten kolaylaştırmak arasındaki mesafe.

Söylemediğimiz ne çok şey var

“Masayı topla” bize yeterli bir cümle gibi geliyor; çünkü gerisini ortak bir hayat bilgisiyle tamamlıyoruz. Defterin ıslanmaması gerektiğini biliyoruz. Biraz önce masadan kalkan kişinin kahvesine dönebileceğini de. Robot ise sabahın içinde yaşamadan yalnızca cümleyi alıyor. Masadaki her nesneyi tanısa bile, bizim ne kastettiğimizi anlamak için hâlâ eksikleri var.

Bir de bardağın kendisi var. Dünküyle aynı görünebilir ama kulpu ters dönmüştür ya da bu kez altında bir bez vardır. Biz tutuşumuzu değiştirip devam ederiz. Makine içinse o küçük fark, kamera görüntüsünden parmakların uyguladığı kuvvete kadar bütün işi etkileyebilir. Planın kâğıt üzerinde doğru olması, bardağın sorunsuz kalkacağı anlamına gelmiyor.

Aşağıdaki sahnede bardak yer değiştirince kolun yaklaşabileceği alan da değişiyor. Özenle hazırlanmış bir gösteride böyle ayrıntılar gözden kaçabilir. Evdeyse hayat zaten bunlardan oluşuyor. Mutfağı robot toplasın diye önce bizim robota uygun bir mutfak hazırlamamız, beklediğimiz yardım sayılmaz.

Şekil 1

Talimat aynı, masa değişti

Masada ne olduğunu seçin. Kolun duruşuyla alttaki açıklama birlikte değişiyor.

Bir durum seçin

Alıştığı düzenMasa değiştiGeri çekil, yeniden bak

1. GözlemleNesne, temas ve hareket alanı
2. Hareket etUlaşılabilir bir hareket seç
3. Yeniden bakSonucu görevle karşılaştır

İlk denemede yaklaşma yolu açık.

Ne değişti?

Bardak beklenen yerde.

Bu örnekte

Kol, alıştığı yoldan yaklaşıyor.

İşe etkisi

Henüz koşullar değişmeden gördüğümüz başlangıç denemesi.

Eski yaklaşımı tekrarlamak artık yeterli değil.

Ne değişti?

Bardak kayıyor, bir nesne yaklaşma yolunu daraltıyor.

Bu örnekte

Örnekte kol, değişen konuma doğru yöneliyor.

İşe etkisi

İş, yeni gözlem ve yeni yaklaşım gerektiriyor.

Geri çekilmek, yarım kalan işi yönetilebilir tutabilir.

Ne değişti?

Yaklaşma yolu devam etmeye uygun değil.

Bu örnekte

Kol, hareketi zorlamak yerine geri çekiliyor.

İşe etkisi

İnsan, yeni denemeden önce belirli bir sorunu çözebilir.

Tek bir mutfakta öğrenmek yetmiyor

Araştırmaların heyecan verici tarafı burada başlıyor. RT-2, görüntülerden ve dilden öğrenilen bilginin robotun hareket seçimine nasıl yardım edebileceğini inceliyor. Open X-Embodiment, farklı yapıdaki robotların deneyimlerini bir araya getiriyor. İkisi de tanıdık bir soruna dokunuyor: bir beceri, öğretildiği yerde etkileyici görünürken birkaç adım ötede kırılganlaşabiliyor. ^{[1] [2]}

DROID ise farklı gerçek ortamlarda yapılan işleri kaydederek bu sınırı genişletmeye çalışıyor. Bu tercihi önemli buluyorum. Ev dediğimiz şey, sade bir arka planın önüne dizilmiş nesnelerden ibaret değil. Işık değişiyor, tezgâh doluyor, insanlar eşyaları o anda yer buldukları yere bırakıyor. Robotun deneyiminde bu düzensizliğin de bir karşılığı olması gerekiyor. ^[3]

Physical Intelligence’ın π0.5 çalışması, soruyu daha önce görülmemiş evlerdeki ev işlerine taşıyor. Raporlanan başarıların ilgi çekici yanı da bu: ev değişince aynı anda pek çok ayrıntı değişiyor. Başarısızlıklar da öğrenilen becerinin nereye kadar taşınabildiğini gösteriyor. Bu çalışmaları okurken aklım tek bir etkileyici harekette değil, robotun gireceği bir sonraki yabancı odada kalıyor. ^[4]

Peki ya bardak kayarsa?

Masaya geri dönelim. Robot bardağı tutamıyor; bardak yerinde kalıyor, kol ise hareketini tamamlıyor. O anda makineyle onu izleyen insan aynı işi farklı görüyor olabilir. İnsan için masada hâlâ kaldırılacak bir bardak var. Yalnızca planladığı hareketi takip eden sistemse sıradaki adıma geçmiş bile olabilir.

Bu yüzden yeniden bakmak da becerinin bir parçası. Robot, küçük hata başka bir soruna dönüşmeden, beklediği değişikliğin olmadığını fark edebilmeli. Tek bir tutuşun kaçması bütün işi mahvetmez. Yorucu olan, makinenin kaçırdığını yakalamak için bir insanın her hareketi gözlemek zorunda kalması.

Bazen işin doğal devamı yardım istemektir: kulpa ulaşılamıyordur ya da önce bezin çekilmesi gerekiyordur. Biz de birbirimizden böyle küçük yardımlar isteriz. İstek anlaşılır olduğunda kişi bütün işi devralmak zorunda kalmaz; o ayrıntıyı çözüp kendi işine dönebilir. Aşağıdaki döngüde hareketten sonra yeniden bakmaya yer ayırmamızın nedeni bu.

Şekil 2

Bardağın peşinden, işin sonuna kadar

Gözlemle yeniden başlayan döngü

1. 01Gözlemle

   Sahneyi ve talimatı birlikte ele al.

   ↓
2. 02Seç ve uygula

   O anki koşullara uygun hareketi seç.

   ↓
3. 03Kontrol et, toparlan

   Yeniden gözlemle; devam et, düzelt veya yardım iste.

Bize kalan birkaç dakika

Bir robotu yapabildiği en zor işle değerlendirmek cazip. Evde yardım söz konusu olduğunda benim aklıma daha sade bir soru geliyor: İnsan artık neyi düşünmek zorunda kalmayacak? Yan odada telefonla konuşabilecek mi? Hazırlanmaya devam edebilecek mi? Sıradaki bardağın sorun çıkarıp çıkarmayacağını merak etmiyorsa, makine gerçekten bir şey kazandırmaya başlamış demektir.

Yukarıdaki çalışmalar o sabahın hazır olduğunu söylemiyor. Ama ona nasıl yaklaşabileceğimizi daha iyi gösteriyor: tek bir düzeneğin dışına taşan deneyim, anlamayla hareket arasındaki bağ ve küçük bir değişiklikten sonra toparlanabilmek. Bunların hiçbiri tek başına çok gösterişli değil. Bir araya geldiklerinde ise yardımın, tanıtım videosu bittikten sonra da sürüp sürmeyeceğini belirliyorlar.

Sofrada kalan son bardak küçük bir başlangıç; bu yüzden seviyorum. Neyin eksik kaldığını herkes anlayabiliyor. Arkasındaki hedefse çok daha büyük: değişen dünyayı, bizim gönül rahatlığıyla bırakabileceğimiz bir işi üstlenecek kadar öğrenen bir makine.

Şekil 3

Yazının arkasındaki çalışmalar

İlgili çalışma	Bize ne anlatıyor?	Buradan çıkan soru
RT-2 · 2023	Bize ne anlatıyor? Görüntü ve dil bilgisini robotun eylem tahminine bağlıyor.	Buradan çıkan soru Bu bilgi aktarımı hangi fiziksel değişikliklere dayanıyor?
Open X-Embodiment · 2023	Bize ne anlatıyor? Farklı yapıdaki robotların deneyimlerini ortak bir araştırma kaynağında topluyor.	Buradan çıkan soru Yeni robot ve görev için neyi ayrıca uyarlamak gerekiyor?
DROID · 2024	Bize ne anlatıyor? Nesne kullanma verilerini çeşitli gerçek ortam ve görevlere yayıyor.	Buradan çıkan soru Veri çeşitliliği, hedeflediğimiz işte önemli olan davranışları iyileştiriyor mu?

Kaynaklar

1. RT-2: Vision-Language-Action Models robotics-transformer2.github.io
2. Open X-Embodiment: Robotic Learning Datasets and RT-X Models robotics-transformer-x.github.io
3. DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset droid-dataset.github.io
4. Physical Intelligence: π0.5, a VLA with Open-World Generalization pi.website