Cradle: Empowering Foundation Agents towards General Computer Control

agents.github.io/Cradle Everyday I n f o r m a t i o n G a t h e r i n g A c t i o n P l a n n i n g T a s k I n f e r e n c e S k i l l C u r a t i o n S e l f -R e f l e c t i o n R e t r i e v e d S k i l l s : [' a i m ' ,' f o l l o w ' ,' t u r n ' ,' m o v e _ f o r w a r d ' ,'s h o w _ w e a p o n _ w h e e l ' . . . ]L a s t A c t i o n : t a k e _ c o v e r ( ) P r e v i o u s T a s k : P r e s s [ Q ] t o t a k e c o v e r . T h e l a s t a c t i o n w a s e x e c u t e d s u c c e s s f u l l y , a n d t h e t a s k i s c o m p l e t e d s i n c e n e w g u i d a n c e a p p e a r s . H o l d [ T A B ] t o s h o w t h e W e a p o n W h e e l . s h o w _ w e a p o n _ w h e e l ( ) H o l d [ T A B ] t o s h o w t h e W e a p o n W h e e l . G e n e r a t e d S k i l l : d e f s h o w _ w e a p o n _ w h e e l ( ) : i o _ e n v . k e y _ h o l d (' t a b ' )G u i d a n c e : # S e l e c t s p a r s n i p s e e d s f r o m t h e t o o l b a r . s e l e c t _ t o o l (k e y =' 6 ' ) # P l a n t s p a r s n i p s e e d s o n t h e t i l l e d s o i l . d o _ a c t i o n ( ) R e t r i e v e d S k i l l s : [' m o v e _ u p ' ,' m o v e _ d o w n ' ,' m o v e _ l e f t ' ,' m o v e _ r i g h t ' ,' s e l e c t _ t o o l ' ,' d o _ a c t i o n ' . .