LLM save screen and Action

Sharing for Developers, programms, APIs, DBs, trends

Compartir para Desarrolladores, programas, APIs, Dbs y tendencias

Sugerencia traduce tu post en inglés además del español para hacerlo más global
Suggestions : translate your post in Spanish also to make more accesible. Thanks
Responder
Avatar de Usuario
BasicOs
Site Admin
Mensajes: 2076
Registrado: 21 Nov 2006, 19:24
Ubicación: El Internet - (Canarias, España)
Contactar:

LLM save screen and Action

Mensaje por BasicOs »

Hola,

It is a project that keeps doing screensaves of the windows and sends to the LLM. Then perform the desired actions as you were typing and sitting in front of the PC.
Es un proyecto interesante que va haciendo screensaves y los envia al LLM. Con lo que el LLM sabe lo que hay en la pantalla, y va entonces enviando inputs de ratón y teclado para ejecutar las acciones deseadas por el usuario.
:smt020 :smt020

Open Interface Keyboard/mouse BOT

Salu2:)
Avatar de Usuario
BasicOs
Site Admin
Mensajes: 2076
Registrado: 21 Nov 2006, 19:24
Ubicación: El Internet - (Canarias, España)
Contactar:

Re: LLM save screen and Action

Mensaje por BasicOs »

Por que no hacer un Devin en Autoit? un tipo de leer pantallas screensave, ejecutar, fallo, error

 Why not to make a Devin in autoit. Kind of recursive read savescreens ->execute, fail/error.

Alguien le gusta este proyecto? Parece dificil?
Someone wants to start this project? or Is it too hard?

Mira a este esquema dentro del video que explica como va el luchador.
Have a look at this schema graph inside this video how the Ai fighter works: https://youtu.be/CGV0MlnOd30
 

Salu2:)
 


Avatar de Usuario
BasicOs
Site Admin
Mensajes: 2076
Registrado: 21 Nov 2006, 19:24
Ubicación: El Internet - (Canarias, España)
Contactar:

Re: LLM save screen and Action

Mensaje por BasicOs »

Aquí habla de como está fabricado Devin. Con screen saves
How was created Devin
https://twitter.com/OpenAIDevs/status/1 ... 88634?s=19

Salu:
Responder