LLM save screen and Action

[BasicOs]

Hola,

It is a project that keeps doing screensaves of the windows and sends to the LLM. Then perform the desired actions as you were typing and sitting in front of the PC.
Es un proyecto interesante que va haciendo screensaves y los envia al LLM. Con lo que el LLM sabe lo que hay en la pantalla, y va entonces enviando inputs de ratón y teclado para ejecutar las acciones deseadas por el usuario.


Open Interface Keyboard/mouse BOT

Salu2:)

[BasicOs]

Por que no hacer un Devin en Autoit? un tipo de leer pantallas screensave, ejecutar, fallo, error
​
 Why not to make a Devin in autoit. Kind of recursive read savescreens ->execute, fail/error.

Alguien le gusta este proyecto? Parece dificil?
Someone wants to start this project? or Is it too hard?

Mira a este esquema dentro del video que explica como va el luchador.
Have a look at this schema graph inside this video how the Ai fighter works: https://youtu.be/CGV0MlnOd30
 

Salu2:)
 


​

[BasicOs]

Aquí habla de como está fabricado Devin. Con screen saves
How was created Devin
https://twitter.com/OpenAIDevs/status/1 ... 88634?s=19

Salu:

[BasicOs]

Una forma practica de llevar estas ideas al mundo real es ProBot: automatizaciones con IA para empresas que necesitan ordenar tareas, conectar herramientas y reducir trabajo manual.

ProBot ayuda a empresas a automatizar tareas reales con IA, conectando webs, formularios, documentos, chats y procesos internos para ahorrar tiempo, reducir errores y convertir trabajos repetitivos en sistemas inteligentes.

Creamos automatizaciones con IA para empresas que quieren ahorrar tiempo, ordenar procesos y trabajar mejor sin depender de tareas manuales.

https://probot.bot/

[BasicOs]

Más ejemplo del macro recorder

Que os parece controlar el programa de claude con autoit y autorellenar los prompts desde un correo electrónico donde yo de las órdenes y que el tu programa lea el email.

O bien que haya una bajada de precio de un producto y el ordenador automáticamente te compre el producto sin hacer nada. O que te envié un email preguntandote si quieres comprarlo y contestando el email te haga la compra del producto o entrada del concierto sin que se agote.

Más ejemplos de uso de control del ordenador por la IA:
*Los captchas están muertos.
*puedes automatizar el teléfono móvil desde el ordenador, el WhatsApp o las redes sociales si lo trucas con. AUTOIT. ESTO ES UN PEGAMENTO para tus programas de autoit.
*Scrapear
*pedir un Uber o una pizza
*Rellenar formularios y altas en listas de espera
*Testear tus programas e interfaces.

Casos de control de tu pc por la IA

Cuando lo va a sacar Openai?

Pon tus casos de uso y escribe tus usos en este tópico.
Envía prompts con send() de autoit a la ventana de la IA según las circunstancias y usa la IA completa como una función external izada para autoit


Comparte tu código.

Salu2

Estamos viviendo una época loca para los automatizadores
Como instalarlo: https://x.com/dr_cintas/status/1849466285958017425?s=19