LLM save screen and Action

[BasicOs]

Hola,

It is a project that keeps doing screensaves of the windows and sends to the LLM. Then perform the desired actions as you were typing and sitting in front of the PC.
Es un proyecto interesante que va haciendo screensaves y los envia al LLM. Con lo que el LLM sabe lo que hay en la pantalla, y va entonces enviando inputs de ratón y teclado para ejecutar las acciones deseadas por el usuario.


Open Interface Keyboard/mouse BOT

Salu2:)

[BasicOs]

Por que no hacer un Devin en Autoit? un tipo de leer pantallas screensave, ejecutar, fallo, error
​
 Why not to make a Devin in autoit. Kind of recursive read savescreens ->execute, fail/error.

Alguien le gusta este proyecto? Parece dificil?
Someone wants to start this project? or Is it too hard?

Mira a este esquema dentro del video que explica como va el luchador.
Have a look at this schema graph inside this video how the Ai fighter works: https://youtu.be/CGV0MlnOd30
 

Salu2:)
 


​

[BasicOs]

Aquí habla de como está fabricado Devin. Con screen saves
How was created Devin
https://twitter.com/OpenAIDevs/status/1 ... 88634?s=19

Salu:

[BasicOs]

Esto es de hoy 24/10/24. lo han hecho el PC AUTONOMO CON AUTO MACROS PROMPTS
Claude utiliza el ordenador como lo haría una persona:

• mirando la pantalla,
  moviendo el cursor, MouseMove()
  pulsando botones MouseClick()
  escribiendo texto. Send()
  instalando y ejecutando programas. Shell() Execute()

Claude 3.5 Sonnet es el primer modelo de IA de frontera que ofrece el uso de ordenadores en beta pública.



Cuanto tiempo tardará Chatgpt en sacarlo?

Es un macrogenerador hecho con inteligencia articial y que funciona con prompts.

Realmente en este tópico se veía venir lo de que pusieran una autoit debajo del sistema o con SaveScreens, y entonces fuera un agente autonomo de manejo del ordenador.
Es decir puedes decirle al ordenador que haga lo que quieras sin que tu lo hagas. En breve desde el sofá: Abre este documento de word y prepara un informe de una venta

Se puede hacer con Autoit realmente también pero igual han utililzado el código fuente de un clon de autoit.. Quien sabe? jeje..

https://youtu.be/ODaHJzOyVCQ?t=46

Ahora tienes un PC que va solo.. das ordenes y obedece, pero las redes sociales están bloqueadas:
ponme un twitter en mi cuenta sobre un tema que me interese, porque lo han capado para limitar el Spam.

Pero puedes decirle buscame un archivo *.docx o bien busca en google tal cosa o incluso, abre el Chatgpt y dame información de otra.

A disfrutar,
Salu22:)

[BasicOs]

Más ejemplo del macro recorder

Que os parece controlar el programa de claude con autoit y autorellenar los prompts desde un correo electrónico donde yo de las órdenes y que el tu programa lea el email.

O bien que haya una bajada de precio de un producto y el ordenador automáticamente te compre el producto sin hacer nada. O que te envié un email preguntandote si quieres comprarlo y contestando el email te haga la compra del producto o entrada del concierto sin que se agote.

Más ejemplos de uso de control del ordenador por la IA:
*Los captchas están muertos.
*puedes automatizar el teléfono móvil desde el ordenador, el WhatsApp o las redes sociales si lo trucas con. AUTOIT. ESTO ES UN PEGAMENTO para tus programas de autoit.
*Scrapear
*pedir un Uber o una pizza
*Rellenar formularios y altas en listas de espera
*Testear tus programas e interfaces.

Casos de control de tu pc por la IA

Cuando lo va a sacar Openai?

Pon tus casos de uso y escribe tus usos en este tópico.
Envía prompts con send() de autoit a la ventana de la IA según las circunstancias y usa la IA completa como una función external izada para autoit


Comparte tu código.

Salu2

Estamos viviendo una época loca para los automatizadores
Como instalarlo: https://x.com/dr_cintas/status/1849466285958017425?s=19