Alguien conoce un programa para bajar web en autoit

Tus experiencias con la informática, o fuera de la informática
Responder
Pablo2m
Hacker del Foro
Mensajes: 88
Registrado: 28 May 2008, 21:16
Ubicación: Agentina

Alguien conoce un programa para bajar web en autoit

Mensaje por Pablo2m »

Hola, estoy por hacer un recolectador de direcciones web, el mismo entrara a una pagina e ira recorriendo sus subpaginas e ira recolectado los enlaces externos a la pagina en cuestion. Luego las procesara y las ordenara segun algun criterio.
Me parece bastante trabajo asi que queria saber si hay algun bajador de paginas web en autoit por algun lado cosa de poder usarlo de base.
Gracias
Pablo2m
Avatar de Usuario
gna08
Hacker del Foro
Mensajes: 379
Registrado: 27 Sep 2008, 18:51
Ubicación: Cordoba, Argentina

Re: Alguien conoce un programa para bajar web en autoit

Mensaje por gna08 »

Si, yo tengo uno, pero en mi pc, pero de seguro algunos de mis compañeros te va a saber responder, yo no me acuerdo ahora, pero algo de web wrapper o no se, espero te puedan ayudar,
saludos
Aunk no m Buskes, Seguro m enkontras!
Avatar de Usuario
XPyro
Profesional del Autoit
Mensajes: 542
Registrado: 04 Mar 2007, 10:12
Ubicación: México
Contactar:

Re: Alguien conoce un programa para bajar web en autoit

Mensaje por XPyro »

No e usado este tipo de programas pero te puede servir HTTrack que ademas de ser FreeWare me parece que es de Open Source:
http://www.httrack.com/

:smt006
Imagen
Pablo2m
Hacker del Foro
Mensajes: 88
Registrado: 28 May 2008, 21:16
Ubicación: Agentina

Re: Alguien conoce un programa para bajar web en autoit

Mensaje por Pablo2m »

Creo que no me explique correctamente, quiero saber si algo hecho en autoit por que nesecito modificarlo con el fin de usarlo para otro proposito
Gracias
Avatar de Usuario
BasicOs
Site Admin
Mensajes: 2086
Registrado: 21 Nov 2006, 19:24
Ubicación: El Internet - (Canarias, España)
Contactar:

Re: Alguien conoce un programa para bajar web en autoit

Mensaje por BasicOs »

Hay algunos hechos en el foro, tendrías que buscar un poco, no me acuerdo cual era. No es dificil hacerlo ya que es bajar html y limpiar la paja.

Sino con las funciones _IE bajas y metes el código html dentro de una variable y con _stringbetween(), o bien con funciones de string como Strinsplit,etc... puedes gestionar los trozos.
Por ejemplo desde www. o "http" --> www.autoit.es hasta el primer espacio libre después sería la url ".autoit.es" . Luego los guardas en donde quieras.
Si vas a hacerte el código si puedes mostrarlo, no es dificil en si mismo, lo que puedes necesitar algunas horillas para afinarlo según tus gustos.

Si puedes publicar un poco de código vamos viendo. :) :smt026 :smt026
Salu2:)
Avatar de Usuario
Ximorro
Profesional del Autoit
Mensajes: 1500
Registrado: 10 Jul 2009, 12:35
Ubicación: Castellón, España

Re: Alguien conoce un programa para bajar web en autoit

Mensaje por Ximorro »

Puedes usar _IELinkGetCollection que te da los link de una página, así empezando de la primera recoges todos sus links y te los bajas, analizándolos de la misma manera y repitiendo el proceso.

La estructura es recursiva pero AutoIT tiene recursividad limitada (sí tiene, pero corres el riesgo de llevarla al límite), así que te recomiendo ir guardando los link a procesar en una array que funcione como una estructura de pila, por ejemplo.

Tendrás que controlar qué enlaces has bajado ya, para no volver a procesarlos y no entrar en círculos sin fin.
También tendrás que analizar cada enlace para ignorar páginas de dominio diferente al inicial, ¡no te vayas a bajar toda la internet! :smt003

Oye cuando lo tengas postea el código, puede ser muy interesante. Si lo haces potito incluso me plantearía el tema de los programas para concurso...
"¿Y no será que en este mundo hay cada vez más gente y menos personas?". Mafalda (Quino)
Pablo2m
Hacker del Foro
Mensajes: 88
Registrado: 28 May 2008, 21:16
Ubicación: Agentina

Re: Alguien conoce un programa para bajar web en autoit

Mensaje por Pablo2m »

En unos dias les cuento que tal andubo la cosa
Saludos
Pablo2m
Hacker del Foro
Mensajes: 88
Registrado: 28 May 2008, 21:16
Ubicación: Agentina

Re: Alguien conoce un programa para bajar web en autoit

Mensaje por Pablo2m »

Responder