Página 1 de 1

Alguien conoce un programa para bajar web en autoit

Publicado: 26 Mar 2010, 01:47
por Pablo2m
Hola, estoy por hacer un recolectador de direcciones web, el mismo entrara a una pagina e ira recorriendo sus subpaginas e ira recolectado los enlaces externos a la pagina en cuestion. Luego las procesara y las ordenara segun algun criterio.
Me parece bastante trabajo asi que queria saber si hay algun bajador de paginas web en autoit por algun lado cosa de poder usarlo de base.
Gracias
Pablo2m

Re: Alguien conoce un programa para bajar web en autoit

Publicado: 26 Mar 2010, 02:01
por gna08
Si, yo tengo uno, pero en mi pc, pero de seguro algunos de mis compañeros te va a saber responder, yo no me acuerdo ahora, pero algo de web wrapper o no se, espero te puedan ayudar,
saludos

Re: Alguien conoce un programa para bajar web en autoit

Publicado: 26 Mar 2010, 02:29
por XPyro
No e usado este tipo de programas pero te puede servir HTTrack que ademas de ser FreeWare me parece que es de Open Source:
http://www.httrack.com/

:smt006

Re: Alguien conoce un programa para bajar web en autoit

Publicado: 26 Mar 2010, 02:37
por Pablo2m
Creo que no me explique correctamente, quiero saber si algo hecho en autoit por que nesecito modificarlo con el fin de usarlo para otro proposito
Gracias

Re: Alguien conoce un programa para bajar web en autoit

Publicado: 26 Mar 2010, 03:12
por BasicOs
Hay algunos hechos en el foro, tendrías que buscar un poco, no me acuerdo cual era. No es dificil hacerlo ya que es bajar html y limpiar la paja.

Sino con las funciones _IE bajas y metes el código html dentro de una variable y con _stringbetween(), o bien con funciones de string como Strinsplit,etc... puedes gestionar los trozos.
Por ejemplo desde www. o "http" --> www.autoit.es hasta el primer espacio libre después sería la url ".autoit.es" . Luego los guardas en donde quieras.
Si vas a hacerte el código si puedes mostrarlo, no es dificil en si mismo, lo que puedes necesitar algunas horillas para afinarlo según tus gustos.

Si puedes publicar un poco de código vamos viendo. :) :smt026 :smt026
Salu2:)

Re: Alguien conoce un programa para bajar web en autoit

Publicado: 26 Mar 2010, 09:29
por Ximorro
Puedes usar _IELinkGetCollection que te da los link de una página, así empezando de la primera recoges todos sus links y te los bajas, analizándolos de la misma manera y repitiendo el proceso.

La estructura es recursiva pero AutoIT tiene recursividad limitada (sí tiene, pero corres el riesgo de llevarla al límite), así que te recomiendo ir guardando los link a procesar en una array que funcione como una estructura de pila, por ejemplo.

Tendrás que controlar qué enlaces has bajado ya, para no volver a procesarlos y no entrar en círculos sin fin.
También tendrás que analizar cada enlace para ignorar páginas de dominio diferente al inicial, ¡no te vayas a bajar toda la internet! :smt003

Oye cuando lo tengas postea el código, puede ser muy interesante. Si lo haces potito incluso me plantearía el tema de los programas para concurso...

Re: Alguien conoce un programa para bajar web en autoit

Publicado: 27 Mar 2010, 00:53
por Pablo2m
En unos dias les cuento que tal andubo la cosa
Saludos

Re: Alguien conoce un programa para bajar web en autoit

Publicado: 01 Abr 2010, 02:04
por Pablo2m