Utilisation de wget

par **ninuxien** » 23 Mars 2005 11:34

Bonjour
Je suis en train d'experimenter le DL de fichiers via wget
Bien sur je l'ai deja utilisé, mais aujourd'hui je voudrais utiliser une fonction supplémentaire afin de DL beaucoup de fichiers
Le probleme que j'ai est que le serveur distant ne permet qu'une connexion par IP
Je voudrais donc savoir s'il était possible de passer à wget une liste de téléchargement mais qu'il ne les DL pas tous d'un coup mais plutot les uns apres les autres

par **jdh** » 23 Mars 2005 11:58

Je ne crois pas qu'il soit possible de fournir une liste à wget.

Par contre un petit script bash doit pouvoir faire l'affaire :

Code: Tout sélectionner: #!/bin/bash # liste=(nom du fichier contenant la liste) cat $liste | while read fichier do wget $fichier done

Ca ne me parait assez raisonnable.

par **bobyII** » 23 Mars 2005 12:00

Salut,

en faisant un "wget --help", je vois qu'on peut lui fournir une liste de fichier a DL (-i MaListe)... a creuser donc ... sinon, le petit bash est aussi une solution simple.

par **jdh** » 23 Mars 2005 12:07

Ok BobyII : toujours regarder le man de la commande !

wget permet directement de downloader plusieurs URL sur la ligne de commande mais peut même prendre la liste des URL dans un fichier (param "-i") (tu le mentionnes).

Par contre il n'est pas précisé comment sont traités les download : en simultané ou en successif.

Donc aucun besoin de script bash. J'ai été trop vite !

par **ninuxien** » 23 Mars 2005 12:32

Merci à vous deux
J'ai ecris un pti bash et ca marche pas mal
Je vais voir l'option i pour la prochaine fois

par **Fesch** » 23 Mars 2005 16:55

He, autre chose, si cela t'intéresse .... regarde un peu http://www.fesch.lu/redoma

;-)

par **bobyII** » 25 Mars 2005 12:02

Oui oui, ce projet n'était il pas parti de ce post ?...

http://forums.fr.ixus.net/viewtopic.php ... highlight=

par **Fesch** » 25 Mars 2005 12:06

Si si

par **criterium** » 10 Avr 2005 17:06

Bonjour à tous,

Quelqu'un aurait-il déjà utilisé wget pour des pages https?
Je me prends la tête depuis 2 jours dessus pour trouver la bonne combinaison d'options pour y arriver.
je veux faire un script pour lire régulièrement la page https://www.bousrorama.com/palmares/palmares.phtml. Mon username est xxxxxxx et le mot de passe xxxxxx.
Merci pour votre précieuse aide.

[edit - Tomtom ] Désolé, on ne peut laisser des comptes et mots de passe permettant d'acceder à des sites genre boursorama. [/edit]

par **manaos** » 10 Avr 2005 21:50

Hello,

Je n'ai pas de réponse à apporter mais juste pour dire que les logins et password valident ne sont pas à mettre sur des sites.

Manaos

par **Fesch** » 10 Avr 2005 23:07

Essaye la forme

Code: Tout sélectionner: http://user:pass@www....

par **criterium** » 11 Avr 2005 10:41

Fesch: Merci pour ta réponse Fesch.
J'ai utilisé cette forme aussi (http://user:pass@www....) mais cela n'a rien donné.

Manaos: ta remarque est la bienvenue. Seulement si je le fais c'est d'une part, pour permettre aux
gens de mieux pouvoir m'aider sur ma question, et d'autre part parce que j'espère qu'il n'y
pas de personnes malveillantes au sein de cette communauté.

par **tomtom** » 11 Avr 2005 14:07

Désolé, on ne peut pas laisser ça, j'ai édité ton message.

1 - Qui nous prouve que ces comptes sont les tiens ?
2 - La "communauté" comme tu dis comporte +-30000 membres et ce sont des anonymes....
3 - les informations sont publiques et donc lisibles par n'importe qui, memebre ou non !

On peut tres bien t'aider sans connaitres els mots de passe !
D'ailleurs, ici ce n'est pas un problème de wget mais d'authentification sur un site. Il te faudra surement faire un peu de perl pour y parvenir, ou au moins un post (avec curl) pour envoyer les infos et recuperer le cookie de session.

t.

par **criterium** » 11 Avr 2005 14:45

Re-bonjour,

Apparemment j'en ai choqué plus d'un (==> Tomtom) en publiant mes identifiants de connexion afin de pouvoir être aidé sur ma question. J'en suis fort désolé et j'étais loin de m'imaginer que cela puisse avoir cet effet.

Ceci étant dit, Tomtom puisque tu sembles connaitre le sujet, si tu peux me fournir une commande en ligne me permettant de capturer cette page je suis preneur et t'en suis d'emblée infiniment reconnaissant. J'ai utilisé curl tout comme wget pour ce faire, sans trop de succès (et je me prends la tete sur ce problème depuis deux jours déjà!

Merci.

par **tomtom** » 11 Avr 2005 15:00

Apparemment j'en ai choqué plus d'un (==> Tomtom) en publiant mes identifiants de connexion afin de pouvoir être aidé sur ma question. J'en suis fort désolé et j'étais loin de m'imaginer que cela puisse avoir cet effet.

Il n'est pas question d'etre choqué, simplement je ne peux me permettre de laisser publier sur ixus les identifiants valides d'un compte quelconque.
Pas de problème sinon

Ceci étant dit, Tomtom puisque tu sembles connaitre le sujet, si tu peux me fournir une commande en ligne me permettant de capturer cette page je suis preneur et t'en suis d'emblée infiniment reconnaissant. J'ai utilisé curl tout comme wget pour ce faire, sans trop de succès (et je me prends la tete sur ce problème depuis deux jours déjà!

Je m'y connais un tout petit peu, mais je peux te dire que tu ne peux pas t'en sortir avec wget qui ne fait [son nom l'indique bien] que du get !

Il te faut d'abbord faire un post pour remplir le formulaire. Tu peux trs bien faire ca avec curl (options -d var=value ou alors option -F pour les formulaires, à toi de voir).

Ensuite, tu vas recuperer la valeur du cookie que te renvoie le site dans la réponse (sachant qu'en plus il y a probablement un redirect 302) et le rebalancer ensuite dans toutes tes requetes avec l'option -b

En tout, il te faut 3 ou quatre requetes curl selon la façon dont est fait le site.

Je te conseille la lecture du man curl (options -b, -F, -k pour le ssl) au minimum
Si tu utilises firefox, l'utilisation de l'extension "livehttpheaders" te sera d'un grand secours pour voir ce qui se passe !

Bon courage !

t.

Utilisation de wget

Utilisation de wget

utilisation de WGET

utilisation de Wget

Qui est en ligne ?