Utilisation de wget

Forum d'assistance et d'échange sur l'installation, la configuration, et l'utilisation des système Linux et BSD. Vous pouvez y poster vos questions concernant ces systèmes d'exploitation en faisant l'effort préalable de rechercher dans le forum, dans les manuels et les documentations que la réponse n'y figure pas.

Modérateur: modos Ixus

Utilisation de wget

Messagepar ninuxien » 23 Mars 2005 11:34

Bonjour
Je suis en train d'experimenter le DL de fichiers via wget
Bien sur je l'ai deja utilisé, mais aujourd'hui je voudrais utiliser une fonction supplémentaire afin de DL beaucoup de fichiers
Le probleme que j'ai est que le serveur distant ne permet qu'une connexion par IP
Je voudrais donc savoir s'il était possible de passer à wget une liste de téléchargement mais qu'il ne les DL pas tous d'un coup mais plutot les uns apres les autres
Serveur Toshiba SG20 (Fanless)
PIII 733Mhz - 1024Mo -- 40Go
ClarkConnect 3.0

<Internet>---<9box>---<CC3.0>----<Routeur WIFI>---<LAN>
Avatar de l’utilisateur
ninuxien
Capitaine de vaisseau
Capitaine de vaisseau
 
Messages: 252
Inscrit le: 07 Oct 2003 00:00
Localisation: à quelque chose près, je suis ici

Messagepar jdh » 23 Mars 2005 11:58

Je ne crois pas qu'il soit possible de fournir une liste à wget.

Par contre un petit script bash doit pouvoir faire l'affaire :

Code: Tout sélectionner
#!/bin/bash
#

liste=(nom du fichier contenant la liste)
cat $liste | while read fichier
do
  wget $fichier
done


Ca ne me parait assez raisonnable.
Avatar de l’utilisateur
jdh
Amiral
Amiral
 
Messages: 4741
Inscrit le: 29 Déc 2002 01:00
Localisation: Nantes

Messagepar bobyII » 23 Mars 2005 12:00

Salut,

en faisant un "wget --help", je vois qu'on peut lui fournir une liste de fichier a DL (-i MaListe)... a creuser donc ... sinon, le petit bash est aussi une solution simple.
Avatar de l’utilisateur
bobyII
Enseigne de vaisseau
Enseigne de vaisseau
 
Messages: 159
Inscrit le: 09 Juil 2003 00:00
Localisation: nantes

Messagepar jdh » 23 Mars 2005 12:07

Ok BobyII : toujours regarder le man de la commande !

wget permet directement de downloader plusieurs URL sur la ligne de commande mais peut même prendre la liste des URL dans un fichier (param "-i") (tu le mentionnes).

Par contre il n'est pas précisé comment sont traités les download : en simultané ou en successif.

Donc aucun besoin de script bash. J'ai été trop vite !
Avatar de l’utilisateur
jdh
Amiral
Amiral
 
Messages: 4741
Inscrit le: 29 Déc 2002 01:00
Localisation: Nantes

Messagepar ninuxien » 23 Mars 2005 12:32

Merci à vous deux
J'ai ecris un pti bash et ca marche pas mal
Je vais voir l'option i pour la prochaine fois
Serveur Toshiba SG20 (Fanless)
PIII 733Mhz - 1024Mo -- 40Go
ClarkConnect 3.0

<Internet>---<9box>---<CC3.0>----<Routeur WIFI>---<LAN>
Avatar de l’utilisateur
ninuxien
Capitaine de vaisseau
Capitaine de vaisseau
 
Messages: 252
Inscrit le: 07 Oct 2003 00:00
Localisation: à quelque chose près, je suis ici

Messagepar Fesch » 23 Mars 2005 16:55

He, autre chose, si cela t'intéresse .... regarde un peu http://www.fesch.lu/redoma

;-)
Pourquoi lis-tu ceci???
Avatar de l’utilisateur
Fesch
Amiral
Amiral
 
Messages: 2505
Inscrit le: 11 Sep 2003 00:00
Localisation: Luxembourg

Messagepar bobyII » 25 Mars 2005 12:02

Oui oui, ce projet n'était il pas parti de ce post ?...

http://forums.fr.ixus.net/viewtopic.php ... highlight=
Avatar de l’utilisateur
bobyII
Enseigne de vaisseau
Enseigne de vaisseau
 
Messages: 159
Inscrit le: 09 Juil 2003 00:00
Localisation: nantes

Messagepar Fesch » 25 Mars 2005 12:06

Si si ;)
Pourquoi lis-tu ceci???
Avatar de l’utilisateur
Fesch
Amiral
Amiral
 
Messages: 2505
Inscrit le: 11 Sep 2003 00:00
Localisation: Luxembourg

utilisation de WGET

Messagepar criterium » 10 Avr 2005 17:06

Bonjour à tous,

Quelqu'un aurait-il déjà utilisé wget pour des pages https?
Je me prends la tête depuis 2 jours dessus pour trouver la bonne combinaison d'options pour y arriver.
je veux faire un script pour lire régulièrement la page https://www.bousrorama.com/palmares/palmares.phtml. Mon username est xxxxxxx et le mot de passe xxxxxx.
Merci pour votre précieuse aide.


[edit - Tomtom ] Désolé, on ne peut laisser des comptes et mots de passe permettant d'acceder à des sites genre boursorama. [/edit]
Avatar de l’utilisateur
criterium
Matelot
Matelot
 
Messages: 5
Inscrit le: 10 Avr 2005 17:00

Messagepar manaos » 10 Avr 2005 21:50

Hello,

Je n'ai pas de réponse à apporter mais juste pour dire que les logins et password valident ne sont pas à mettre sur des sites.

Manaos
Avatar de l’utilisateur
manaos
Enseigne de vaisseau
Enseigne de vaisseau
 
Messages: 150
Inscrit le: 14 Juil 2003 00:00
Localisation: Yvelines

Messagepar Fesch » 10 Avr 2005 23:07

Essaye la forme

Code: Tout sélectionner
http://user:pass@www....
Pourquoi lis-tu ceci???
Avatar de l’utilisateur
Fesch
Amiral
Amiral
 
Messages: 2505
Inscrit le: 11 Sep 2003 00:00
Localisation: Luxembourg

utilisation de Wget

Messagepar criterium » 11 Avr 2005 10:41

Fesch: Merci pour ta réponse Fesch.
J'ai utilisé cette forme aussi (http://user:pass@www....) mais cela n'a rien donné.

Manaos: ta remarque est la bienvenue. Seulement si je le fais c'est d'une part, pour permettre aux
gens de mieux pouvoir m'aider sur ma question, et d'autre part parce que j'espère qu'il n'y
pas de personnes malveillantes au sein de cette communauté.
Avatar de l’utilisateur
criterium
Matelot
Matelot
 
Messages: 5
Inscrit le: 10 Avr 2005 17:00

Messagepar tomtom » 11 Avr 2005 14:07

Désolé, on ne peut pas laisser ça, j'ai édité ton message.

1 - Qui nous prouve que ces comptes sont les tiens ?
2 - La "communauté" comme tu dis comporte +-30000 membres et ce sont des anonymes....
3 - les informations sont publiques et donc lisibles par n'importe qui, memebre ou non !

On peut tres bien t'aider sans connaitres els mots de passe !
D'ailleurs, ici ce n'est pas un problème de wget mais d'authentification sur un site. Il te faudra surement faire un peu de perl pour y parvenir, ou au moins un post (avec curl) pour envoyer les infos et recuperer le cookie de session.

t.
One hundred thousand lemmings can't be wrong...
Avatar de l’utilisateur
tomtom
Amiral
Amiral
 
Messages: 6035
Inscrit le: 26 Avr 2002 00:00
Localisation: Paris

Messagepar criterium » 11 Avr 2005 14:45

Re-bonjour,

Apparemment j'en ai choqué plus d'un (==> Tomtom) en publiant mes identifiants de connexion afin de pouvoir être aidé sur ma question. J'en suis fort désolé et j'étais loin de m'imaginer que cela puisse avoir cet effet.

Ceci étant dit, Tomtom puisque tu sembles connaitre le sujet, si tu peux me fournir une commande en ligne me permettant de capturer cette page je suis preneur et t'en suis d'emblée infiniment reconnaissant. J'ai utilisé curl tout comme wget pour ce faire, sans trop de succès (et je me prends la tete sur ce problème depuis deux jours déjà!

Merci.
Avatar de l’utilisateur
criterium
Matelot
Matelot
 
Messages: 5
Inscrit le: 10 Avr 2005 17:00

Messagepar tomtom » 11 Avr 2005 15:00

Apparemment j'en ai choqué plus d'un (==> Tomtom) en publiant mes identifiants de connexion afin de pouvoir être aidé sur ma question. J'en suis fort désolé et j'étais loin de m'imaginer que cela puisse avoir cet effet.



Il n'est pas question d'etre choqué, simplement je ne peux me permettre de laisser publier sur ixus les identifiants valides d'un compte quelconque.
Pas de problème sinon




Ceci étant dit, Tomtom puisque tu sembles connaitre le sujet, si tu peux me fournir une commande en ligne me permettant de capturer cette page je suis preneur et t'en suis d'emblée infiniment reconnaissant. J'ai utilisé curl tout comme wget pour ce faire, sans trop de succès (et je me prends la tete sur ce problème depuis deux jours déjà!



Je m'y connais un tout petit peu, mais je peux te dire que tu ne peux pas t'en sortir avec wget qui ne fait [son nom l'indique bien] que du get !

Il te faut d'abbord faire un post pour remplir le formulaire. Tu peux trs bien faire ca avec curl (options -d var=value ou alors option -F pour les formulaires, à toi de voir).

Ensuite, tu vas recuperer la valeur du cookie que te renvoie le site dans la réponse (sachant qu'en plus il y a probablement un redirect 302) et le rebalancer ensuite dans toutes tes requetes avec l'option -b


En tout, il te faut 3 ou quatre requetes curl selon la façon dont est fait le site.

Je te conseille la lecture du man curl (options -b, -F, -k pour le ssl) au minimum
Si tu utilises firefox, l'utilisation de l'extension "livehttpheaders" te sera d'un grand secours pour voir ce qui se passe !

Bon courage !

t.
One hundred thousand lemmings can't be wrong...
Avatar de l’utilisateur
tomtom
Amiral
Amiral
 
Messages: 6035
Inscrit le: 26 Avr 2002 00:00
Localisation: Paris

Suivant

Retour vers Linux et BSD (forum généraliste)

Qui est en ligne ?

Utilisateur(s) parcourant actuellement ce forum : Aucun utilisateur inscrit et 0 invité(s)

cron