Analyse de logs

par **Albator5151** » 15 Mars 2007 17:06

Bonjour,

Je suis en stage dans une entreprise et on m'a demandé de trouver un analyseur de logs(Le problème est un peu plus compliqué mais je ne rentrerai pas dans les détails). En gros, j'aimerais donc pouvoir par exemple récupérer l'ensemble des logs de mon système d'information, c'est à dire les routeurs, les firewalls, proxy, serveur de messagerie, serveur de fichiers, serveur technique(DNS, DHCP, registre) et je dois en oublier, sur une machine(ou plusieurs). L'analyseur devra pouvoir produire des tableaux de bord, prévenir en temps réel d'une intrusion ou autre, ou encore garder les logs pour comprendre ce qui s'est passé.
Pour l'instant j'ai répertorié un certain nombre d'outils open-source capable de faire ça. J'ai aussi une liste d'outils propriétaires. Alors si vous en avez déjà testé je suis preneur car pour l'instant je n'ai pu voir que leur côté "théorique".

>>>Open source :
->OSSIM :Il semble qu’il permette de répondre à notre problème correctement car il permet de réagir en temps réel mais aussi de faire des tableaux de bord et de comprendre ce qui s’est passé. Cependant, il est lourd à mettre en place et la documentation ne semble pas très abondante.
->NAGIOS : Il ne fait pas vraiment de l'analyse mais il y a un plugin qui existe pour ça
->KIWI syslog : semble limité
->FWlogWAtch : A l'air vraiment interessant
->LogSurfer : Semble limité
->Lire : Pas trop regardé encore

>>>Payant :
Tous les outils payant que j'ai trouvé semble vraiment interessant mais très cher et très lourd à mettre en place.
->Log One
->GFI event manager
->Net Report
-> watch log
-> Sawmill

Voilà, si vous avez des expériences sur certains de ces analyseurs ou si je me plante complètement ou si vous en connaissez des plus performants, je suis preneur. Ah j'oubliais, les serveurs ne sont pas forcément tous Unix, ils peuvent être aussi Microsoft.

Merci d'avance

Rodolphe

par **Albator5151** » 27 Mars 2007 08:23

Bonjour,

Personne ne s'y connait ?

Merci

Rodolphe

par **jdh** » 27 Mars 2007 08:51

Bonjour

D'abord un sourire : les stagiaires ont de préférence des "problèmes un peu compliqués" ! Cela me fait toujours rigoler. Je dirais plutôt qu'on leur confie souvent des problèmes intéressants que l'on a pas le temps de traiter dans le quotidien.

Pour collectez les logs, il y a un (seul) produit : syslog ("ng" ou pas). Ensuite il y a "logrotate" pour assurer la rotation de fichier logs. Je m'intéresserais d'abord à ce produit et à agir en sorte que tous les systèmes envoient bien tous les "events" vers ce "syslog" central (port udp/514).

Attention à bien réfléchir à la production de log : une machine ne doit pas créer 50 "events" par seconde. Les "events" que l'on met dans syslog sont "peu nombreux".

Attention à ne pas imaginer être trop pro-actif, par exemple si un firewall fermait un port au bout de N attaques, il serait facile de bloquer tous les ports en tirant partie de ce "mauvais" comportement.

Attention à réfléchir à la remontée d'alertes par la suite, autrefois, il y avait des pager, aujourd'hui des sms : inutile d'envoyer 5 sms par minute ! (Nagios a une assez bonne vision de la remontée d'alertes.)

Il faut privilégier les outils simples et ne pas se fixer d'objectifs trop élevés ...

par **Albator5151** » 28 Mars 2007 08:47

Bonjour,

Tout d'abord merci pour la réponse.

jdh a écrit:
D'abord un sourire : les stagiaires ont de préférence des "problèmes un peu compliqués" ! Cela me fait toujours rigoler. Je dirais plutôt qu'on leur confie souvent des problèmes intéressants que l'on a pas le temps de traiter dans le quotidien.

Oui en effet mais le "compliqué" vient du fait que la boîte est vraiment très importante, c'est ce qui rend la chose difficile !

jdh a écrit:Pour collectez les logs, il y a un (seul) produit : syslog ("ng" ou pas). Ensuite il y a "logrotate" pour assurer la rotation de fichier logs. Je m'intéresserais d'abord à ce produit et à agir en sorte que tous les systèmes envoient bien tous les "events" vers ce "syslog" central (port udp/514).

Malheureusement tous les éléments du système ne renvoit pas du syslog par contre par contre ils existe des moyens de tout convertir en syslog ! Certains outils que j'ai cité fonctionne plus ou moins comme cela.

jdh a écrit:Attention à bien réfléchir à la production de log : une machine ne doit pas créer 50 "events" par seconde. Les "events" que l'on met dans syslog sont "peu nombreux".

Attention à ne pas imaginer être trop pro-actif, par exemple si un firewall fermait un port au bout de N attaques, il serait facile de bloquer tous les ports en tirant partie de ce "mauvais" comportement.

Attention à réfléchir à la remontée d'alertes par la suite, autrefois, il y avait des pager, aujourd'hui des sms : inutile d'envoyer 5 sms par minute ! (Nagios a une assez bonne vision de la remontée d'alertes.)

Au départ, le but sera surtout de prévenir le responsable en cas d'alerte.

jdh a écrit:Il faut privilégier les outils simples et ne pas se fixer d'objectifs trop élevés ...

Oui vu qu'il n'y a "rien" pour l'instant, seul les évènements importants seront traités; il s'agit surtout d'établir une base solide.

Merci encore pour votre réponse.

Rodolphe

par **Albator5151** » 13 Avr 2007 12:36

Toujours personne pour m'aider ?

par **S0l0** » 13 Avr 2007 15:38

Va falloir se mettre au travial et arreter d'attendre apres les autres , dans ta recherche a aucun moment on voit le resultat de tes recherchent a toi !!!! en as-tu fait d'ailleurs des recherchent perso? quels sont les resultats? et quand t'aariveras a repondre a ses questions et surtout a les mettre en evidence dans tes questions peut-etre que quelqu'un y repondras plus serieusement ... enfin je dit ca , je dit rien hein!!!

par **Albator5151** » 16 Avr 2007 09:09

Bonjour,

Je ne voudrais pas paraître désagréable mais au départ je posais juste la question pour savoir si les gens connaissaient les outils que j'ai cité ou pas. Maintenant, si personne ne répond, j'imagine que personnne n'a du vraiment s'interesser de près à la question ou n'a pas vraiment envie de me répondre étant donné que je paraissais trop vague, ok il n'y a pas de problème.

Je n'avais aucune intention de me laisser porter et mes recherches ont bien avancé.

Je vais donc rentrer un peu plus dans les détails histoire que personne ne se fache et que tout rentre de l'ordre :

Etant donné l'ampleur du projet, j'ai tout d'abord rédigé une bibliographie afin de mieux comprendre les différents problèmes :
- Droits(libertés individuelles)
- Hétérogénété des éléments (serveurs, équipements réseaux, messagerie, etc.)
- Appui sur la norme 17799, utilisation de la méthodologie MEHARI
- etc.

Ensuite par rapport à un référentiel de menaces, j'ai établi par domaine(messagerie, éléments réseaux, serveurs, etc.) celles que je pouvais détecter par de l'analyse de logs. Puis, j'ai fait un tri car je ne pourrai pas tout traiter dans le temps imparti et j'a gardé les classiques comme les tentatives de connexions root répétées, des connexions root à des heures "anormales", des envois massifs de pièce jointes régulière, etc.(Peut-être faudra-t-il que je détaille cette partie)
J'ai ensuite par rapport à ça établit une grille d'évaluation des solutions que je vais tester(citées au post d'avant) en mettant par exemple : ma solution peut-elle détecter les connexions root à des heures "anormales" ?
Cette grille d'évaluation contient aussi des paramètres comme le périmètre de logs que peut gérer la solution, les facilités, les performances, le budget, etc.
Je vais donc commencer à tester ces solutions maintenant.

Si vous avez des remarques positives ou des négatives, des suggestions, n'hésitez pas ! Si je dois développer n'hésitez pas à m'ne faire part.

Merci d'avance.

Rodolphe

par **jdh** » 16 Avr 2007 10:50

Bon allez encore de l'humour !

Tu restes sur un "sujet un peu compliqué", "grande entreprise", "ampleur du projet" ... Je pense qu'il serait sage de redescendre sur terre, sinon tu ne trouveras plus de chaussettes à ta taille !

Je pense qu'il faut articuler le sujet en 2 parties :

- collecte
- analyse

Pour la collecte, j'ai répondu que le "bon" produit c'est "syslog-ng" qui est vraiment fait pour ça (pour autant qu'il n'y ait pas des milliers "d'events" par secondes).

Cela fait un mois que tu as posé ta question. En un mois, cette première partie devrait être terminée. Tu devrais avoir délimité les "sources" et désormais savoir quels genres de logs ces sources envoient.

Avec un simple parcours des logs déjà envoyés, tu pourras enfin passer à la deuxième phase "l'analyse des logs". Une bonne idée serait de s'intéresser au "pattern matching".

On peut, par exemple, imaginer que si tu reçois le détail complet d'un système de mail type Postfix pour 1000 salariés, tu risques de recevoir des milliers de lignes à l'heure ... ce qui ne sera pas adapté !

par **Albator5151** » 16 Avr 2007 12:46

Bonjour,

jdh a écrit:Bon allez encore de l'humour !

Tu restes sur un "sujet un peu compliqué", "grande entreprise", "ampleur du projet" ... Je pense qu'il serait sage de redescendre sur terre, sinon tu ne trouveras plus de chaussettes à ta taille !
!

Ok je dois mal m'exprimer pour qu'on se foute de ma g*****...

jdh a écrit:Je pense qu'il faut articuler le sujet en 2 parties :

- collecte
- analyse

Pour la collecte, j'ai répondu que le "bon" produit c'est "syslog-ng" qui est vraiment fait pour ça (pour autant qu'il n'y ait pas des milliers "d'events" par secondes).

Cela fait un mois que tu as posé ta question. En un mois, cette première partie devrait être terminée. Tu devrais avoir délimité les "sources" et désormais savoir quels genres de logs ces sources envoient.

J'ai déjà déterminer l'ensemble du périmètre et le type de logs récoltés (désolé, j'avais effectivement oublié de le préciser car cela me semblait normal, je regarde ce qui existe au niveau log et je regarde ce que je peux améliorer,pourquoi et comment), c'est pour ça que je parle d'analyse maintenant.

Encore une fois, je répète juste savoir si quelqu'un connaissait déjà les logiciels cités ni plus ni moins.

Pour ce qui est de la démarche, oui il y a une partie collecte (sachant qu'une partie est déjà faite et une autre à mettre en place), et une partie analyse (en rapport avec l'analyse des menaces), donc je suis de ce côté d'accord avec vous.

Pour la collecte, étant donné que j'ai déjà des logs de collectés, genre des logs de firewalls en WELF, je peux les transformer syslog-ng ?

Désolé encore une fois si je m'exprime mal.

Rodolphe

par **fred-info** » 16 Avr 2007 14:44

Salut,

Ok pour les logs, il faut les analyser. Donc à posteriori...

Est-ce que tu crois qu'un système compromis log tout ?

Il me semble qu'il manque une approche cruciale dans ton analyse c'est la détection temps réel ou la capture pour 'analyse' de tout le traffic si besoin est. (libertés...)

Le danger vient plus souvent (et surtout plus facilement) de l'interieur que de l'exterieur.

En esperant que ces quelques remarques te feront avancer dans ton étude.

A+

par **Albator5151** » 17 Avr 2007 08:15

Bonjour,

En effet, j'ai prévu en quelques sortes 3 types d'analyse :
- Post-Mortem : donc oui anlayser après un problème
- tableaux de bord : Des graphiques qui récapitule ce que je veux exactement pour avoir une vue des différents comportements
- Temps réel : Comme son nom l'indique, elle prévient "instantanément" celui qui doit être prévenu

Bien sur, en développant un peu, on voi tout de suite qu'il faut protéger un maximum ces logs pour qu'il ne puisse pas être modifié par qui que ce soit sinon ça ne sert à rien évidemment. Il y aura aussi des problèmes juridiques avec déclaration à la CNIL, prévenir le CE et les employés.

Voilà mais merci pour les remarques ça me permet de développer un peu certains points

Rodolphe.

par **S0l0** » 17 Avr 2007 10:58

Pour ce qui est de machines dit critique , double le systeme de log avec des solutions comme sebek , que tu auras prealablement configurer car facilement detectable quand on a l'habitude de le voir :roll:

.
Pour ce qui est de la correlation de tes logs , regarde du cote de prelude-lml , en regardant de plus pres tes demande sur les diffenrents forum ou tu as poster , on plus l'impression que tu veut un systeme de dectetion d'intrusion qu'un serveur de log

par **Albator5151** » 17 Avr 2007 11:26

Bonjour,

S0l0 a écrit:Pour ce qui est de machines dit critique , double le systeme de log avec des solutions comme sebek , que tu auras prealablement configurer car facilement detectable quand on a l'habitude de le voir .
Pour ce qui est de la correlation de tes logs , regarde du cote de prelude-lml

Ok je vais regarder tout ça, ça me semble intéressant.
Pour ce qui est de la protection et de l'organisation des logs, je ne sais pas trop dans quelle mesure c'est faisable encore, mais je pensais probablement envoyé l'ensemble des logs tous les jours sur un (ou plus si nécessaire) serveur dédié par l'intermédiaire d'un canal sécurisé (il sera situé dans une DMZ approprié) et les garder 1 an. L'accès à ce serveur sera très restreint.
Je pensais aussi "rotater"

les logs sur chaque machine toutes les 2 semaines pour pouvoir comparer à court terme si besoin ait.

S0l0 a écrit: en regardant de plus pres tes demande sur les diffenrents forum ou tu as poster , on plus l'impression que tu veut un systeme de dectetion d'intrusion qu'un serveur de log

Peut-être mais j'ai plus une optique de divulgation en essayant de traquer les comportements anormaux comme par exemple l'envoi de mail de grande taille souvent à la même adresse et à des heures anormales. cela peut-être aussi pour empêcher la diffusion de certains fichiers vers l'extérieur. Donc du coup la problèmatique est puis de l'intérieur vers l'extérieur que l'inverse.

Merci encore pour les remarques.

Rodolphe

par **S0l0** » 17 Avr 2007 13:13

mais je pensais probablement envoyé l'ensemble des logs tous les jours sur un (ou plus si nécessaire) serveur dédié par l'intermédiaire d'un canal sécurisé

Regle numero un dans la securite informatique toujours se mettre a la place de l'attaquant et s'imaginer comment il ferait pour attaquer notre reseaux , meme s'il est tres difficle de juger du travail qu'on a fait soit-meme.

Bien qu'interessante l'idee de mettre les logs dans un canal securiser , cela signifie installer des outils de chiffrement de connection qui te derservira lors d'une attaque , l'attaquant se sert de tes outils de crypto pour chiffrer ses propres connections et l'ids/ips ne sert plus a rien ( c'est du vecu!!! ) , de plus si le pirate a access a ta dmz ca sera facile pour lui de voir quel machine initie le traffic chiffrer ( vu les Mo de logs genrer par certains serveur ) , vers ou et en deduiera ton architecture de log

Mais c'est une idee a creuser quand meme , en s'attardant sur les moyens d'authentification du serveur et des clients pour eviter tout ce qui est injection de paquets , d'ailleurs y as tu penser a ca dans tes implementations (l'injection).

par **Albator5151** » 19 Avr 2007 10:08

Bonjour,

S0l0 a écrit:Regle numero un dans la securite informatique toujours se mettre a la place de l'attaquant et s'imaginer comment il ferait pour attaquer notre reseaux , meme s'il est tres difficle de juger du travail qu'on a fait soit-meme.

Je suis complètement d'accord pas de souci !

S0l0 a écrit:Bien qu'interessante l'idee de mettre les logs dans un canal securiser , cela signifie installer des outils de chiffrement de connection qui te derservira lors d'une attaque , l'attaquant se sert de tes outils de crypto pour chiffrer ses propres connections et l'ids/ips ne sert plus a rien ( c'est du vecu!!! ) , de plus si le pirate a access a ta dmz ca sera facile pour lui de voir quel machine initie le traffic chiffrer ( vu les Mo de logs genrer par certains serveur ) , vers ou et en deduiera ton architecture de log

En effet, tu as encore raison mais dans un premier temps, on ne pense pas à une attaque en tant que tel mais plus à certains comportements anormaux que pourraient avoir les "utilisateurs normaux". Je ne sais pas si je me suis bien fait comprendre mais bon...

S0l0 a écrit:Mais c'est une idee a creuser quand meme , en s'attardant sur les moyens d'authentification du serveur et des clients pour eviter tout ce qui est injection de paquets , d'ailleurs y as tu penser a ca dans tes implementations (l'injection).

Je t'avouerai que non, car je suis actuellement en train de faire des tests sur des logiciels que j'ai sélectionné via une première "pré-évaluation". Maintenant, je les teste sur une "vraie" grille d'évaluation que j'ai établi par rapport à certains critère comme le périmètre des logs, les fonctionnalités, le budget entre autres. Lorsque j'aurais établi une short liste, je m'interesserai à ce problème de plus près. Ceci étant, c'est une bonne remarque et je regarderais ça le moment venu.

Merci encore pour les remarques.

Analyse de logs

Analyse de logs

Qui est en ligne ?