Salut a tous,
 
J'ai chez moi un serveur sous win 2k pro qui fonctionne avec Apache 2.0.52. Je me suis rendu compte en cherchant (car mon quota internet s'envolais a uen vitesse folle, 400Mo d'upload par jour) que dés que j'allumais apache, des adresses IP s'amusais, plusieurs fois par seconde, a ouvrir des photos haute resolution de mon site ainsi que des pages normalement non-publiques (phpmyvisites), et rarement a essayer d'ouvrir un fichier "/robot.txt". C'est absolument systematique, quelques secondes apres avoir allumé Apache, hop ca commence...  
 
Ces IP, quand on les traces, se revelents être du genre "crawl-66-249-65-13.googlebot.com" ou "msnbot.msn.com"... Seulement ca me semble bizare comme comportement, ouvrir des pages de photos haute resolution plusieurs fois par seconde...  
 
Voilà a quoi ca ressemble dans les logs:  
 
 
66.249.65.135 - - [26/Aug/2005:10:56:19 +0200] "GET /album/picture.php?image_id=347&cat=7&expand=11,10,8,6,7&slideshow=2 HTTP/1.1" 200 9601
66.249.65.135 - - [26/Aug/2005:10:56:20 +0200] "GET /album/picture.php?image_id=314&cat=most_visited&expand=9,8,11,6,10&slideshow=2 HTTP/1.1" 200 9532
66.249.65.135 - - [26/Aug/2005:10:56:21 +0200] "GET /album/picture.php?image_id=363&cat=7&expand=10,11,8,9,7&slideshow=2 HTTP/1.1" 200 9601
66.249.65.135 - - [26/Aug/2005:10:56:22 +0200] "GET /album/picture.php?image_id=219&cat=8&expand=11,7,6,10,9,8&slideshow=2 HTTP/1.1" 200 9580
66.249.65.135 - - [26/Aug/2005:10:56:23 +0200] "GET /album/about.php?cat=7&num=9&expand=10,6,8,11,9,7 HTTP/1.1" 200 6172
66.249.65.135 - - [26/Aug/2005:10:56:24 +0200] "GET /album/picture.php?image_id=324&cat=7&expand=10,9,11,6,8,7&slideshow=5 HTTP/1.1" 200 9606
66.249.65.135 - - [26/Aug/2005:10:56:24 +0200] "GET /album/picture.php?cat=6&image_id=304&expand=11,8,9,7,10,6 HTTP/1.1" 200 9752
66.249.65.135 - - [26/Aug/2005:10:56:25 +0200] "GET /album/picture.php?image_id=235&cat=8&expand=9,11,10,8&slideshow=2 HTTP/1.1" 200 9562
66.249.65.135 - - [26/Aug/2005:10:56:26 +0200] "GET /album/picture.php?image_id=222&cat=8&expand=9,11,10,8&slideshow=10 HTTP/1.1" 200 9559
66.249.65.135 - - [26/Aug/2005:10:56:27 +0200] "GET /album/picture.php?image_id=364&cat=7&expand=6,11,9,8,7&slideshow=2 HTTP/1.1" 200 9596
66.249.65.135 - - [26/Aug/2005:10:56:28 +0200] "GET /album/picture.php?image_id=351&cat=7&expand=6,9,11,8,10,7&slideshow=2 HTTP/1.1" 200 9611
66.249.65.135 - - [26/Aug/2005:10:56:29 +0200] "GET /album/category.php?cat=8&num=37&expand=7,11,6,10,8 HTTP/1.1" 200 43153
 
C'est assez problèmatique car je ne peux pas ralumer Apache tant que ce n'est pas réglé, et donc la le site est indisponible...  

faut régler ca avec un .htacces je crois, si le robot.txt donne rien

---------------
modérateur inside plankaivoo - ici powered - Je roule en micra 1l 55cv et je t'emmerde

Merci nicodache & lous, je teste actuellement en mettant un robots.txt qui interdit le scan de /album/ et ca a l'air de fonctionner

Ca recommance !!!
 
seulement quand le robot essaye de lire le robots.txt... ob dirais qu'il tombe sur une 404:
 
207.46.98.137 - - [21/Oct/2005:17:00:03 +0200] "GET /robots.txt HTTP/1.0" 404 300
 
Pour mon fichier existe:
 
http://www.zitroogu.net/robots.txt
 
 

Bon le lien ne risque pas de ofnctionner, jai coupé le serveur jusque a ce que je rouve une solution...

Google et autres robots "officiels" respectent les robots.txt normalement. Tu doit tomber sur des robots "à la con". Le genre que l'ont bans sans regrets
 
Avec un htaccess bien senti ça fonctionne (conditions non exhaustive, le fichier d'origine est beaucoup plus long...) :
 

Et comment tu fais un htacces pour apache sous windows ? :s  Le nom es pas accepté... Et sinon je dois juste mettre ca dans le fichier?  

essaye de le créer depuis une console msdos

Merci ça a marché, le fichier est créé. Mais je ne vois pas trop quoi mette dedans... je dois juste copier coller ce qui mis ci-dessus ?

Nan faut l'adapter à tes besoins...
Ca depend du ou des robots qui te pourrissent la vie, il faut que tu ai son UA ou tout du moins son IP pour pouvoir le bloquer avec un htaccess sur le meme principe que le bout de code ci dessus.