FORUM Syndrome-OC - Jacky-PC


  Software et OS Alternatif


  Autres


  Mon serveur se fais flooder par une horde de robots d'indexation !

 




cydoo Achat/vente : titi17100 Architecture Intel : secalex, 2 utilisateurs anonymes et 22 utilisateurs inconnus

 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Mon serveur se fais flooder par une horde de robots d'indexation !

n°37520
ZitroOgu
027
Posté le 29-08-2005 à 21:24:02  profilanswer
 

Salut a tous,
 
J'ai chez moi un serveur sous win 2k pro qui fonctionne avec Apache 2.0.52. Je me suis rendu compte en cherchant (car mon quota internet s'envolais a uen vitesse folle, 400Mo d'upload par jour) que dés que j'allumais apache, des adresses IP s'amusais, plusieurs fois par seconde, a ouvrir des photos haute resolution de mon site ainsi que des pages normalement non-publiques (phpmyvisites), et rarement a essayer d'ouvrir un fichier "/robot.txt". C'est absolument systematique, quelques secondes apres avoir allumé Apache, hop ca commence...  
 
Ces IP, quand on les traces, se revelents être du genre "crawl-66-249-65-13.googlebot.com" ou "msnbot.msn.com"... Seulement ca me semble bizare comme comportement, ouvrir des pages de photos haute resolution plusieurs fois par seconde...  
 
Voilà a quoi ca ressemble dans les logs:  
 
 
66.249.65.135 - - [26/Aug/2005:10:56:19 +0200] "GET /album/picture.php?image_id=347&cat=7&expand=11,10,8,6,7&slideshow=2 HTTP/1.1" 200 9601
66.249.65.135 - - [26/Aug/2005:10:56:20 +0200] "GET /album/picture.php?image_id=314&cat=most_visited&expand=9,8,11,6,10&slideshow=2 HTTP/1.1" 200 9532
66.249.65.135 - - [26/Aug/2005:10:56:21 +0200] "GET /album/picture.php?image_id=363&cat=7&expand=10,11,8,9,7&slideshow=2 HTTP/1.1" 200 9601
66.249.65.135 - - [26/Aug/2005:10:56:22 +0200] "GET /album/picture.php?image_id=219&cat=8&expand=11,7,6,10,9,8&slideshow=2 HTTP/1.1" 200 9580
66.249.65.135 - - [26/Aug/2005:10:56:23 +0200] "GET /album/about.php?cat=7&num=9&expand=10,6,8,11,9,7 HTTP/1.1" 200 6172
66.249.65.135 - - [26/Aug/2005:10:56:24 +0200] "GET /album/picture.php?image_id=324&cat=7&expand=10,9,11,6,8,7&slideshow=5 HTTP/1.1" 200 9606
66.249.65.135 - - [26/Aug/2005:10:56:24 +0200] "GET /album/picture.php?cat=6&image_id=304&expand=11,8,9,7,10,6 HTTP/1.1" 200 9752
66.249.65.135 - - [26/Aug/2005:10:56:25 +0200] "GET /album/picture.php?image_id=235&cat=8&expand=9,11,10,8&slideshow=2 HTTP/1.1" 200 9562
66.249.65.135 - - [26/Aug/2005:10:56:26 +0200] "GET /album/picture.php?image_id=222&cat=8&expand=9,11,10,8&slideshow=10 HTTP/1.1" 200 9559
66.249.65.135 - - [26/Aug/2005:10:56:27 +0200] "GET /album/picture.php?image_id=364&cat=7&expand=6,11,9,8,7&slideshow=2 HTTP/1.1" 200 9596
66.249.65.135 - - [26/Aug/2005:10:56:28 +0200] "GET /album/picture.php?image_id=351&cat=7&expand=6,9,11,8,10,7&slideshow=2 HTTP/1.1" 200 9611
66.249.65.135 - - [26/Aug/2005:10:56:29 +0200] "GET /album/category.php?cat=8&num=37&expand=7,11,6,10,8 HTTP/1.1" 200 43153
 
C'est assez problèmatique car je ne peux pas ralumer Apache tant que ce n'est pas réglé, et donc la le site est indisponible...  :(


Message édité par ZitroOgu le 29-08-2005 à 21:24:58
mood
Google
Posté le 29-08-2005 à 21:24:02  profilanswer
 

n°37521
nicodache
marmotte en chocolat concept ©
Posté le 29-08-2005 à 21:34:33  profilanswer
 

faut régler ca avec un .htacces je crois, si le robot.txt donne rien :/


---------------
modérateur inside [:nicodache] plankaivoo [:nicodache] - ici powered - Je roule en micra 1l 55cv et je t'emmerde :o
n°37531
ZitroOgu
027
Posté le 30-08-2005 à 00:13:00  profilanswer
 

Merci nicodache & lous, je teste actuellement en mettant un robots.txt qui interdit le scan de /album/ et ca a l'air de fonctionner :)

n°38141
ZitroOgu
027
Posté le 21-10-2005 à 17:46:23  profilanswer
 

Ca recommance !!!
 
seulement quand le robot essaye de lire le robots.txt... ob dirais qu'il tombe sur une 404:
 
207.46.98.137 - - [21/Oct/2005:17:00:03 +0200] "GET /robots.txt HTTP/1.0" 404 300
 
Pour mon fichier existe:
 
http://www.zitroogu.net/robots.txt
 
 :sweat:

n°38142
ZitroOgu
027
Posté le 21-10-2005 à 18:49:52  profilanswer
 

Bon le lien ne risque pas de ofnctionner, jai coupé le serveur jusque a ce que je rouve une solution...

n°38160
Trracer
Posté le 22-10-2005 à 23:17:24  profilanswer
 

Google et autres robots "officiels" respectent les robots.txt normalement. Tu doit tomber sur des robots "à la con". Le genre que l'ont bans sans regrets ;)
 
Avec un htaccess bien senti ça fonctionne (conditions non exhaustive, le fichier d'origine est beaucoup plus long...) :
 

Code :
  1. RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
  2. RewriteCond %{HTTP_USER_AGENT} tele(port|soft) [NC,OR]
  3. RewriteCond %{HTTP_USER_AGENT} TurnitinBot [OR]
  4. RewriteCond %{HTTP_USER_AGENT} web.?(auto|bandit|collector|copier|devil|downloader|fetch|hook|mole|miner|mirror|reaper|sauger|sucker|site|snake|stripper|weasel|zip) [NC,OR]
  5. RewriteCond %{HTTP_USER_AGENT} vayala [OR]
  6. RewriteCond %{HTTP_USER_AGENT} zeus [NC]
  7. RewriteRule .* - [F,L]


Message édité par Trracer le 22-10-2005 à 23:17:54
n°38165
ZitroOgu
027
Posté le 23-10-2005 à 13:31:40  profilanswer
 

Et comment tu fais un htacces pour apache sous windows ? :s  Le nom es pas accepté... Et sinon je dois juste mettre ca dans le fichier?  :??:

n°38166
Deather2
OpenBSD: the way to go!
Posté le 23-10-2005 à 13:32:39  profilanswer
 

essaye de le créer depuis une console msdos

n°38167
ZitroOgu
027
Posté le 23-10-2005 à 14:35:54  profilanswer
 

Merci ça a marché, le fichier est créé. Mais je ne vois pas trop quoi mette dedans... je dois juste copier coller ce qui mis ci-dessus ?


Message édité par ZitroOgu le 23-10-2005 à 14:36:12
n°38176
Trracer
Posté le 23-10-2005 à 20:25:29  profilanswer
 

Nan faut l'adapter à tes besoins...
Ca depend du ou des robots qui te pourrissent la vie, il faut que tu ai son UA ou tout du moins son IP pour pouvoir le bloquer avec un htaccess sur le meme principe que le bout de code ci dessus.

mood
Google
Posté le 23-10-2005 à 20:25:29  profilanswer
 


Aller à :
Ajouter une réponse

  FORUM Syndrome-OC - Jacky-PC


  Software et OS Alternatif


  Autres


  Mon serveur se fais flooder par une horde de robots d'indexation !

 

Hit Parade