Le fédiverse me poursuit !

Publié par Richard Dern le 14/09/2019 - Aucun commentaire

Ma dernière tentative pour me mettre au fédiverse s'est une nouvelle fois soldée par un retrait. C'est sympa pour avoir un peu de visibilité, de temps en temps on rencontre des gens sympas (coucou @lord.re), mais ça n'a pas révolutionné ma façon de "consommer" le web. Du coup, je m'en suis désengagé.

Problème: les crawlers ne l'ont pas compris. Pas plus qu'ils ne comprennent le sens du code HTTP 404.

J'ai relevé principalement trois crawlers:

À eux trois, ils représentent à peu près la moitié des connexions à mon serveur web (le reste, c'est 98% de merdes - y'a quand même 2-3 inscrits à mes flux, merci à eux ☺️)

fediverse.network, c'est cool, c'est des français, ils ont un email, je peux opt-out. Les deux autres par contre, faut leur envoyer un pouet. Ça serait bien si j'étais encore sur le fédiverse...

Donc, seule solution, parce qu'honnêtement, ça me gonfle ces bots qui viennent plusieurs fois toutes les cinq minutes pour rien: le ban IP. Quitte à dé-ban si je reviens.

Comme j'ai pu contacter par mail fediverse.network, et même s'ils me facilitent le boulot en communiquant leurs adresses IP directement depuis leur site (bonne pratique pour un crawler, ça montre un peu de transparence, je les félicite 👍), je ne vais pas les bannir. Les deux autres, par contre, pas de pitié.

Si ça vous intéresse, voilà les IP à ajouter à votre firewall:

Je m'énerve contre ces bots qui ne respectent pas les standards, mais bordel, ça ferait économiser de la bande passante (et des ressources) à tout le monde simplement si le délais entre chaque visite était rallongé en cas d'erreur 404...

Commentaires

Vous pouvez utiliser markdown dans votre commentaire. Si vous indiquez une adresse email, elle sera utilisée pour vous notifier des commentaires publiés sur cette page. Elle ne sera utilisée qu'à cette fin et ne sera jamais transmise à un tiers.