# Scripts d’automatisation

Récemment repensé le i-book.in, mis à jour le script d’automatisation, je ne publierai pas le code spécifique, le tout sur GitHub.

Github:Ebook-crawler

Parce que les données de base ne sont pas impliquées, il s’agit simplement d’explorer le code source, donc je l’ai envoyé à GitHub, et si vous êtes intéressé à grimper lentement les données, vous pouvez l’utiliser sur votre propre serveur, et si vous êtes trop paresseux pour l’obtenir, vous pouvez directement utiliser [i-book.in] (https://i-book.in).

La méthode de mise en œuvre spécifique est assez simple:

1. Obtenez le nom du livre.

2.Allez à Algolia par nom pour voir s’il y a un livre. Si vous l’avez, ignorez-le, analysez-le si ce n’est pas le cas et téléchargez-le.

3. Une fois le téléchargement terminé, téléchargez les données sur le réseau IPFS et analysez le hachage.

4.En fonction des données de livre analysées et des données de hachage ipfs, combinez au format JSON les caractères qu’Algolia peut accepter.

5.Téléchargez le json sur Algolia afin que la base de données contienne le livre et ne le télécharge pas la prochaine fois qu’il apparaîtra.

# Anti-crawler

Peu importe ce que le site Web aura des robots d’exploration, donc après avoir défini CF shield sur le blog, j’ai également utilisé CF pour i-book.in, et ajouté des mesures anti-crawler à l’opération de téléchargement de livres électroniques, c’est-à-dire définies dans les règles de pare-feu de CF, le format suffixe des livres électroniques comme mots-clés, et ces mots-clés déclenchent captcha. La figure suivante montre les paramètres spécifiques.

# Livre original en anglais

En plus de l’étude d’Eunjing, je suis toujours en train de ramper le livre original en anglais récemment, bien que je ne puisse peut-être pas comprendre, mais je peux aussi apprendre un peu d’anglais si je le vois, la chose la plus importante est que les données d’escalade sont très amusantes ~

Ce site Web est toujours en cours d’exploration, le code d’exploration spécifique et ainsi de suite mon débogage est terminé, également mis sur GitHub, je dois me plaindre, comment les étrangers nomment le livre est épicé et étrange, toutes sortes de ponctuation, je dois remplacer, sinon la création d’un dossier échouera, entraînant tous les téléchargements ultérieurs échoués.

J’ai téléchargé un total de 3473 livres dans l’après-midi, et il y avait 17 erreurs de livres, que je n’ai pas pris la peine de bugger, comme s’il s’agissait toujours de problèmes de symboles spéciaux.

# Fusion de comptes Algolia

Une fois que ce livre original en anglais est intégré dans une base de données, les données de la base de données dépasseront 1W, donc sur le backend i-book.in il est nécessaire d’utiliser plusieurs comptes Algolia pour rechercher en même temps.

Donc, la fusion de comptes est à l’ordre du jour, PHP je ne le ferai pas, donc je prévois de réécrire un service web python, intégré plusieurs comptes Algolia pour étendre l’index, ou directement sur SQL, mais je SQL ne le fera pas (poulet débutant est j’ai raison.

-EOF-