# Automatisierungsskripte

Kürzlich wurde die i-book.in neu gestaltet, das Automatisierungsskript aktualisiert, ich werde den spezifischen Code nicht auf GitHub veröffentlichen.

Github:Ebook-crawler

Da die Kerndaten nicht beteiligt sind, handelt es sich nur um das Crawlen von Quellcode, also habe ich es an GitHub geschickt, und wenn Sie daran interessiert sind, die Daten langsam zu erklimmen, können Sie sie auf Ihrem eigenen Server verwenden, und wenn Sie zu faul sind, sie zu bekommen, können Sie direkt [i-book.in] (https://i-book.in) verwenden.

Die spezifische Implementierungsmethode ist recht einfach:

1. Rufen Sie den Namen des Buches ab.

2.Gehen Sie namentlich zu Algolia, um zu sehen, ob es ein Buch gibt. Wenn Sie es haben, überspringen Sie es, analysieren Sie es, wenn Sie es nicht haben, und laden Sie es herunter.

3. Nachdem der Download abgeschlossen ist, laden Sie die Daten in das IPFS-Netzwerk hoch und analysieren Sie den Hash.

4.Kombinieren Sie basierend auf den analysierten Buchdaten und ipfs-Hash-Daten Zeichen im JSON-Format, die Algolia akzeptieren kann.

5.Laden Sie den JSON-Code in Algolia hoch, damit die Datenbank das Buch enthält und es beim nächsten Mal nicht herunterlädt.

# Anti-Crawler

Unabhängig davon, was die Website haben wird, habe ich nach dem Einstellen des CF-Schildes im Blog auch CF für i-book.in verwendet und Anti-Crawler-Maßnahmen zum Herunterladen von E-Books hinzugefügt, dh innerhalb der Firewall-Regeln von CF festgelegt, das Suffixformat von E-Books als Schlüsselwörter, und diese Schlüsselwörter lösen Captcha aus. Die folgende Abbildung zeigt die spezifischen Einstellungen.

# Englisches Originalbuch

Zusätzlich zu Eunjings Studie krieche ich in letzter Zeit immer noch das englische Originalbuch, obwohl ich es vielleicht nicht verstehen kann, aber ich kann auch etwas Englisch lernen, wenn ich es sehe, das Wichtigste ist, dass Kletterdaten sehr viel Spaß machen ~

Diese Website crawlt immer noch, der spezifische Crawling-Code und so weiter mein Debuggen ist fertig, auch auf GitHub gestellt, ich muss mich beschweren, wie Ausländer das Buch nennen, ist scharf und seltsam, alle Arten von Interpunktion, ich muss ersetzen, sonst schlägt die Erstellung eines Ordners fehl, was dazu führt, dass nachfolgende Downloads alle fehlschlagen.

Ich habe am Nachmittag insgesamt 3473 Bücher heruntergeladen, und es gab 17 Buchfehler, die ich mir nicht die Mühe gemacht habe, zu beheben, als ob es sich immer noch um spezielle Symbolprobleme handeln würde.

# Zusammenschluss des Algolia-Kontos

Nachdem dieses englische Originalbuch in eine Datenbank integriert wurde, werden die Daten in der Datenbank 1W überschreiten, so dass es im Backend i-book.in notwendig ist, mehrere Algolia-Konten gleichzeitig für die Suche zu verwenden.

Das Zusammenführen von Konten steht also auf der Tagesordnung, PHP werde ich nicht, also plane ich, einen Python-Webdienst neu zu schreiben, mehrere Algolia-Konten einzubauen, um den Index zu erweitern, oder direkt auf SQL, aber ich SQL wird es nicht tun (Rookie-Huhn ist ich habe Recht.

-EOF-