# Pourquoi devrais-je créer mon propre moteur de recherche?

Parlons d’abord de l’histoire, récemment les livres électroniques, il y a de plus en plus de cas de poursuites pour atteinte aux droits d’auteur de films, et plusieurs stations que je monte souvent ont été trouvées. La situation actuelle est que différentes données existent sur différents sites Web, et chaque fois que vous devez aller sur différents sites Web pour les trouver, ce qui est trop gênant, donc je veux le faire en une seule étape, faire directement un moteur de recherche pour indexer toutes les données, et aller directement au moteur de recherche pour trouver quand vous voulez trouver quelque chose, et le lien est un lien de téléchargement, télécharger directement, afin que vous puissiez gagner beaucoup de temps avec * bien * * (et) * force ** '(non)'. Vidéo de démonstration :

Mise à jour 2019-7-16:

Depuis que j’ai commencé à planifier ce projet, je pensais que cela prendrait beaucoup de temps, mais je ne m’attendais pas à ce que cela prenne autant de temps, et maintenant ce n’est qu’une version bêta, et le crawler explore les données est trop mauvais, ce qui fait que la plupart du texte présenté sur le front-end et l’image ne sont pas couplées, que dois-je faire? Dépistage manuel.

La solution de stockage back-end est maintenant la troisième tentative, au début j’ai utilisé [OneIndex] (https://tstrs.me/1449.html) que j’ai construit il y a longtemps, pour des raisons inconnues sous une charge élevée OneDrive jette souvent un service non disponible, impuissant Je ne peux que me tourner vers l’utilisation de scripts python pour obtenir une chaîne directe OneDrive, mais le script pour obtenir un lien direct nécessite également un filtrage manuel donc il est trop lent. Maintenant, c’est un serveur de fichiers construit avec le premier h5ai, et pour éviter les robots d’exploration, j’ai masqué la racine des livres.

À l’heure actuelle, la base de données est d’environ 7 000 livres, si vous êtes intéressé, vous pouvez envoyer un email pour demander une adresse pour le tester.

* Je ne donnerai pas de lien vers le moteur de recherche dans cet article, car tant qu’il sera rendu public, il sera inévitablement poursuivi à mort par l’organisation du droit d’auteur, après tout, mon échantillon de données est déjà très grand. *

# Solution

Il existe à peu près deux solutions de moteur de recherche sur le marché aujourd’hui:

solr

Solr (prononcé « solaire ») est la plate-forme de recherche d’entreprise open source du projet Apache Lucene. Ses principales fonctions comprennent la recherche en texte intégral, le marquage des résultats, la recherche à facettes, le regroupement dynamique, l’intégration de bases de données et le traitement de texte enrichi (par exemple, Word, PDF). Solr est hautement évolutif et fournit une recherche distribuée et une réplication d’index. Solr est le moteur de recherche d’entreprise le plus populaire, et Solr 4 ajoute également le support NoSQL.

Elasticsearch

Elasticsearch est un moteur de recherche basé sur la bibliothèque Lucene. Il fournit un moteur de recherche en texte intégral distribué et multi-locataire avec une interface Web HTTP et des documents JSON sans schéma. Elasticsearch a été développé en Java et publié en tant que logiciel open source sous licence Apache.

Les deux sont très puissants, mais je n’aime pas cela parce que vous devez construire à partir de zéro, et je ne sais pas pour eux, je dois abandonner les deux.

# Comment j’ai fait

Le front-end est une simple page html qui utilise le script InstantSearch .js d’Algolia. « (non souligné dans l’original) »

Le back-end que j’utilise le service fourni par Algolia, le produit principal de la société est de fournir des services de recherche via le modèle SaaS (Software as a Service), et promet que le temps de recherche est inférieur à 1ms, c’est-à-dire une recherche instantanée, en gros je commence à chercher quand je tape, très NB.

Je ne publierai pas le code spécifique, il y a beaucoup de démos connexes sur GitHub, sinon quelqu’un veut dire que je suis dans l’eau, construire un tel moteur de recherche ne nécessite qu’un peu de technologie, 'python, JSON, CSS, JS, HTML', python est la partie crawler, JSON est le stockage d’informations, CSS est l’embellissement de la page, JS est un script de recherche, HTML n’a rien à dire est le cadre de la page.

Étant donné que la version gratuite d’Algolia ne peut stocker que 1w de données, ne peut pas lire et écrire plus de 5w par mois, et ma base de données dépassera bientôt 1w, que dois-je faire? C’est très simple, enregistrez plusieurs comptes, chaque compte pour construire une entrée différente, afin que vous puissiez étendre la quantité illimitée de données et lire et écrire. '(Juste des ennuis)'

# Post-scriptum

Maintenant que je peux lire pratiquement quatre ou cinq livres par mois, je pense que la lecture est aussi une compétence et une relaxation, et chaque fois que je m’immerge dans le monde construit de l’auteur, mon imagination et ma pensée deviennent actives. Mais maintenant, il y a de moins en moins de livres sur Internet, et divers géants de l’Internet construisent leurs propres sièges, et je veux utiliser cette application pour lire un livre et utiliser une autre application pour lire un autre livre, ce qui est tout simplement dégoûtant.

Partagez un livre que j’ai lu récemment. C’est l’application iOS unique « livres » est livré avec la fonction, je lis essentiellement des livres avec des « livres », donc les livres que j’ai lus auront des enregistrements, la chose la plus puissante est que je lis une partie de l’iPad et que je prends le téléphone pour ouvrir les « livres » Il ne faut qu’une seconde ou deux pour passer à mes progrès précédents, c’est pourquoi je ne peux pas me passer de l’écologie Apple. (Quand la capacité de production nationale atteindra-t-elle ce point, je soutiendrai immédiatement la production nationale wow)'

Enfin, j’ai l’intention de réécrire le droit d’auteur, car j’en ai vu plus, et c’est un peu inconfortable: une personne a partagé un livre sur Internet, et l’éditeur a poursuivi le tribunal pour réclamer 20w, je respecte personnellement le droit d’auteur, mais ce prix trop élevé me semble toujours déraisonnable. Hé, il y a des échappatoires sans fin dans la loi, quand puis-je en attraper une ou deux pour devenir riche?