[Proposition] Moteur de recherche libre

come_744 · Mai 30, 2019, 6:34

Je ne suis pas sûr mais je crois que le travail de fond peut être fait y compris en l’absence de requêtes depuis l’interface de recherche. Donc (à confirmer) il suffit de ne pas faire de recherche avec.

Par ailleurs, je pense qu’une conversion en C/C++ pourrait permettre de packager notamment pour Debian afin de l’installer plus facilement sur un serveur sans devoir installer Java. Pour Yunohost je ne sais pas comment ça se passe pour intégrer ce genre de choses.

(Je viens de lire dans le code qu’il y a aussi un blog)

Pour Solr, ça m’a vraiment l’air d’être la base de YaCy… J’ai trouvé que Solr est basé sur Lucene qui lui a déjà une traduction en C : CLucene. Ça ferait déjà ça de moins à traduire

agecanonix · Mai 30, 2019, 9:31

Salut,

En me relisant, je me dis que je n’ai peut-être pas été très clair. Sans être sûr non plus, c’est quand même bien comme ça que j’ai compris les choses moi aussi. Donc, on peut toujours faire une version sans interface de recherche, mais si elle ne sert pas ça n’économisera pas grand chose de plus, et je vois mal quelqu’un installer Yacy sur son serveur pour ne jamais se servir que de Google ! En effet, c’est à vérifier quand même, mais je suis persuadé que si on installe Yacy sur son serveur, les postes de travail auront accès à son interface de recherche (et si ce n’est pas le cas, je compte bien que ça le soit dans la version C).

J’avais jeté un oeil rapide à Yunohost et si j’ai bien compris et bonne mémoire, il s’agit surtout de faire un installateur totalement automatique : en un seul clic, une application intégrée à Yunohost s’installe et est opérationnelle. Donc, sauf si une intervention humaine est absolument incontournable pour l’installation, adapter Yacy C (ou CYacy ? Il faudra qu’on trouve un nom !) à Yunohost ne devrait pas présenter de grosse difficulté.

Hier soir, j’ai vraiment hésité à écrire « et pourquoi pas un blog, un forum et un pad ? ». Bon, il va falloir qu’on regarde si le forum et le pad n’y sont pas aussi C’est vraiment du n’importe quoi ! Et pas un dev qui n’ait pensé à faire du ménage alors que tout le monde se plaint de la monstrueuse quantité de ressources nécessaire ?

Oui, d’après ce que je crois en savoir, Solr s’est basé sur Lucene qu’il a fini par remplacer. À priori, Lucene recherche et indexe du texte (donc est à la base d’un moteur de recherche) et Solr apporte tout un tas de fonctionnalités complémentaires, comme la réplication vers d’autres serveurs, la recherche distribuée, la mise en cache et peut-être quelques autres trucs qu’il va falloir garder, mais aussi des bibliothèques pour divers langages genre python ou Ruby (apparemment pas de C, évidemment ), une multitude de formats de sortie aussi inutiles qu’exotiques, la gestion des plugins et j’en passe. A tel point d’ailleurs que je me demande ce que fait Yacy, à part appeler Solr et lui adjoindre le wiki, le blog, la tondeuse à gazon et la machine de Goldberg (à moins que certaines de ces fonctionnalités ô combien indispensables - chacun sait que lorsque c’est inutile, c’est donc indispensable - soient déjà intégrées dans Solr). Bref, CLucene va bien nous aider, mais il va certainement falloir reprendre plusieurs fonctions de Solr, en espérant que tout ne soit pas trop imbriqué.

Un paquet de taf en perspective ! Mais je suis de plus en plus convaincu que, si on y arrive, ça vaudra le coup : on devrait vraiment multiplier les performances !

agecanonix · Mai 30, 2019, 9:39

Je ne pense pas que ça nous sera très utile, mais à tout hasard je le poste ici : je suis tombé sur SolrCPP.

come_744 · Juin 10, 2019, 8:52

Dépôt vide

J’imaginais quelqu’un qui ferait bosser le serveur pour participer mais ne voudrait pas avoir à gérer d’interface graphique et qui préférerait profiter de l’interface graphique d’un autre serveur.

YaCy-- ! C’est YaCy en C/C++ avec plein de trucs en - !

Je viens de regarder et je n’ai pas trouvé de ça.

agecanonix · Juin 11, 2019, 7:43

Salut,

Ben m* alors ! J’avais noté le lien pour penser d’aller le voir à l’occasion, j’aurais mieux fait d’y jeter un oeil tout de suite !

Ah, d’accord, je comprends mieux ! Mais j’ai quand même un peu de mal avec ce type de raisonnement : si c’est peut-être une bonne idée avec la version actuelle, un truc bien fait ne devrait pas consommer tant de ressources qu’on en soit réduit à adopter une telle solution. D’autant qu’il faudra toujours l’interface graphique pour gérer la partie purement crawl et indexation, et qu’à mon avis elle doit être autrement plus lourde que la simple interface de recherche !

Je ne sais pas si c’est très vendeur, mais l’idée me plaît bien !

come_744 · Juin 12, 2019, 1:07

Par gérer je pensais humainement et non informatiquement (et encore le terme est assez mal choisi)

Exemple : Un CHATON (exemple pris au hasard), aimant le concept de YaCy, installe une instance et personnalise l’interface de recherche. Un utilisateur utilise le service de ce CHATON et, appréciant à la fois le concept de YaCy et l’interface particulièrement bien faite de ce CHATON, souhaite participer au crawl. Il installe et paramètre ce qu’il faut pour faire tourner le crawl en tâche de fond, tout en préférant profiter de la belle interface du CHATON. (De plus, il pourra également accéder au moteur de recherche depuis son téléphone.)

agecanonix · Juin 12, 2019, 10:00

Salut,

Ok, je vois : le gars qui veut bien participer au moteur de recherche, mais qui ne veut pas remplir le wiki ni modérer le forum (ah, mais non, tu m’as dit qu’il n’y en a pas ! ) et encore moins tenir le blog.

J’ai toujours du mal à comprendre : pour moi, un moteur de recherche se limite à un crawler, une base indexée, un formulaire à un seul champ pour saisir la recherche et une page de résultats. Bon, je caricature un peu, entre autres une page permettant d’affiner la recherche serait bien sûr indispensable, mais bon : la configuration/personnalisation la plus compliquée n’est pas de remplacer Google ou Yacy par MONMOTEURAMOI, et celui qui n’a pas envie de personnaliser peut laisser le logo Yacy-- qu’on aura mis par défaut.

Et, sans caricaturer cette fois, je ne vois vraiment pas quelle autre personnalisation il faudrait prévoir pour les deux pages de recherche (la toute simple et la complète). C’est du gadget inutile qui fait les usines à gaz inexploitables qu’on voit partout à l’heure actuelle… et qui font que le Yacy actuel n’a pas le succès qu’il mérite ! Au pire, celui qui tient absolument à personnaliser pourra toujours le faire, puisqu’il aura les sources et qu’un peu de HTML et de CSS devrait suffire (Ah, oui, j’oubliais : ça c’est la vieille école, maintenant il faut du code javascript arrivant direct de chez Google ou même de l’ajax qui clignote de partout, sinon ça fait ringard )