Decentral/federated/peer2peer search engine like YaCy?

Dear developers of Framasoft,

I noticed the great work of Framasoft because of PeerTube - thank you very much for this (almost) “proof of concept” YouTube alternative!

As home server admin supporting and providing decentral and FLOSS services (currently a Matrix messenger service and a Seafile data cloud service) I recently found https://yacy.net/ - a real peer2peer search engine. YaCy seems to be already well developed but not maintained anymore. The website information is very outdated (Debian package installation does not work at all) and the activity on GitHub inidicates that the project is somehow “abandoned” and I was not able to set up a headless Debian server running a stable YaCy node.

My question: Does framasoft plan something like YaCy / a decentral search engine for the future?
I know searx as great FLOSS decentral meta-search engine which is a good alternative to Google&Co on short term but not on long term.

Best regards
r4dh4l

3 « J'aime »

Pour les francophones seulement : @come_744 a traduit le message de @r4dh4l dans ce post.

Hi @r4dh4l,

As we are on a french forum, I suppose that you understand our langage even if you write in english. So, I’ll reply in french so that everybody can understand.

Ça faisait un moment que je voulais essayer Yacy, et je viens juste de m’y pencher… en me cassant les dents moi aussi avec l’installation Debian :disappointed_relieved:

Je suppose que c’est ce qui a fait que Framasoft a choisi searx ?

Si j’ai bien compris et tout vu, yacy souffre principalement de deux défauts :

  1. Le manque de peers, lui-même dû au manque de visibilité du projet
  2. Le fait qu’il soit écrit en Java, ce qui le rend inévitablement lent et gourmand en ressources.

Pour le premier point, le succès des alternatives proposées par Framasoft me laisse penser que s’ils voulaient promouvoir Yacy, le nombre de peers pourrait assez vite augmenter et cette excellente alternative à Google devenir de plus en plus performante grâce à cette augmentation.

Pour le second point, je pense qu’il faudrait ré-écrire Yacy en C/C++. Je n’ai pas regardé le code, mais à priori il ne devrait pas y avoir de grosses difficultés à retranscrire du java en C/C++. Il faut juste du temps, et je conçois bien que Framasoft ait d’autres priorités !

N’ayant pas regardé le code, même pas combien de lignes ça représente, je ne m’engage à rien, mais à priori ça m’intéresserait de retranscrire Yacy. Il faudrait juste qu’il y ait un peu de monde pour tester et me soutenir moralement, et que si le résultat est correct je puisse compter sur Framasoft pour promouvoir le produit. Est-ce envisageable ?

2 « J'aime »

Bonjour !

Si je comprends bien, ici la décentralisation sert surtout à avoir une puissance d’indexation importante. Ça m’a l’air d’être un outil très performant pour dégoogliser Internet et est donc très intéressant.

Cependant ce genre de projet m’interroge sur la consommation d’un tel réseau : j’ai peur qu’il y ait d’énormes redondances.
Par exemple est-ce que les moteurs de recherche internes des sites (par exemple du Wikipedia ou Wiktionnaire) sont utilisés (avec mise en cache) ? Ou alors il faut ré-indexer des sites déjà auto-indexés ? Oui :

Pour parcourir des systèmes de gestion de contenu (blogs, wikis, forums), des modules spécialisés sont disponibles. La recherche de YaCy fonctionne alors comme un méta-moteur de recherche sur les différentes sources.

https://yacy.net/fr/Applications.html § Acquisition de ses propres index Web


En espérant que le trafic entre les instances ne sera pas déraisonnablement important, pour le test et le soutien je suis partant ! :smiley:

EDIT : Voire même donner un coup de main pour la traduction Java → C/C++

Unfortunately not and I sorry that I was not aware that this forum is frensh only.

Related to my original request I would be thankful if you would translate my initiational post into frensh language to make it understandable for everone. Thx!

@r4dh4l Here is a translation of your post. You can insert it at the end of your message by editing it.


Chers développeurs de Framasoft,

J’ai remarqué l’excellent travail de Framasoft grâce à PeerTube – merci beaucoup pour cette (presque) “preuve de concept” alternative à YouTube !

En tant qu’administrateur de serveur domestique supportant et fournissant des services décentralisés et FLOSS (actuellement un service de messagerie Matrix et un service de cloud Seafile) j’ai récemment trouvé https://yacy.net/ 2 – un vrai moteur de recherche peer2peer. YaCy semble déjà bien développé mais plus maintenu. Les informations du site web sont très dépassées (l’installation des paquets Debian ne fonctionne pas du tout) et l’activité sur GitHub indique que le projet est en quelque sorte “abandonné” et que je n’ai pas été capable de mettre en place un serveur headless Debian avec un noeud YaCy stable.

Ma question : Est-ce que framasoft prévoit quelque chose comme YaCy / un moteur de recherche décentralisé pour l’avenir ?
Je connais searx en tant que méta-moteur de recherche FLOSS décentralisé qui est une bonne alternative à Google et compagnie sur le court terme mais pas sur le long terme.

Meilleures salutations
r4dh4l

Traduit avec www.DeepL.com/Translator + édité par come_744

Thank you very much. Unfortunately editing is not possible anymore. Would a moderator do it for me?

hi @r4dh4l,

I was able to modify my own post and I added the link to the translation just under yours.

We are now discussing about making a “translation” of the code of yacy in C++. It will be a lot of work, so a lot of time, but I hope that it’s possible. If so, yacy should need a lot less memory and be faster, and we could hope that more people would use it.

If you are interrested, you could use google translate to read this thread (sorry, I’m afraid that it will be difficult and a lot of time to translate each post in english !) and if you want to post something, no problem : just post in english and we will translate into french.

1 « J'aime »

@come_744 :

Déjà merci pour ta réponse et ton intérêt pour ma proposition :smile:

J’ai vu que @r4dh4l a ouvert un bug et qu’il semble avoir fini par réussir à faire marcher yacy sur sa debian. Dès que j’ai un moment (pas mal de choses à faire dans les jours qui viennent…) j’essaie de voir si j’y parviens et tiendrai au courant ici de la méthode. Mais si j’ai bien compris (j’ai lu en diagonale), les instabilités qu’il a constatées étaient dues à un manque de RAM, et du coup il va falloir que je commence par en trouver (je veux mettre ça sur un vieux serveur, ça doit être de la DDR2) et en ajouter.

Pour la traduction Java->C++, c’est juste une question d’organisation, mais c’est sûr que si on peut être plusieurs, ça irait plus vite ! Et pour l’organisation, il faut juste regarder le code et voir comment se répartir les tâches. Il semblerait que tout soit dans un seul .jar, mais on devrait pouvoir se répartir par fonctions/objets.

Pour le moment, j’ai lancé l’idée et je prends la température, mais je crains de ne pas avoir beaucoup de temps dans les prochains jours/semaine(s) pour regarder ça. Par contre, si je sens un peu de motivation pour ce projet, je vais essayer de m’organiser pour pouvoir y passer régulièrement un peu de temps.

Framalang va ouvrir une filière traduction de code :wink:

Concernant le temps je pourrai jeter un coup d’œil de temps en temps et commencer à m’« équiper » selon tes conseils mais ne pourrai mettre les mains dans le cambouis qu’à partir de fin juillet. (À partir du 22 juillet je pourrai a priori passer mes journées à ça et ce sera avec plaisir ! #geek-nolife).

ramalang va ouvrir une filière traduction de code :wink:

:smiley:
Ok. On va déjà voir s’il y en aurait au moins deux ou trois autres prêts à tester, l’idéal étant qu’il y en ait un max une fois le code C++ au point pour que l’indexation soit la plus pertinente possible.

Le truc m’intéresse, mais quand même pas au point de le faire pour une seule autre personne que moi et pour un résultat final peu intéressant par manque de peers pour une bonne indexation !

Salut,

Pas de réactions ? Bon, c’est peut-être simplement que, en réponse à un message en anglais, ma proposition n’est pas assez visible !

Je la reformule donc dans un nouveau post.