Psychoactif attaqué par l'IA 

#1 Posté par : JusteUnGars 01 décembre 2023 à  21:56

Bonjour, je tenais à vous remercier pour le travail que vous faites, pour que le forum se porte bien etc.. et tout ça pour aider les gens c'est beau

Les IA peuvent je pense détruire le forum si ça continue comme ça

J'avais justement entendu parler d'une IA qui pouvais détecter les messages d'IA, ça pourrais peut être être une solution, à voir comment ça évolue.

Merci pour votre travail :)

(Je viens de tester une IA et les résultats sont plutôt intéressant, les messages d'exemple postez plus haut sont tous entièrement détecté comme étant originaire d'une IA, et après avoir testé sur d'autres messages tel que les miens les résultats sont plutôt bon)

A voir comment gérer tout ça mais je pense que y'a peut être quelques chose à faire avec ça.
Peut être que les comptes sont également créer par des bot, si c'est le cas il faudrais peut-être rajouter des protections supplementaire à l'inscription, le captcha est peut être trop simple à passer ?

Bonne fin de journée :)

#2 Posté par : pierre 02 décembre 2023 à  20:13

Surtout quand c'est des humains qui sont derrière....
Pour l'instant, je ne vois pas l'interet de le changer.

#3 Posté par : Oob 03 décembre 2023 à  12:51

Boarf, c'est des petits rigolos qui s'amusent à entrainer des modèles d'IA non ?
Je suis tombé sur un message comme ça en me baladant, ça reste quand même assez grossier...
Plutôt pénible mais sans grande conséquences (enfin je dis ça, j'en sais rien en fait, ça rajoute quand même du taf à la modération...)

Pourquoi le timing est intriguant Persifleur ?

#4 Posté par : pierre 03 décembre 2023 à  20:21

Oob a écrit

Boarf, c'est des petits rigolos qui s'amusent à entrainer des modèles d'IA non ?
Je suis tombé sur un message comme ça en me baladant, ça reste quand même assez grossier...
Plutôt pénible mais sans grande conséquences (enfin je dis ça, j'en sais rien en fait, ça rajoute quand même du taf à la modération...)

Oui c'est cela....

#5 Posté par : Marco 68 06 décembre 2023 à  12:07

Quel intérêt de faire ca.... en plus l'ia c'est encore primitive, par exemple je lui ai fait des demande sur un appli de plongée et je serai mort à 30mt si j'aurais suivi ses indications...
Après on m'as expliqué que c'est une technologie qui apprend en discutent avec les humains, donc encore les performances sont bas

#6 Posté par : pierre 06 décembre 2023 à  13:37

Marco 68 a écrit

Quel intérêt de faire ca....

Surement un ancien banni, qui voudrait nous nuire, en disant qu'on s'est laissé berné par l'IA ..... Peut etre aussi que c'est un robot internet... Nous ne savons pas encore.

#7 Posté par : Oob 06 décembre 2023 à  17:05

pierre a écrit

Pierre, si ça n'a pas déjà était pensé par l'équipe : les "comptes IA" semblent présenter un pattern dans le choix de pseudo (type PrénomNomNuméro). Est-ce qu'une forme de filtrage ne pourrait pas être appliqué ? Genre, ça vous fait remonter une alerte par exemple ?

Bon en même temps, en écrivant ça je me dis que ça pourrait aussi être une façon de flooder à mort l'équipe par une saturation de signalements... Mais à réfléchir peut être ?

#8 Posté par : pierre 06 décembre 2023 à  17:10

Merci.
Nous avons déjà mis en place des méthodes de filtration que je ne révèlerais pas ici pour ne pas donner du grain à moudre à l’iA/ancien banni#je n’ai que ça à foutre !

#9 Posté par : Lilian Laslandes 07 décembre 2023 à  00:34

a écrit

Surement un ancien banni, qui voudrait nous nuire

Juste pour info en passant.

J'avais pas grand chose à faire et aussi très vexé d'avoir discuter sur facebook pendant 3 semaines avec ce qui s'est avéré être un bot, j'ai "enquêté" de la présence de l'ia sur le web. je parle pas d'aller lire des articles de presse sur le sujet (yen a très peu d'ailleurs) mais bien de chercher la source des contenus (site internet, compte et pages fb, flux youtube, collecte de dons etc...)

Je suis très perturbé maintenant, c'est triste.

Je n'ai pas fait ça pour prouver qu'un tel ou un tel a raison , ni formuler des conclusions hâtives. C'est par simple envie de connaître mon environnement et ne pas rester ignorant sur ce sujet que j'ai fait cette démarche.
Mais c'est quand même insupportable de constater que les quelques auteurs d'articles sur le sujet décrètent que c'est une "théorie du complot" de dire 80% du web est faux. Quel culot.

#10 Posté par : Stelli 07 décembre 2023 à  10:27

Lilian Laslandes a écrit

a écrit

Surement un ancien banni, qui voudrait nous nuire

Juste pour info en passant.

J'avais pas grand chose à faire et aussi très vexé d'avoir discuter sur facebook pendant 3 semaines avec ce qui s'est avéré être un bot, j'ai "enquêté" de la présence de l'ia sur le web. je parle pas d'aller lire des articles de presse sur le sujet (yen a très peu d'ailleurs) mais bien de chercher la source des contenus (site internet, compte et pages fb, flux youtube, collecte de dons etc...)

Je suis très perturbé maintenant, c'est triste.

Je n'ai pas fait ça pour prouver qu'un tel ou un tel a raison , ni formuler des conclusions hâtives. C'est par simple envie de connaître mon environnement et ne pas rester ignorant sur ce sujet que j'ai fait cette démarche.
Mais c'est quand même insupportable de constater que les quelques auteurs d'articles sur le sujet décrètent que c'est une "théorie du complot" de dire 80% du web est faux. Quel culot.

Qu’est-ce que tu veux dire exactement ??

#11 Posté par : pierre 07 décembre 2023 à  20:38

Lilian Laslandes a écrit

Je n'ai pas fait ça pour prouver qu'un tel ou un tel a raison , ni formuler des conclusions hâtives. C'est par simple envie de connaître mon environnement et ne pas rester ignorant sur ce sujet que j'ai fait cette démarche.

Mais tu es un abruti ! Tu t'es jamais posé la question de l'effet que ca fait sur les forumeurs et le travail que ca nous fait en plus ????? Autant d'égoisme et d'irresponsabilité j'ai rarement vu ca.....

#12 Posté par : Oob 07 décembre 2023 à  20:57

Euh... C'est un peu lunaire le commentaire de Lilian Laslande non ?

J'arrive pas à piger si c'est juste méga incohérent ou si c'est toi qui t'amuses à entrainer une IA et/ou faire des faux comptes ?

pierre, si je peux me permettre, je pense que c'est la première option. Le commentaire est super perché...

#13 Posté par : Stelli 08 décembre 2023 à  05:08

Oob a écrit

Euh... C'est un peu lunaire le commentaire de Lilian Laslande non ?

pierre, si je peux me permettre, je pense que c'est la première option. Le commentaire est super perché...

Il a été banni.

#14 Posté par : linec13 08 décembre 2023 à  09:32

C’est super pénible cette attaque, car cela me rend méfiante
Quand je vois un message d’un nouveau membre, qui sollicite de l’aide ou qui a une question, je vais voir son profil et les messages postés
Dès que j’ai un doute sur la véracité du profil je ne réponds pas à la personne pour ne pas alimenter la machine
Au risque évidemment de ne pas renseigner une vraie personne
C’est d’une tristesse …

#15 Posté par : Todash 08 décembre 2023 à  11:22

Je ne vois aucun "aveu" ni revendication dans le message de Lilian Laslande. Je le comprend simplement comme "je me suis renseigné sur les IA, en dépassant les articles putaclic pour débutants et j'ai compris qu'internet n'est pas rempli forcément d'IA mais que leurs capacités sont encore assez méconnues du grand public". Mais je reconnais que ce n'est pas super clair.

Selon moi, ces messages de bot peuvent être là pour plusieurs raisons :
- glisser discrètement des liens vers des shop ou des scams
- s'amuser à voir si les gens font la différence (un genre de test de turing)
- aider en donnant des conseils aux usagers (l'enfer est pavé de bonnes intentions comme on dit)
- construire un profil "crédible" avec beaucoup de messages et de champi verts pour ensuite spammer des liens commerciaux en jouant avec la crédibilité du profil
Il y a toujours un but derrière, en général il est financier ^^

En tout cas je ne sais pas comment contrer ça, probablement des captchas et une modération accrue... C'est un sujet très délicat j'en conviens. Je n'hésiterais plus à reporter un post si j'en repère un.

Maintenant, j'aimerais beaucoup ne pas être banni pour ce qui va suivre :) Je trouve que c'est un sujet passionnant et c'est dommage de ne pas pouvoir en discuter.

Pour ma part, je joue avec des "IA" (ou modèle LLM plutôt) depuis quelques mois déjà, et je constate une énorme méconnaissance du sujet autour de moi. Je fais justement très souvent le rapprochement avec la consommation de drogues, et de nombreux membres de notre communauté devraient justement voir où je veux en venir :
Un sujet inconnu ou méconnu fait peur. Or, la peur fait agir de manière irrationnelle sans tenir compte des bénéfices apportés. Une "IA" n'est qu'un outil, c'est ce qu'on en fait qui le rend dangereux et nuisible.
Je vois de plus en plus de petits malins qui génèrent des articles ou des vidéos avec des IA, c'est vide, sans saveur ni imagination. Juste du recyclé de ce qui a déja été vu et revu des millions de fois : encore une fois, ce n'est qu'un outil. Ces messages reprenant mot pour mot des posts existants en sont le parfait exemple.

Pour entraîner un modèle, il faut du texte, beaucoup de texte (on appelle ça un dataset). Il faut du texte "propre" : bien écrit, sans faute, cohérent et accessible facilement, de préférence publiquement. Il s'avère que ce forum est une mine d'or pour ça.
Je ne l'ai pas fait (et ne le ferais probablement jamais) mais ça m'a effectivement traversé l'esprit d'aspirer le forum et le wiki pour faire un modèle qui parlerait super bien français, qui donnerait des conseils en RdR et qui connaitrait toutes les drogues (pour un usage personnel, j'ai parfois des questions un peu limite que j'évite de poser à chatGPT et mes modèles locaux ignorent la réponse).
Honnêtement, en un gros week-end et quelques nuit blanches c'est faisable mais je n'y vois qu'un intérêt limité, à part pour spammer des liens vers des shops de CBD pourris comme ici .

Edit: Je tiens à ajouter aussi, et là je m'adresse à l'éventuel petit rigolo qui entraînerai justement un modèle sur le forum : en postant tu pourris ton propre dataset en y incluant des messages maladroitement générés. Si ton but est d'avoir un compagnon RdR au top, réfléchi à ce que tu fais.

#16 Posté par : pierre 12 décembre 2023 à  20:19

Bonjour

Tu n’est pas le seul à avoir penser IA et PA.
Nous avons un projet de recherche en ce moment sur l’IA et Psychoactif avec le laboratoire Sesstim de Marseille qui s’appelle IA4DU

Nous avons notamment étudié si le topic modeling (LDA Mallet notamment) pouvait être utile pour comprendre quelque chose à la structure de Psychoactif.

La réponse est clairement non, en tout cas pas comment ca a été employé. Pour des raisons que nous allons décrire dans un article avec les chercheuses et chercheurs. Mais ça nous a fait comprendre des trucs importants sur PA et ce qui se jouait, notamment sur la stigmatisation !

Notamment dans les messages, il ne peut y avoir aucun mots stigmatisant les PUD, mais le message peut être très stigmatisant car il reprend le langage du discours dominant en voulant être bienveillant…. Pareil pour les personnes qui vivent une prophétie autodestructrice sans s’en apercevoir…


Pour l’envoi de message écrit par l’IA sur PA, ca nous a fait clairement resserer nos contrôles et ça nous a fait progresser dans la lecture des messages (sans en dire plus pour le moment)

Et il n’y a pas que PA qui est emmerdé par l’IA, Amazon aussi avec une déferlante de livre journalier écrit par l’IA https://www.lemonde.fr/economie/article … _3234.html
Mais ça ça fait plutôt plaisir !

#17 Posté par : Lamousiqua 14 décembre 2023 à  01:38

Hmm ok, pas simple perso ahah je vais faire attention.
Pouce en l'air à vous. Et joyeuses fêtes.

#18 Posté par : pierre 14 décembre 2023 à  16:50

Bonjour

Pour aller plus loin, au début nous voulions utiliser l’IA et le topic modeling pour faire un système de recommandations.

Il s’est avéré que nous avons abandonné ce programme car l’IA enferme les PUD dans leur trajectoire, et notamment dans les prophéties auto réalisatrices.
Comme ce qui se passe sur les réseaux sociaux ou les utilisateurs sont enfermés dans leur bulle de valeur.
Hors à Psychoactif nous voulons ouvrir les trajectoires de consommation !

#19 Posté par : Dextro 14 décembre 2023 à  22:49

Salut Pierre !

Cette histoire d'I A m'intrigue beaucoup

Je pense à deux façons d'y faire face :

- Demander une authentification par téléphone pour les nouveaux membres (mais c'est certainement trop contraignant)

- Faire un copier/coller des messages douteux dans ChatGPT en lui demandant si ce texte provient de lui...


Bien à toi

Dextro

#20 Posté par : BOLOT 17 décembre 2023 à  15:33

Toute leur lois sont illégaux.
Force à la communauté qui évite des morts alors allée vous faire voir à nous attaquer bande D'andouille triple idiot

#21 Posté par : Luke globetrotter 18 décembre 2023 à  23:41

Bonjour,

On dirait qu’une partie des textes sont simplement corrigés et organisés par L’Ia, de plus en plus de membres ayant des problèmes de rédaction pourraient utiliser Chat Gpt pour améliorer la qualité de leur texte, ce qui est plutôt bénéfique.

Il faudrait ban les messages commerciaux (enfin c’est toujours comme ça ici) et laisser passer les textes pls personnels et pertinents.
Ça n’est pas une chose facile, j’en conviens.
D’ailleurs il serait intéressant d’entendre les arguments des IA en faveur ou en défaveur de la consommation de drogue. Une sorte d’avis « neutre » sur le « dopage humain ».

#22 Posté par : Oob 19 décembre 2023 à  13:38

Luke globetrotter a écrit

Bonjour,
D’ailleurs il serait intéressant d’entendre les arguments des IA en faveur ou en défaveur de la consommation de drogue. Une sorte d’avis « neutre » sur le « dopage humain ».

Hey Luke
Euh... Alors en l'état actuel de l'art, les IA sont tout sauf neutres.... Elles se "nourrissent" de nos datas.
Un exemple assez parlant avec MidJourney (ou Dall-E, je me rappelle plus - des IA génératrices d'images).
Tapes : US suburbs (banlieue américaines) est ô les joulies maisons façon desperates housewife. Que c'est beau, que c'est calme.
Maintenant fait pareil avec French suburbs... a côté Banlieue 13 c'est le Parc Astérix...
Pourtant, les banlieuex en France sont globalement des lieux de résidences assez tranquilles... Mais bon, banlieuex+françaises est souvent associé à émeutes, incendies, morts, trafic, etc... Est-ce représentatif ? Nope !
Un peu comme la surestimation des dangers de la drogeuh (bouh la vilaine). Quand tu regardes les chiffres de l'OFDT du te dis "Mein godt ! La drogue c'est le péril de la France" puis tu vas faire un tour dans un CSAPA/Service d'Addicto et tu te rends compte que y'a du monde mais pas tant que ça. Donc la majorité des usagers ont pas trop de problème avec leur usage (ou alors, c'est des ninjas de ouf qui arrivent à se réanimer par la seule force de leurs volonté quand ils partent en OD... va savoir...)

Donc, non, les IA ne sont pas neutres.


Ce "truc" concernant les IA images a peut être été corrigé depuis...
Voila voila

#23 Posté par : LOxyCestLaVie 02 mai 2024 à  20:51

Bonjour :)

Pour commencer les comptes Bot / IA ce n’est pas nouveau, je ne vous l’apprends pas, c’est pour ça que les Captchas existent en l’occurrence :p

Lorsqu’on souhaite s’inscrire sur PA on a juste une Capcta relativement simple à casser, donc si j’écris un Bot lié à ChatGPT avec les outils qu’on à disposition actuellement, on peut spammer quasiment en illimité sur le forum avec des messages aussi bien, voir mieux formulés qu’un humain :)

Voici quelques idées que vous pourriez mettre en place :

- activer la double authentification sur le forum via TOPT (a default du sms) ou via email
- changer la captcha lorsqu’on souhaite s’enregistrer sur le forum avec un modèle adapté

Exemple : reCaptcha v3 de google

- utiliser un cdn type cloudflare et y activer des filtres spécifiques pour bloquer automatiquement certains comportements douteux

- activer des filtres waf

Il me semble qu’ovh dispose d’un bon anti bot dopé à l’ia, pour aidé contre le ddos, les vols de données, le scraping intempestif…etc

Il y a pas mal de solutions, open source / payantes, en France, aux usa, ou autre pays, qui respecte la vie privé, surtout pour ce genre de forum.

Pour finir, pa est basé sur FluxBB, qui n’est plus maintenu depuis des années , la dernière commit date de 3 ans. Vous devez sûrement le modifier en interne , enfin je l’espère :) mais pourquoi ne pas migrer vers un logiciel plus robuste ? Pour l’avenir de PA je pense qu’un jour ou l’autre le choix s’imposera de lui même.
Je pense notamment a NodeBB qui est extrêmement puissant, dispose d’une communauté solide, rapide et fiable et on peut migrer FluxBB vers
NodeBB.

Enfin voilà, les mecs qui font les bots ia sont relous, c’est une certitude mais il y a un tas de façons de mitiger cette source d’ennui sans trop de difficulté, avec des outils simple et accessible pour pouvoir se concentrer sur des tâches plus pertinentes :)