Détection de ventes de contrefaçons

Alors que j'annotais des images publiées par des particuliers sur le marché de l'occasion, j'ai commencé à repérer de plus en plus de contrefaçons, et en particulier, un grand nombre d'enceintes JBLs contrefaites très grossièrement. En fait, JBL explique clairement sur son site que les enceintes possédant un logo en caoutchouc, mat, sont des contrefaçons.

J'ai donc décidé de créer un nouveau modèle de classification dédié à l'identification de ces contrefaçons, et en détecter autant que possible. Au final, j'ai identifié plus de 2000 annonces contrefaites sur une dizaine de marketplaces d'occasion, ce qui représentait un instantané d'environs 300 000€ en vente.

Voici quelques exemples de contrefaçons actuellement en vente détectées par mon système:

Comment ça marche ?

Fonctionnement de la détection de contrefaçons#

La détection de contrefaçon est un traitement supplémentaire réalisé sur certains modèles de produits spécifiques. Dans le cas des enceintes JBL, il s'agit de toutes les enceintes que je sais détecter, et qui possèdent le grand logo JBL en toute lettre qui nous intéresse:

• Flip 6
• Charge 5
• Xtreme 3
• Boombox 3

Pour chaque annonce où l'un de ces objets est détecté, un premier tri est effectué sur chaque image via un LLM. Il s'agit de savoir si notre indicateur de contrefaçon (le logo) est visible ou non.

Les images éligibles sont ensuite jaugées par un modèle supervisé, afin de déterminer si elles sont "caoutchouc" ou "authentique".

Un seuil conservateur de 0.75 est utilisé afin d'éviter au maximum d'avoir des faux positifs. En effet, pour cette tâche, les faux positifs sont bien plus graves que les faux négatifs. Ce n'est pas très grave de ne pas détecter qu'une enceinte est contrefaite, mais prétendre qu'une enceinte authentique est contrefaite est un échec du système.

Les Bounding box autour du logo JBL ne sont utilisées que pour l'interface utilisateur, pour présenter l'élément ayant été utilisé pour prendre cette décision.

Pourquoi faire appel à un modèle supervisé plutôt que de faire la détection de contrefaçons par vision LLM ?#

Les LLMs ont des capacités de vision impressionnantes, mais elles sont plutôt adaptées pour des logiques simples où les erreurs n'ont qu'un faible impact métier. Lorsqu'une tâche nécéssite un raisonnement sur des caractéristiques visuelles fines susceptibles d'induire un observateur en erreur, le LLM est souvent biaisé par la question qui est posée et a tendance à faire le choix du moindre risque.

Comment l'as-tu testé ?

Je possède un dataset d'images d'enceintes JBL annotées manuellement "authentique" ou "contrefaite", cela me permet donc de tester la précision d'un modèle de classification.

J'ai testé:

• Les prompts simples
• Des prompts de classification one shot / few shot
• L'envoi d'images rognées pour ne montrer que le logo
• L'élaboration des caractéristiques visuelles à analyser dans les prompts

Cependant, ma précision n'a jamais dépassé les 0.6, ce qui dépasse à peine la prédiction aléatoire.