Enverinar intencionadament una altra persona mai és moralment correcte. Però si algú a l'oficina continua fent-se lliscar el dinar, no recorreríeu a una petita venjança?
Per als artistes, protegir el treball perquè no s'utilitzi per entrenar models d'IA sense consentiment és una batalla difícil. Sol·licituds de desactivació i els codis de no raspar depenen de les empreses d'IA per participar de bona fe, però aquelles motivades pel benefici per la privadesa poden ignorar fàcilment aquestes mesures. Segrestar-se fora de línia no és una opció per a la majoria dels artistes, que depenen de l'exposició a les xarxes socials per a comissions i altres oportunitats de treball.
Solança , un projecte de la Universitat de Chicago, ofereix als artistes algun recurs enverinant les dades d'imatge, fent-les inútils o perjudicials per a la formació de models d'IA. Ben Zhao, un professor d'informàtica que va dirigir el projecte, va comparar Nightshade amb posar salsa calenta al dinar perquè no us roben a la nevera del lloc de treball.
snapchat del sistema solar
Estem mostrant el fet que els models generatius en general, sense joc de paraules, són només models. Nightshade en si no està pensat com una arma extremadament poderosa per matar aquestes empreses, va dir Zhao. Nightshade demostra que aquests models són vulnerables i hi ha maneres d'atacar. El que vol dir és que hi ha maneres perquè els propietaris de contingut proporcionin rendiments més difícils que escriure al Congrés o queixar-se per correu electrònic o xarxes socials.
Zhao i el seu equip no estan tractant d'eliminar Big AI: només estan intentant obligar els gegants tecnològics a pagar per treballs amb llicència, en lloc d'entrenar models d'IA amb imatges rascades.
Hi ha una manera correcta de fer-ho, va continuar. El veritable problema aquí és sobre el consentiment, és sobre la compensació. Només estem donant als creadors de contingut una manera de reprimir la formació no autoritzada.
Esquerra: La Mona Lisa, inalterada. Mig: La Mona Lisa, després de Nightshade. Dret: Com veu la IA la versió ombrejada de la Mona Lisa. Crèdits d'imatge: Cortesia dels investigadors de la Universitat de Chicago
Solançaorienta les associacions entre les indicacions de text, canviant subtilment els píxels de les imatges per enganyar els models d'IA perquè interpretin una imatge completament diferent a la que veuria un espectador humà. Els models classificaran incorrectament les característiques de les imatges ombrejades i, si s'entrenen amb una quantitat suficient de dades enverinats, començaran a generar imatges que no estan completament relacionades amb les indicacions corresponents. Es poden necessitar menys de 100 mostres enverinats per corrompre un missatge de difusió estable, escriuen els investigadors en un document tècnic actualment en revisió per parells .
Prenguem, per exemple, una pintura d'una vaca descansant en un prat.
En manipular i distorsionar eficaçment aquesta associació, podeu fer pensar als models que les vaques tenen quatre rodes rodones i un para-xocs i un tronc, va dir Zhao a Gadget Insider. I quan se'ls demana que produeixin una vaca, produiran un gran camió Ford en lloc d'una vaca.
L'equip de Nightshade també va oferir altres exemples. Una imatge inalterada de la Mona Lisa i una versió ombrejada són pràcticament idèntiques als humans, però en comptes d'interpretar la mostra enverinada com un retrat d'una dona, la IA la veurà com un gat que porta una túnica.
Demanant a una IA que generi una imatge d'un gos, després que el model fos entrenat amb imatges ombrejades que el feien veure gats, produeix híbrids horripilants que no s'assemblen a cap dels dos animals.
Cortesia dels investigadors de la Universitat de ChicagoEls efectes desemboquen en conceptes relacionats, va assenyalar el document tècnic. Les mostres ombrejades que van corrompre l'art de fantasia ràpid també van afectar les indicacions del drac i de Michael Whelan, que és un il·lustrador especialitzat en portades de fantasia i ciència-ficció.
Zhao també va dirigir l'equip que va crear Esmalt , una eina de ocultació que distorsiona la manera com els models d'IA veuen i determinen l'estil artístic, evitant que imiti l'obra única dels artistes. Igual que amb Nightshade, una persona pot veure un retrat de carbó realista esmaltat, però un model d'IA el veurà com una pintura abstracta i, a continuació, generarà pintures abstractes desordenades quan se li demani que generi retrats fins al carbó.
Parlant amb Gadget Insider després de l'eina llançada l'any passat, Zhao va descriure Glaze com un atac tècnic que s'utilitzava com a defensa. Tot i que Nightshade no és un atac absolut, Zhao va dir a Gadget Insider més recentment, encara està prenent l'ofensiva contra les empreses depredadores d'IA que ignoren les exclusions. OpenAI: una de les empreses que s'enfronta a a demanda col·lectiva per presumptament infringir la llei de drets d'autor —ara permet als artistes desactivar-se de servir per formar models futurs.
El problema d'aquesta [sol·licituds de desactivació] és que és el tipus de sol·licitud més suau i suau possible. No hi ha execució, no hi ha cap empresa que compleixi la seva paraula, va dir Zhao. Hi ha moltes empreses que volen per sota del radar, que són molt més petites que OpenAI i no tenen límits. No tenen cap raó per complir aquestes llistes de desactivació i encara poden agafar el vostre contingut i fer el que vulguin.
Kelly McKernan, una artista que forma part de demanda col·lectiva contra Stability AI, Midjourney i DeviantArt, va publicar un exemple de la seva pintura ombrejada i vidriada sobre X . La pintura representa una dona enredada en venes de neó, mentre els semblants pixelats s'alimenten d'ella. Representa la IA generativa que canibalitza la veu autèntica dels creatius humans, va escriure McKernan.
Estic molt emocionat de compartir que l'Artefact ha estat esmaltat i ombrejat @TheGlazeProject i quina peça perfecta també per a això. Aquesta és una pintura sobre la IA generativa que canibalitza la veu autèntica dels creatius humans. Quan aquesta imatge es raspa per a l'entrenament, bé... pic.twitter.com/0VNFIyabc2
— Kelly McKernan (@Kelly_McKernan) 14 de gener de 2024
premsa de banc elèctrica
McKernan va començar a desplaçar-se per imatges anteriors amb semblances sorprenents amb les seves pròpies pintures el 2022, quan els generadors d'imatges d'IA es van llançar al públic. Quan van descobrir que més de 50 de les seves peces havien estat raspat i utilitzat per entrenar models d'IA , van perdre tot interès per crear més art, van dir a Gadget Insider. Fins i tot van trobar la seva signatura en contingut generat per IA. L'ús de Nightshade, van dir, és una mesura de protecció fins que hi hagi una regulació adequada.
És com si hi hagués una mala tempesta fora, i encara he d'anar a treballar, així que em protegiré i utilitzaré un paraigua clar per veure on vaig, va dir McKernan. No és convenient i no aturaré la tempesta, però m'ajudarà a passar com sigui l'altre costat. I envia un missatge a aquestes empreses que només prenen i prenen i prenen, sense cap repercussió, que lluitarem.
La majoria de les alteracions que fa Nightshade haurien de ser invisibles per a l'ull humà, però l'equip observa que l'ombrejat és més visible en imatges amb colors plans i fons suaus. L'eina, que és gratuïta per descarregar , també està disponible en un entorn de baixa intensitat per preservar la qualitat visual. McKernan va dir que tot i que podien dir que la seva imatge es va alterar després d'utilitzar Glaze i Nightshade, perquè són l'artista que la va pintar, és gairebé imperceptible.
L'il·lustrador Christopher Bretz va demostrar l'efecte de Nightshade en una de les seves peces, publicar els resultats a X . L'execució d'una imatge a través de la configuració més baixa i predeterminada de Nightshade va tenir poc impacte en la il·lustració, però els canvis eren evidents a la configuració més alta.
He estat experimentant amb Nightshade tota la setmana i tinc previst executar-hi qualsevol treball nou i gran part de la meva cartera en línia més antiga, va dir Bretz a Gadget Insider. Conec una sèrie d'artistes digitals que s'han abstingut de posar nous art durant un temps i espero que aquesta eina els doni la confiança per començar a compartir de nou.
Aquí teniu la meva primera imatge de prova amb Nightshade!
El tenia configurat per defecte i va trigar ~ 12 minuts, aproximadament 1/3 de l'estimació de 30 minuts. A continuació, provaré qualitats de renderització més altes. pic.twitter.com/1VSCWxGmrx— Christopher Bretz (@saltybretzel) 19 de gener de 2024
I això és a la configuració més baixa, trigant ~ 11 min. pic.twitter.com/NBefx2zOza
— Christopher Bretz (@saltybretzel) 20 de gener de 2024
Idealment, els artistes haurien d'utilitzar tant Glaze com Nightshade abans de compartir el seu treball en línia, va escriure l'equip a entrada al blog . L'equip encara està provant com Glaze i Nightshade interactuen a la mateixa imatge i té previst llançar una única eina integrada que faci les dues coses. Mentrestant, recomanen utilitzar primer Nightshade i després Glaze per minimitzar els efectes visibles. L'equip insta a no publicar obres d'art que només hagin estat ombrejades, no esmaltades, ja que Nightshade no protegeix els artistes de la imitació.
Les signatures i les marques d'aigua, fins i tot les que s'afegeixen a les metadades d'una imatge, són fràgils i es poden eliminar si la imatge s'altera. Els canvis que realitzi Nightshade es mantindran mitjançant el retall, la compressió, la captura de pantalla o l'edició, perquè modifiquen els píxels que formen una imatge. Fins i tot una foto d'una pantalla que mostra una imatge ombrejada perjudicarà l'entrenament del model, va dir Zhao.
gran cul twitter
A mesura que els models generatius es tornen més sofisticats, els artistes s'enfronten a una pressió creixent per protegir el seu treball i lluitar contra el raspat. Steg.AI i Imatar ajuda els creadors a establir la propietat de les seves imatges aplicant marques d'aigua que són imperceptibles a l'ull humà, tot i que cap dels dos promet protegir els usuaris d'un raspat sense escrúpols. El No AI Watermark Generator , publicat l'any passat, aplica filigranes que etiqueten el treball fet per humans com a generat per IA, amb l'esperança que els conjunts de dades utilitzats per entrenar models futurs filtrin les imatges generades per IA. També n'hi ha Resolució , una eina de Spawning.ai , que identifica i fa un seguiment de les adreces IP dels scrapers. Els propietaris de llocs web poden bloquejar les adreces IP marcades o triar enviar una imatge diferent, com ara un dit del mig.
Kin.art , una altra eina que s'ha llançat aquesta setmana, té un enfocament diferent. A diferència de Nightshade i altres programes que modifiquen criptogràficament una imatge, Kin emmascara parts de la imatge i intercanvia les seves metaetiquetes, cosa que fa que sigui més difícil d'utilitzar en l'entrenament del model.
Els crítics de Nightshade afirmen que el programa és un virus o es queixen que utilitzar-lo ho farà perjudicar la comunitat de codi obert . En a captura de pantalla publicada a Reddit durant els mesos anteriors al llançament de Nightshade, un usuari de Discord va acusar Nightshade de guerra cibernètica/terrorisme. Un altre usuari de Reddit que involuntàriament es va viralitzar a X va qüestionar la legalitat de Nightshade, comparant-la amb la pirateria d'un sistema informàtic vulnerable per interrompre el seu funcionament.
No anuncieu que el vostre art és Nightshaded, que sigui un petit regal sorpresa 🤗
— Paloma McClain (@palomamcclain) 19 de gener de 2024
Creure que Nightshade és il·legal perquè està alterant intencionadament el propòsit previst d'un model d'IA generativa, tal com afirma OP, és absurd. Zhao va afirmar que Nightshade és perfectament legal. Zhao va dir que no és entrar màgicament a les canonades d'entrenament de models i després matar a tothom. Els entrenadors de models estan raspant voluntàriament imatges, tant ombrejades com no, i les empreses d'IA se'n treuen profit.
L'objectiu final de Glaze i Nightshade és incórrer en un preu incremental per cada peça de dades raspada sense permís, fins que els models d'entrenament amb dades sense llicència ja no siguin sostenibles. Idealment, les empreses hauran de llicenciar imatges no corrompudes per entrenar els seus models, assegurant-se que els artistes donen el consentiment i reben una compensació pel seu treball.
gmail com gmail
S'ha fet abans; Getty Images i Nvidia recentment va llançar una eina d'IA generativa totalment entrenada amb l'extensa biblioteca de fotos d'estoc de Getty. Els clients subscrits paguen una tarifa determinada per quantes fotos volen generar, i els fotògrafs el treball dels quals s'ha utilitzat per entrenar el model reben una part dels ingressos de la subscripció. Els pagaments es determinen per quant del contingut del fotògraf es va aportar al conjunt de formació i el rendiment d'aquest contingut al llarg del temps. S'ha informat per cable .
Zhao va aclarir que no és anti-IA i va assenyalar que la IA té aplicacions immensament útils que no són tan carregades èticament. En el món de l'acadèmia i la investigació científica, els avenços en IA són motiu de celebració. Si bé la major part de l'exageració i el pànic de màrqueting al voltant de la IA es refereixen realment a la IA generativa, la IA tradicional s'ha utilitzat per desenvolupar nous medicaments i combatre el canvi climàtic, va dir.
Cap d'aquestes coses requereix IA generativa. Cap d'aquestes coses requereix imatges boniques, ni fets inventats, ni té una interfície d'usuari entre tu i l'IA, va dir Zhao. No és una part bàsica de la majoria de les tecnologies d'IA fonamentals. Però és el cas que aquestes coses interactuen tan fàcilment amb la gent. Big Tech s'ha aferrat realment a això com una manera fàcil d'obtenir beneficis i implicar una part molt més àmplia de la població, en comparació amb una IA més científica que en realitat té capacitats fonamentals i innovadores i aplicacions sorprenents.
Els principals actors tecnològics, el finançament i els recursos dels quals eclipsen els de l'acadèmia, són en gran part pro-AI. No tenen cap incentiu per finançar projectes que són disruptius i que no generen guanys financers. Zhao s'oposa fermament a monetitzar Glaze i Nightshade, o a vendre mai la IP dels projectes a una startup o corporació. Artistes com McKernan estan agraïts de tenir un suspensió de les quotes de subscripció, que són gairebé omnipresents al programari utilitzat en indústries creatives.
Els artistes, inclòs jo mateix, se senten explotats a cada moment, va dir McKernan. Així que quan se'ns dóna alguna cosa gratuïtament com a recurs, sé que agraïm.
L'equip que hi ha darrere de Nightshade, format per Zhao, l'estudiant de doctorat Shawn Shan i diversos estudiants de grau, ha estat finançat per la universitat, les fundacions tradicionals i les subvencions del govern. Però per mantenir la investigació, Zhao va reconèixer que probablement l'equip haurà d'esbrinar una estructura sense ànim de lucre i treballar amb fundacions artístiques. Va afegir que l'equip encara té alguns trucs més sota la màniga.
Durant molt de temps la investigació es va fer pel bé de la recerca, ampliant el coneixement humà. Però crec que alguna cosa com això, hi ha una línia ètica, va dir Zhao. La investigació per això és important. . . els més vulnerables a això, acostumen a ser els més creatius i acostumen a tenir el menor suport en termes de recursos. No és una lluita justa. Per això estem fent tot el que podem per ajudar a equilibrar el camp de batalla.
Kin.art llança una eina gratuïta per evitar que els models GenAI s'entrenin en obres d'art
El fundador de Selkie defensa l'ús de l'IA a la nova col·lecció de vestits enmig de la reacció