日本語:Glazeとは || FAQ || WebGlazeについて || ユーザーマニュアル
よくある質問 (FAQ)
まず最初に、Glazeの特徴を説明します。- 各イメージ、作品に特化: クローキングとは人間が実際に目にするコンテンツと、AIが入手するスタイル情報をすり替える 手法です。作品にマントを被せるかの如くクロークを埋め込み、AIが取得しようとするイメージの スタイル情報をすり替えます。AIが作品からスタイルを盗用することを妨げるために使う クロークはイメージ毎に異なります。私達の開発したクローキングツールはユーザーのコンピュータ上で 演算処理され、任意のスタイル(例:ゴッホ等)をクローキングターゲットとして指定することができます。
- 各種AIモデルに有効: イメージに一度クロークをかければ、Midjourney、Stable Diffusion等、複数のAIモデルに対し有効になり処理された イメージのスタイルを盗まれないように防止することができます。これは「トランスファラビィリティ(適応性)」と 呼ばれる属性です。新しいモデルや非公開モデルへの効果は予測が難しいですが、私達は広範囲のAIモデルに対しテストし 有効であることを確認しています。
- 取り除きが困難: 作品のイメージから、イメージを最適化する、ぼかす、ノイズを駆除する、サンプリングレートを下げる、メタデータを 取り除く等の方法でクローク属性を簡単に取り除くことはできません。
- 強力なクロークはより強力な保護: 作品の原画にかけるクロークの強度を設定することができます。強度を変えることで、全く感知できない程度のレベルから、 より顕著な変更まで設定することができます。強度が高くなればなるほどAIがスタイルを盗作することは難しくなります。
AI に対抗することは本当に可能なのでしょうか?AIは賢いはずでは?
クローキング技術に対し、このような反応は一般的で、とても妥当でしょう。AIが驚くほどパワフルで、
大量データを操り素晴らしい結果をもたらすと報道されています。しかし、AIモデルのアキレス腱は、人間が目にしたものを
近似することが不可能であるという点です。実際に「敵対的サンプル (Adversarial Example)」と呼ばれる現象で
この点が実証されています。インプット(入力)のデータに少し手を加えるだけで、AIモデルの入力分類結果が大きく違ってきます。
敵対的サンプルは2014年から認識されていて(初期論文: Explaining and
Harnessing Adversarial Examples)、その後もこの敵対的サンプル防止すべく多くの研究と論文が出版されています。
多くの研究結果、データセット・トレーニングで敵対的サンプルを除去するということは非常に難しく、また、AIの不完全なトレーニングの
基本的な現実なのです。博士論文のテーマとしてこの課題が多く取り扱われていますが、要するに、現在のAIモデルでは、人間と今日の
AIモデルの知覚・認識は機械学習のアルゴリズムの一部として基本的に違うということなのです。
私達が使っているクローキングツールの基盤となる技術は、この敵対的サンプルと同じ属性から成り立っています。今後、この属性が AIモデルの進化とともになくなってしまうのでは?と考える方もいらっしゃるでしょう。しかし、現在のAIモデルにおいて、この属性を 取り除くことは、AIモデルにとって大きな変更となるため、直ぐは起こり得ないと考えています。それまでの間、AIの盲点でもあるこの 基本的な弱点のお陰でクリーキングツールは有効であると考えています。
作品のスクリーンショットを撮るだけでイメージのクロークを壊すことが可能なのでは?
クロークはイメージ内のピクセルに計算された変更を施します。この変更は各イメージによって違っていて、人間の目で必ず見えるとは 限られませんが、AIモデルの学習過程においては、イメージが歪んでいるように受け取られます。スクリーンショットを取っても、この改造 自体はそのまま残り、AIモデルの学習過程においてスクリーンショットでも、作品の「歪み」は引き継がれアーチストのスタイルをAIが 認識することはできません。
フィルタ、圧縮、ぼかし、あるいはノイズをイメージに適用してクロークを破壊することができるのでは?
結果から言うと、イメージに埋め込まれたクロークの摂動(微妙な変化)を簡単にツールを使って破壊することは不可能です。
では具体的になぜ不可能かということを説明します。私達の使っているクローキングでは高密度ピクセルを使ったり、鮮明なパターンを
使ってイメージを歪めると言った方法は使っていません。人間の目では簡単に見分けられず、しかも「AIの目」にとっては歪んで見えるピクセルを
精密に計算して埋め込んでいるからです。私達は多くのテストを重ねクローキングが、イメージファイルの圧縮、
歪み・ノイズ・マスキングインジェクションといった技術に対しても有効なツールであること証明してきました。
別の言い方をすると、クローキングは簡単に見えたり、見えなかったりするような電子透かしとは違います。人間の目では感知できない次元の イメージ変更で、しかもディープラーニングモデル(深層学習モデル)にとってはインパクトのある次元の変更なのです。ですからイメージファイルを 回転させたり、ぼかしたり、あるいは解像度を変えたり、イメージの一部を切り取ったりしてファイルに手を加えても、クローク自体には影響しません。 同じように、「ゴッホの作品」という認識は、人間の意識から同じ手法で取り除かれることはありません
Glaze の仕組みは破られ回避されてしまったことがあるというのは事実ですか?
いいえ、Glaze の仕組みが破られてしまったり、回避されてしまったことはありません。
Glaze は2023年3月15日に初めてリリースされました。以来、Glaze を打ち破ろうとした試みは複数あります。
Glaze を批判する人たちはミミクリー攻撃の意味を理解せずに、Img2Img を使ってGlazeされた作品を再生成しようと試みるなどしています。
これ以外にも、David Marx 氏によるPEZ リバース・プロンプト攻撃について、David Marx 氏本人がその結果を
オンラインで公表しています。
Glazeが生成した物(アーティファクト)を取り除くことでGlazeを回避したことと同等と考え、
ピクセルを滑らかにするツール(ControlNet の開発者、Lyumin Zhang氏のAdverseCleaner等)を開発しましたが、
下記、同氏が2023年3月28日に投稿された記事にもあるように、このツールは無効であると認めています。
Glaze回避を試みた場合の影響に関する詳しいテスト結果にご興味がある方は、 Glazeの公式論文をご参照ください。
Image2Image変換から保護することはできますか?
Glaze はアート・スタイルミミクリー(アートのスタイルを複製すること)からイメージを保護するもので、img2imgアタックから保護するものではありません。
ただし、Glazeをツールとして使ったことによって、非常に高い強度レベルでimg2imgアタックが混乱する結果を引き起こすという証拠が見つかっています。
限定されたテスト環境で、私達はGlazeが、Stable Diffusion の機能にあるような低レベルのimg2img スタイル変換に対してある程度の保護効果があることを確認していますが、
Controlnet のような強力なレベルのimg2imgツールに対抗するためには、更に強力なレベルの設定が必要になります。
現時点でGlazeが、スタイル転送やインペインティングを含む img2imgによるアタックから保護することができるとは考えられません。
私達が知る限りimg2imgアタックに効果があるとされているツールは現在のところ、Mist のみです。Mistはオープンソースのツールで、 米国と中国のPhD学生たちが開発したものです。私達が解析する限り、Mistの仕組みはGlazeと似ていて、img2img属性には、 Glazeの5倍以上の高レベルの設定が備えられています。私達は多くのアーチスト、芸術家にとって高レベルの設定は望ましくないものであると考えています。 私達はGlazeの対img2imgツールとしての可能性を今後も追求して研究していきたいと考えています。 今後のアップデートもご確認ください。
Android やiOS タブレット、スマートフォンのアプリは今後開発されますか?GlazeはWeb版のみ?
Android やiOS モバイルアプリの予定はありませんが、WebGlazeがあります!
WebGlazeはAmazonクラウドサービス無いにあるGPUサーバー上で稼働するGlazeでアーチスト、
芸術家の方々には無償でご利用いただけるWebサービスです。SAND Labが費用を負担していて、
AIを使わない人間のアーチストの方々に無償で提供しています。人間のアーチストであれば、アクセスへの招待状を無償で受け取ることが可能です。
Twitterかインスタグラムを使って @TheGlazeProject に直接メッセージを送ってリクエストしてください。
WebGlaze からログインしてアカウント作成し、
イメージをアップロードしメールアドレスとGlazeの強度(Intensity)を指定してください。
WebGlazeがアップロードしたイメージにGlazeを施して、処理されたイメージを入力されたメールアドレスに送信します。
サーバーにアップロードされたイメージはGlaze処理後、即サーバーから削除されます。
WebGlazeは、処理に費用が発生するため、今後も招待制のみで人間のアーチスト(AIを使うアーチストではなく)のみに提供していきます。
WebGlazeに関する情報は下記からご覧いただけます。
Glazeをどうサポートできますか?
Glaze の事を考えていただきありがとうございます。
ビジュアル・クリエータにGlazeを無償で提供することも大切ですが、Glazeの持つ保護機能を拡張していくことも大切です。
もし私達の取り組みとプロジェクトをサポートしていただける場合は、University of Chicago キャンパス事務局
Joshua Leavitt(メール:jbleavitt@uchicago.edu または電話:773-834-177)までご連絡ください。
Glaze プロジェクトのための寄贈についてお問い合わせいただけます。
既にたくさんの作品がオンライン上に存在していて簡単には取り下げられない中、Glazeを施すことはどのように役立つのでしょうか?
Glazeを施すと、あなたの作品のスタイルをAIモデルがその「特徴空間」で視点を変えていく事ができます。
「特徴空間」とはAIモデルがアーチストの作品スタイルを解釈するための概念空間です。
既にあなたの作品の多数がオンライン上に存在している場合、Stable Diffusion 等のAIモデルは、
イメージをダウンロードして「特徴空間」であなたのスタイルを学習し、
あなたのスタイルを特定の位置としてこの「特徴空間」内に使っていることでしょう。
しかし、AIモデルは精度を上げ、そして又、時代の流れに合った芸術のトレンドに合わせていくため、常時、学習データを追加しています。
今後、クロークがかかっているオンライン上の作品が増えることで、あなたの作品の特徴空間のスタイル情報は更新され、AIモデルのデータが、
あなたの目標とするスタイル(例えば抽象キュビズム)に仕向けていくことが可能です。
これを積み重ねることで、いずれ、AIモデルはあなたの仕向けたスタイル(例えばゴッホ風等)を生成することになります。
AI モデルの特徴空間に微妙な変化があるだけで、AI モデルが生成するイメージが全く違ったスタイルになるということを確認しています。 あなたがGlazeを使い「抽象キュビズム」スタイルをクロークしておくことで、AI が生成するイメージが、 あなたのスタイルと抽象キュビズムが混ぜた(しかも、不快なほど君の悪い)ハイブリッドのイメージを生成する結果を引き起こすかもしれません。