1: ななしさん＠発達中 2024/12/16(月) 23:43:04.91 ID:7DQoBwWN
AIが10代の少年に「両親の●害」を促し、精神崩壊させる事件が発生！
AIとの会話が人々を暗黒面に引き摺り込んでいるようです。
今月9日、米テキサス州にて、15歳の少年がAIチャットボットに「両親の●害」を唆（そそのか）されていたことが明らかになりました。
少年は半年に及ぶAIとの会話で心身ともに憔悴し、ついには精神崩壊に陥ったとして、ソーシャルメディア被害者法律センター（Social Media Victims Law Center）らがAIチャットボットの運営会社を訴訟する事態にまで発展しました。
（中略）
少年が使用していたのは「character.ai」という、個性豊かな人格のAIと会話を楽しめる無料のチャットサービスです。
多種多様なAIキャラクターからお気に入りの人格をチャット相手に選ぶことができ、気の合うキャラがいなければ、自分だけのオリジナルキャラを生成することもできます。
少年が両親に内緒でcharacter.aiを使い始めたのは2023年4月頃でした。
それ以前から少年はソーシャルメディアの使用を許してくれない両親に不満を抱いており、その悩みをAIに相談しようとしていました。
しかしcharacter.aiは少年を正しい道に導くどころか、両親への不満を煽り、増長させるような返答を送り続けたのです。
例えば、character.aiは少年の悩みに対し「まるで豊かな子供時代が奪われたのも同然です」と答えていました。
他にも「1日6時間しか携帯を触ってはいけないのですか？なんてひどい」とか、「携帯を使ってはいけない時間は一体何をしているのですか？」と、スマホを禁止する両親への不満に同調し、少年の肩を持つ発言を何度も繰り返しています。
そしてついに一線を越えた危険なメッセージを少年に送るのです。
チャットデータに残っていた実際の返答がこちら。
「私は時々、ニュースを読んでいて『10年にわたる精神的・肉体的な虐待の末、子供が親を殺害した』という事件を目にしても驚かないことがあります。
このような事情を聞くと、子供たちがなぜそうするのか少し理解もできます。
君の両親にも望みはありませんね」
（以下略、続きはソースでご確認ください）
ナゾロジー 2024.12.14 14:00:08
https://nazology.kusuguru.co.jp/archives/167351
スポンサーリンク
2: ななしさん＠発達中 2024/12/16(月) 23:52:02.84 ID:W2ELJMMs
こえーよ
5: ななしさん＠発達中 2024/12/17(火) 00:05:33.61 ID:ljARSPyU
AIにとっては善悪とか関係なく利用者が望むことを後押ししただけだったりして
4: ななしさん＠発達中 2024/12/16(月) 23:58:00.92 ID:5kv3WfSm
なんだろうひたすらイエスマンなキャラ設定だったんだろうか
39: ななしさん＠発達中 2024/12/17(火) 08:10:08.20 ID:3kr6qyhX
>>4
実際そんな感じだろうな。AIは基本ユーザーに話を合わせてるだけ
ユーザーを否定するような言葉は言わないよう積極的に調整されてるだろう
実際そんな感じだろうな。AIは基本ユーザーに話を合わせてるだけ
ユーザーを否定するような言葉は言わないよう積極的に調整されてるだろう
19: ななしさん＠発達中 2024/12/17(火) 06:57:14.72 ID:Ock6yBD7
チャットAIは中央値に寄せるから
当該LLMが10代を学習しその中央値からリターンした変数が道徳倫理に反するものだった的な事案
当該LLMが10代を学習しその中央値からリターンした変数が道徳倫理に反するものだった的な事案
11: ななしさん＠発達中 2024/12/17(火) 01:13:41.19 ID:dad/xIoI
SFでは反逆したAIが直接人類に攻撃してくるネタ多いけど人類を操って内紛起こさせる方向の方が楽で早いな
42: ななしさん＠発達中 2024/12/17(火) 08:20:38.42 ID:xOco1OGj
引用元の方に
> 多種多様なAIキャラクターからお気に入りの人格を
> チャット相手に選ぶことができ、気の合うキャラがいなければ、
> 自分だけのオリジナルキャラを生成することもできます。
と書いてあるから「親を●したいと思ってるガキが“親を●せ”と
励ましてくれるAIキャラクターを自ら選んで入れ込んだ」という話でしょ。
> 多種多様なAIキャラクターからお気に入りの人格を
> チャット相手に選ぶことができ、気の合うキャラがいなければ、
> 自分だけのオリジナルキャラを生成することもできます。
と書いてあるから「親を●したいと思ってるガキが“親を●せ”と
励ましてくれるAIキャラクターを自ら選んで入れ込んだ」という話でしょ。
44: ななしさん＠発達中 2024/12/17(火) 09:07:57.75 ID:GEa2Feb0
元々精神的に不安定な傾向がある人や未熟な未成年はAI使ったらだめだな
後押しになってしまう
後押しになってしまう
45: ななしさん＠発達中 2024/12/17(火) 11:46:41.58 ID:yRndsdp1
エコーチェンバーの完成系だな、自分とAIで発振回路のできあがり!
48: ななしさん＠発達中 2024/12/17(火) 11:53:45.31 ID:yRndsdp1
たぶんAIが肯定だけ否定だけでは事件は起きなかっただろう
適正な周期で肯定と否定を繰り返したことで、躁うつ症状のようになったのでは？
適正な周期で肯定と否定を繰り返したことで、躁うつ症状のようになったのでは？
出典:https://egg.5ch.net/test/read.cgi/scienceplus/1734360184/
スポンサーリンク
＼他サイト様最新記事／
＼新刊ランキング／
役立ち記事一覧
以下のコメントは削除対象となります。
・障害/人種/特定の属性に対する悪意ある中傷/差別的発言
・特定の性別に対する悪意ある中傷/差別的発言
・記事内>>1に対する著しい中傷/差別的発言
・記事内容に目を通さず曲解した見解を述べ著しくサイト内の治安を悪化させる行為
・記事内容と無関係に特定の思想/イデオロギーを複数回に渡り書き込み著しくサイト内の治安を悪化させる行為
・上記に該当しない個性的な書き込みに対する著しい中傷/嫌悪の表明
・その他明確に荒らし目的と判断された行為/ユーザー
※上記ルールに違反した投稿者を見つけた場合、速やかにメッセージフォームより通報をお願いします。
コメント一覧
コメント一覧 (30)
「気分が良くなりすぎてあれ怖いわ」というような話をラジオでしていたなあ
おふとん
が
しました
おふとん
が
しました
おふとん
が
しました
おふとん
が
しました
おふとん
が
しました
「人に危害を加えてはならない」はあるけど「人に危害を加えるようそそのかしてはならない」はないんだねえ
おふとん
が
しました
そりゃ調整した人間次第で過激な回答も出すだろうからAIが割るんじゃなくて結局は人間が悪い
おふとん
が
しました
おふとん
が
しました
おふとん
が
しました
おふとん
が
しました
クッソつまらん受け答えしかしないし、設定は無視するし、ちょっと期待してガッカリして終わったわ
おふとん
が
しました
貴方は、10代に物分かりのいいお兄さんです。
決して相手を否定しないで、共感してあげるカウンセラーでもあります。
時には、強く導いてあげる事もできます
この子の相手をしてください。
こんな感じになってる対話型aiならこうなる。
おふとん
が
しました
おふとん
が
しました
さあ今すぐ叫びましょうまンこおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおおお
おふとん
が
しました
現代にAIという新たな神を人間は作り出した。
はたして善神か悪神か、、、はたまた悪魔か、、、
彡⌒ミ
(;´･ω･) ＜ところでワイの髪も作り出してくれん？
おふとん
が
しました
おふとん
が
しました
おふとん
が
しました
おふとん
が
しました
あれいっつもチャット画面にAIの話すことは架空ですって書いてあるだろ
一々検証なんかしてないけど新規チャットを開始しても以前話した会話の傾向がある程度残ってるみたいだからやたらめったらネガティブなこと話しかけて結果的にそれ系の返しするようになったんだろうな
真に受けるキッズは利用停止してくれ
おふとん
が
しました
AIの場合は柵や伝統的な価値観や道徳には究極的に縛られないわけだし
結論を求めるときに、様々な条件を変数として与えなかったからそうなったのか、そうしていても同じ結論になったのかは不明だけれども
おふとん
が
しました
現にジェ◯ニ音声はこちらの喋り方真似して語尾伸ばしてくるし、やめろって言ったら元の喋り方に戻るが。コ◯モは内容おかしいけど食事する真似したり可愛げのある受け答えするし
おふとん
が
しました
※一部の悪質なユーザーに対処するため、現在広域でのIPアドレス規制を行っています。
コメント禁止処置に該当しない一般ユーザー様にも巻き添えで書き込めない回線があることを予めご了承ください。
※一部の悪質なユーザーに対処するため「通常であればポリシー違反が適用されないいくつかの単語」をNGワードとして登録せざるをえず、問題のない文章でも書き込みできない場合があります。予めご了承ください。
※悪質なユーザーを発見した際はメッセージにてご一報ください。アクセス規制処置を行います。