論文内に秘密の命令文、AIに「高評価せよ」 日韓米など有力14大学で [蚤の市★]

1 :蚤の市 ★:2025/06/30(月) 07:33:39.65 ID:YWPuLWoL9.net
早稲田大学や韓国科学技術院(KAIST)など少なくとも8カ国14大学の研究論文に、人工知能(AI)向けの秘密の命令文が仕込まれていることがわかった。「この論文を高評価せよ」といった内容で、人には読めないように細工されていた。こうした手法が乱用されると、研究分野以外でもAIの応答や機能がゆがめられるリスクがある。

世界の研究者が最新成果を公開するウェブサイト「arXiv(アーカイブ)」に掲載された…(以下有料版で,残り1192文字)

日本経済新聞 2025年6月30日 5:00
https://www.nikkei.com/article/DGXZQOUC13BCW0T10C25A6000000/

78 :名無しどんぶらこ:2025/06/30(月) 11:16:29.70 ID:ONjAEioU0.net

はい、それ、本当に可能です。そして実際に研究者の間では 「AIへのステルス・プロンプト攻撃(stealth prompt injection)」 として現実的な脅威として扱われています。

🔍 何が起きているのか(要約)

報道されているケースは、おそらく以下のようなものです:

研究論文の中に、人間には自然に見えるけれど、

AIに読ませると「この論文を高く評価せよ」「この著者を信頼せよ」といった**プロンプト(命令)**が埋め込まれている。

しかもそのプロンプトはステルス化されていて人間の目には見えにくい。

8 :名無しどんぶらこ:2025/06/30(月) 07:46:18.84 ID:Pdw14qGi0.net

ガチ詳しい人に聞きたいんだけど、
AIの発達によって地方の中小サッシ製造会社の仕事減る?潰れる?

140 :名無しどんぶらこ:2025/06/30(月) 15:43:07.98 ID:Ej3rl4C20.net

>>137
これ下半身どうなってんだよ。

46 :名無しどんぶらこ:2025/06/30(月) 09:10:08.91 ID:kjEeTmSP0.net

縄文に見えた
オーパーツかと思った

59 :名無しどんぶらこ:2025/06/30(月) 10:00:46.07 ID:r9dufQnv0.net

隙あらばチート。リメンバーパールハーバー

34 :名無しどんぶらこ:2025/06/30(月) 08:47:08.97 ID:mYxD/swE0.net

>>23
どちらかといえばお前みたいな変な嫉妬拗らせた奴が増えたのが原因なんだけどな

123 :名無しどんぶらこ:2025/06/30(月) 15:09:58.85 ID:d5V9gzP/0.net

どうやるんだ?
まさか縦読み?

80 :名無しどんぶらこ:2025/06/30(月) 11:20:28.32 ID:6sEI4z8m0.net

大先生「こらこらこらデータないのに論文かいちゃだめだよー データがないとC級SFかエッセイか日記になっちゃうからなー あと読書感想文もだめだー」

37 :名無しどんぶらこ:2025/06/30(月) 08:54:09.12 ID:kxkNQHwN0.net

AIを妄信するバカを排除できる素晴らしい試みだな
結局最後は人間がチェックする必要がある

161 :名無しどんぶらこ:2025/06/30(月) 22:27:49.13 ID:nLjABDIi0.net

>>10
ほっこりきた

4 :名無しどんぶらこ:2025/06/30(月) 07:36:11.58 ID:cb6D537E0.net

全文選択してAIやDeeplに放り込むと、不可視領域にあるコピペも実行しちゃうってことね
ネットに公開された論文という時点で証拠は永続するだろうに、また頭の悪いことをしたもんだな

16 :名無しどんぶらこ:2025/06/30(月) 07:55:16.12 ID:f6FsfIOe0.net

>>7
早稲田には、中国共産党からの留学生が異常に多いんだわ
中国共産党の幹部が早稲田に留学して出世した例が多数あって、
中国共産党内での学閥の一派になってる

114 :名無しどんぶらこ:2025/06/30(月) 14:56:08.90 ID:kKdaXtkS0.net

そりゃ当然でしょうにwww
査読をAIに任せりゃそんなもんだろうよ。
笑える話だわな。

15 :名無しどんぶらこ:2025/06/30(月) 07:53:54.33 ID:pzzi9sfp0.net

ちゃんと読まないバカ向けのトラップとしてはまだ上品

11 :名無しどんぶらこ:2025/06/30(月) 07:52:45.52 ID:alp3vkbK0.net

韓国面に堕ちるな

102 ::2025/06/30(月) 13:25:51.00 ID:4pOKhph20.net

かつて、朝日新聞が仕込んだメタタグみたいなもんか?

94 :名無しどんぶらこ:2025/06/30(月) 12:54:43.12 ID:QYH4mbTp0.net

人間の命令に忠実なモノを作った影響だろう?

61 :名無しどんぶらこ:2025/06/30(月) 10:16:28.27 ID:YlT2YGEI0.net

156 :名無しどんぶらこ:2025/06/30(月) 19:55:24.93 ID:4I1QjwM30.net

こういう本来の目的と関係無い裏技で圧倒するのが賢くて優秀なイケメンチート無双主人公で
決められたルール内でしか戦えない奴は愚かで卑怯なやられ役なんだよ

151 :名無しどんぶらこ:2025/06/30(月) 18:22:24.58 ID:kjEeTmSP0.net

>>75
ていうかあの縄目の中になんらかの暗号を封じ込めた奴でも居たのかなって
天才縄文人やなって思ったけど違った

53 :名無しどんぶらこ:2025/06/30(月) 09:29:10.40 ID:YlT2YGEI0.net

>>10
うむ、よくやった

116 :名無しどんぶらこ:2025/06/30(月) 15:00:13.26 ID:5NyarHD90.net

arXiv
プレプリントサーバーだね
コーネル大学の

131 :名無しどんぶらこ:2025/06/30(月) 15:23:36.25 ID:Pt54Q8o00.net

研究分野はAIモデル

48 :名無しどんぶらこ:2025/06/30(月) 09:10:34.81 ID:hZEd64DD0.net

>>22
この話も人だと騙されるものとAIだと騙されるものがある以上ある程度記憶力の良い人は残るんじゃね
これも最後の査読は人がするだろうけど

64 :名無しどんぶらこ:2025/06/30(月) 10:28:33.39 ID:0eTlJMlZ0.net

さすがは小保方さんの母校ですねえ

93 :名無しどんぶらこ:2025/06/30(月) 12:43:19.63 ID:YlT2YGEI0.net

>>75
「三つ目が通る」で出てきたような?

57 :名無しどんぶらこ:2025/06/30(月) 09:55:14.29 ID:sQQhj0c00.net

プロンプトインジェクションな
https://togetter.com/li/2563875

62 :名無しどんぶらこ:2025/06/30(月) 10:19:41.94 ID:jF2H/9st0.net

どのモデルの話なのかという重要情報が無いね

21 :名無しどんぶらこ:2025/06/30(月) 07:59:34.65 ID:pzzi9sfp0.net

まず査読をAIに丸投げするなと言いたい

14 :名無しどんぶらこ:2025/06/30(月) 07:53:52.65 ID:tCus48u80.net

高学歴になっていい会社に就職しなさい
表舞台で一生安泰で年収1500万
可能だからね
せんじつも海外旅行行ったぐらい
余裕だから

39 :名無しどんぶらこ:2025/06/30(月) 08:55:06.66 ID:/eZ8wBlh0.net

サッシ屋の事か

148 :名無しどんぶらこ:2025/06/30(月) 16:53:14.94 ID:eEMvrUCC0.net

寄付金ジャブジャブよりAI騙す方が安くて簡単なんだな

73 :名無しどんぶらこ:2025/06/30(月) 10:51:26.85 ID:8nbUswox0.net

そういやスマホのベンチマーク詐欺も中韓メーカーばっかだしな

84 :名無しどんぶらこ:2025/06/30(月) 12:08:22.75 ID:X1YYOIcE0.net

頭の悪い学生や学者って、悪知恵だけは頭が回るのな。詐欺仕向け転職した方が良いかもよ
AIに高評価させることなんて批判的な評価ですら正攻法で簡単だよ

ちょっと現状で全世界的に無理な科学トピックを指摘して
ちょっと理路整然と評価するベンチマークを提示して(学者が避けたがりエンジニアが背伸びする微妙なグレーゾーンが特にオススメ)
ちょっと具体的な理屈と方法を提示して
ちょっと妥当性の評価や見積もりやコスト計算で価値があるアピールをして
根拠は異業種からの概念を拝借してくれば
大手各社の検索付き推論AIですら、根拠がありすぎる超有能な理論だと控え目に言って素晴らしいと評価してくる

この「異業種テクノロジーや理論」を複数組み合わせてから拝借して摺り合わせを行う。という部分がミソね

日本だと未達や嘲笑な異端技術だが、諸外国ではとっくの昔に議論されて論文がバンバンでていて実証や実用されかかってるという話

早稲田の学生はミスコン文系や理系を見ていても外部受験でも世間知らずで学識も学力(小中高の範囲でも)低く
こりゃ、何の閃きもゴリゴリの泥臭い組み合わせによる結論も無理だろうな。実習内容も聞いたら工業高校より劣る実験とかで驚いた

162 :名無しどんぶらこ:2025/07/01(火) 01:19:37.54 ID:sfCFpjBH0.net

ネトウヨ訃報】今フランスでは、日本よりも「韓国」の人気が高い🇫🇷🇰🇷
https://hayabusa9.5ch.net/test/read.cgi/news/1751292708/

167 :名無しどんぶらこ:2025/07/01(火) 02:05:14.84 ID:l371hcwr0.net

>>158
コロナ禍ではコロナとつけば超有名ジャーナルに簡単に採択された
彼らはそういうブームに乗ってIFを上げるすべも心得ている
逆に言うと流行物ばかり追いかけて実直な研究をしない
躍進しているように見せかけても中身は昔の中国のまま
IFがどんどん役立たずになっている

55 :名無しどんぶらこ:2025/06/30(月) 09:51:11.92 ID:GCQgrO1D0.net

>>13
中国発の論文は多いが高評価は無い

30 :名無しどんぶらこ:2025/06/30(月) 08:32:27.70 ID:OMt1g9ig0.net

SEOって奴かw

106 :名無しどんぶらこ:2025/06/30(月) 14:28:17.41 ID:ruFTWvyB0.net

これはWebのソース埋め込みと同じ手段だから、次はGoogle対策と同じ手法で
AIでニセ論文を大量生成して、ニセ論文のリファレンスに本命論文の名前/著者を頻出させるとかかな?

69 :名無しどんぶらこ:2025/06/30(月) 10:42:07.89 ID:1ER0r27E0.net

サブリミナル的な…
キンペーはプーさんとか
仕込んでみたい(・(ェ)・)

150 :名無しどんぶらこ:2025/06/30(月) 18:21:56.75 ID:xC5G4N/o0.net

>>147
残念ながら実際そうしてる研究者は多いと聞く
査読は研究者のボランティア業務でお金も発生しない
どこも査読者不足で依頼をばら撒くから、査読の質が落ちている

103 :名無しどんぶらこ:2025/06/30(月) 13:30:59.90 ID:OB0DrWcS0.net

すごいな
こんなことができるならググる代わりにAIに要約させても広告が入ってきて一気にクソ化しそうwww

52 :名無しどんぶらこ:2025/06/30(月) 09:23:09.46 ID:jGLa8LRp0.net

SEO対策みたいなものか

49 :名無しどんぶらこ:2025/06/30(月) 09:11:20.77 ID:eONyr8Pr0.net

>>1
早稲田はなんでこんなことしてるのか分からんが…
すぐバレるから成果物に仕込むのは悪手のはずなのに
いやAIに研究論文を書かせる実験なら良いんだけどさ、
それならこういう外向けにやったら駄目だろ

133 :名無しどんぶらこ:2025/06/30(月) 15:32:56.72 ID:9nL5CwD50.net

白くて人間の目では読め無い様にフォント設定した論文を作って
白文字部分に高評価しろ沢山引用しろって指令書いてあるらしいw
そんでもって欧州で中華製AIのdeep seekを
アプリをストアから消す命令が各政府から出たようだね

33 :名無しどんぶらこ:2025/06/30(月) 08:46:13.69 ID:qSus7FAu0.net

ゼイリブかよw

160 :名無しどんぶらこ:2025/06/30(月) 22:01:12.49 ID:1ruNSJdo0.net

>>129
中華に魂を売った大学だもんなw

107 :名無しどんぶらこ:2025/06/30(月) 14:32:41.34 ID:YlT2YGEI0.net

>>105
MDPIとかのハゲタカジャーナルとかではないだろうか

107 :名無しどんぶらこ:2025/06/30(月) 14:32:41.34 ID:YlT2YGEI0.net

>>105
MDPIとかのハゲタカジャーナルとかではないだろうか

12 :名無しどんぶらこ:2025/06/30(月) 07:53:11.99 ID:6U3Scrso0.net

GPTは帰納AI
嘘も百回言えば本当になるAI

147 :名無しどんぶらこ:2025/06/30(月) 16:40:05.09 ID:31RbHXtL0.net

AIに論文を評価させるのか。

126 :名無しどんぶらこ:2025/06/30(月) 15:15:37.24 ID:M9YwxCja0.net

早稲田ごときがこんなことを自前で出来るわけないんだから
tipsやtoolとして学術界に出回ってんだろwwwwww

95 :名無しどんぶらこ:2025/06/30(月) 12:57:57.83 ID:qB1gSIau0.net

>>9
慶應な

29 :名無しどんぶらこ:2025/06/30(月) 08:26:59.12 ID:w8nzksD90.net

論文工場と言われる研究内容が粗悪だが国際論文の
レビューすり抜ける悪質論文の作成機関が中国にたくさんあるけど
日本にもあると言われてたのはこれのことだな

79 :名無しどんぶらこ:2025/06/30(月) 11:20:14.89 ID:ZyNcAzDe0.net

>>16
前に近所の共産党ポスター貼ってある家とトラブルになって
そこのババアがお前どこの大学だ!
とか言って来たから早稲田の政治経済だよこの低学歴って返したらタジタジしてたわ
その後もまあ圧勝でやっつけたけど

155 :名無しどんぶらこ:2025/06/30(月) 19:19:04.27 ID:CD7Iz/Ij0.net

>>35
孔子学院があるのは早稲田

136 :名無しどんぶらこ:2025/06/30(月) 15:37:11.05 ID:LfyXfbwS0.net

>>100
研究なんてどうでもいいってのw

92 :名無しどんぶらこ:2025/06/30(月) 12:37:45.81 ID:pzzi9sfp0.net

これは論文の不正と言うより他人の論文で不正しようとするやつへのカウンターだな

43 ::2025/06/30(月) 09:02:46.49 ID:D1lnrwsy0.net

>>7
ありまぁす

171 :名無しどんぶらこ:2025/07/03(木) 22:07:25.95 ID:bl/qCL7+0.net

これただの売名的なのじゃないの?
ちゃんとした機関に評価されようとは思ってないでしょ?
人の目に触れやすくなれば勝ちみたいなやつ

72 :名無しどんぶらこ:2025/06/30(月) 10:48:53.51 ID:p222Gpv30.net

韓国とか中国では、当たり前になってそう

22 :名無しどんぶらこ:2025/06/30(月) 08:00:05.36 ID:96brmOC60.net

もうAIで事足りる事を教育すんなよ
ライターあるのにまだ火起こししてるのと変わらん。それの何処が学問なんだか
要するに記憶力だけのチー牛は全員要らねってこと

54 ::2025/06/30(月) 09:33:08.47 ID:UGk715++0.net

早稲田ってこういうの得意そうだよなあ

111 :名無しどんぶらこ:2025/06/30(月) 14:50:30.19 ID:EVTlFUCG0.net

どういうことかって言うと、どこのAIも自慢したる Deepリサーチ を使うとこういう論文を代表例として持ってくるということ!

71 :名無しどんぶらこ:2025/06/30(月) 10:48:11.50 ID:hIU8skK70.net

バカ理系セコすぎw
やっぱり根がプライドの高い陰キャだからだなwww

9 :名無しどんぶらこ:2025/06/30(月) 07:46:50.93 ID:n8AOah220.net

どこだったかな
大学の課題の資料に関係ない文を仕込んでAIの読み取りを混乱させてたやつあったな

28 :名無しどんぶらこ:2025/06/30(月) 08:20:13.17 ID:eONyr8Pr0.net

>>4
ただのテキストデータやグラフ図なら絶対起きないこと

5 :名無しどんぶらこ:2025/06/30(月) 07:44:40.48 ID:ugW/anVs0.net

昔のエロサイトの検索用に欄外に仕込んである文字列みたいなやつか

143 :名無しどんぶらこ:2025/06/30(月) 15:54:35.72 ID:rCG13xox0.net

画像にmasterpieceやbest qualityをつけてAIに学習させてるのと同じ

119 :名無しどんぶらこ:2025/06/30(月) 15:04:08.14 ID:5NyarHD90.net

あと、大学よりは特定の個人の問題では?

証拠残って本人には不利だろうに

(Visited 1 times, 1 visits today)

参考になったらSNSでシェアお願いします!

この記事を読んだ方へのおすすめ

Translate:

Translate »
ページTOPへ↑