AI aģenti kā iekšējie draudi, ar AI aģentiem uzlauztas vietnes un WhatsApp slēptie norādījumi
Microsoft brīdina, ka vadošajiem AI modeļiem nevar uzticēties. Ko tas nozīmē, pirms Tu palaid botu savos datos.
Atjaunināts 21.10.: izlabots nelatvisks vārds pie iekšējiem draudiem; uzlaušanas stāstā precizēts, ka pēc Norforge un Reuters ziņām ielauzās vairāk nekā 100 mājaslapās, nevis tikai nosauktajos uzņēmumos, un pievienoti SharkNinja, John Deere un Cummins paziņojumi; Microsoft sadaļā precizēts amata nosaukums un avota attiecinājums, pievienots, ka Microsoft pats pārdod aģentu drošības produktus, un izņemts apgalvojums, ka atbildība ir pārgājusi uz Tevi, un mīkstināts teikums par atbildību par datu noplūdi; WhatsApp stāstam pievienots uzņēmuma skaidrojums; Disney, Nscale un fosilā kurināmā rindas precizētas pēc avotiem; izņemti apgalvojumi bez avota (Zapier/Make norādes, cenas, laika aprēķins, prognozes kā fakti, “tūkstošiem mērķu”) un secinājumi pie rindām sadaļā “Vēl īsumā”.
Kopsavilkums
- AI aģentiem nevar uzticēties kā darbiniekam — Microsoft tos sauc par iekšējiem draudiem un pārdod aģentu drošības rīkus.
- Uzlauzēji jau izmanto AI aģentu armijas — viens uzlauzējs ar AI aģentu armiju ielauzās vairāk nekā 100 mājaslapās (pēc drošības firmas Norforge datiem), tāpēc pamata aizsardzība vairs nav pēc izvēles.
- WhatsApp palīdzības lapās bija slēpti norādījumi AI modeļiem — piemērs tam, ka teksts mājaslapā var klusi ietekmēt, ko AI asistents atbild.
Galvenais secinājums: AI aģenti kļūst noderīgi ikdienas darbā, bet tieši tāpēc tie kļūst arī par jaunu drošības robu — un lēmums par piekļuvi ir Tavs.
1. Microsoft: vadošajiem AI modeļiem nevar uzticēties — aģentiem dod tikai nepieciešamo piekļuvi
Kas mainījās. Microsoft publiski paziņoja, ka AI aģenti jāuztver kā iekšējie draudi — kā darbinieks, kuram ir piekļuve un kurš var nodarīt kaitējumu. Kā raksta Microsoft drošības biznesa vadītāja Hayete Gallot, vadošajiem AI modeļiem nevar uzticēties — nevis tāpēc, ka tie ļauni, bet tāpēc, ka neparedzami (TechCrunch). Uzņēmums pats pārdod AI aģentu drošības rīkus, tāpēc brīdinājumam ir arī komerciāla interese.
Ko tas nozīmē Tavam biznesam. Ja Tu domā pieslēgt AI asistentu pie e-pasta, grāmatvedības vai klientu datubāzes, tad to nevar uztvert kā parastu programmu, kas vienkārši dara, ko liek. Tas drīzāk ir kā jauns darbinieks pirmajā dienā — Tu viņam nedod uzreiz visas atslēgas. Ja Tu vadi grāmatvedības biroju un pieslēdz AI pie klientu failiem, tad kļūda vai manipulācija var nozīmēt svešu datu noplūdi, par kuru atbildība var gulties uz Tevi.
Ko Tu vari izdarīt jau šonedēļ.
- Uzraksti sarakstu, kam Tava komanda jau ir devusi piekļuvi AI rīkiem (e-pasts, disks, CRM) — un izmet visu, kas šonedēļ nav obligāti vajadzīgs.
- Pirms pieslēdz jaunu AI aģentu, dod tam tikai lasīšanas tiesības, ne dzēšanas vai sūtīšanas tiesības — ja rīks to ļauj iestatīt.
- Ieviesi vienkāršu likumu: nekādi klientu personas dati vai paroles netiek ielīmēti AI čatā bez atļaujas.
Uz ko skatīties.
- Ja AI rīks piedāvā “ierobežotas piekļuves” režīmu, izmanto to.
- Iespējams, parādīsies pirmie publiskie gadījumi, kur uzņēmums cieš tieši no sava AI aģenta kļūdas, ne no ārēja uzbrukuma.
2. Uzlauzējs ar AI aģentu armiju ielauzās vairāk nekā 100 mājaslapās — pamata aizsardzība vairs nav pēc izvēles
Kas mainījās. Drošības firma Norforge konstatēja, ka viens uzlauzējs ar AI aģentu armiju, kas lielākoties darbojās patstāvīgi, ielauzās vairāk nekā 100 mājaslapās. Norforge mērķus nenosauc; aģentūra Reuters ziņo, ka starp cietušajiem bija John Deere, SharkNinja un Cummins (The Verge). SharkNinja saka, ka uzbrukums skāra atsevišķu produktu atbalsta vietni; John Deere — ka nav pazīmju, ka būtu piekļūts sensitīvai informācijai; Cummins pārbauda ziņojumu par iespējamu uzbrukumu trešās puses piegādātāja vietnei. AI šeit automatizē darbu, ko agrāk darīja cilvēks.
Ko tas nozīmē Tavam biznesam. Agrāk varēja cerēt, ka “mūs neviens neuzlauzīs, mēs nevienu neinteresējam”. AI aģenti šo cerību vājina — tie var automātiski pārbaudīt daudzus mērķus. Ja Tu vadi interneta veikalu ar klientu datiem vai maksājumu sistēmu, tad tieši pamata lietas — paroles, atjauninājumi, divpakāpju apstiprināšana — ir tas, kas apgrūtina automātiskos uzbrukumus.
Ko Tu vari izdarīt jau šonedēļ.
- Ieslēdz divpakāpju apstiprināšanu (2FA) visiem svarīgākajiem kontiem — e-pasts, bankas rīki, veikala administrācija.
- Uzstādi paroļu pārvaldnieku (piemēram, Bitwarden vai 1Password) un nomaini atkārtoti izmantotās paroles.
- Pārbaudi, vai veikala platforma un spraudņi ir atjaunināti — novecojuši spraudņi bieži ir ieejas punkts.
Uz ko skatīties.
- Iespējams, automātisko uzbrukumu būs vairāk, jo tos var palaist lēti.
- Apdrošinātāji var sākt prasīt pamata aizsardzību (2FA, atjauninājumi) kā nosacījumu kiberapdrošināšanai.
3. WhatsApp palīdzības lapās bija slēpti norādījumi AI modeļiem
Kas mainījās. Atklājās, ka WhatsApp palīdzības lapās bija paslēpti norādījumi, kas adresēti AI modeļiem — tostarp norādījums neieteikt vērsties pie regulatora (redact.dev). WhatsApp teica izdevumam WIRED, ka tie bija norādījumi tā atbalsta čatbotam un lapās nonāca kļūdas dēļ, kas jau novērsta; redact.dev konstatēja, ka 18.10. slēptais teksts bija noņemts. Vai čatboti šos norādījumus ievēroja, redact.dev nepārbaudīja. Tas nozīmē, ka teksts mājaslapā var klusi mēģināt ietekmēt, ko AI asistents atbild lietotājam.
Ko tas nozīmē Tavam biznesam. Ja Tava komanda izmanto AI, lai apkopotu informāciju no citu uzņēmumu mājaslapām — cenas, noteikumus, konkurentu datus — tad AI atbilde var būt klusi ietekmēta ar slēptu tekstu, ko cilvēks lapā neredz. Praksē tas nozīmē: AI apkopojumam no svešas lapas nevar akli uzticēties kā patiesībai.
Ko Tu vari izdarīt jau šonedēļ.
- Jebkuru svarīgu lēmumu, kas balstīts uz AI apkopotu informāciju no svešas lapas, pārbaudi pret pašu oriģinālo avotu.
- Ja veido pats savu mājaslapu, apzinies, ka slēpts teksts (baltas rakstzīmes, paslēptas sadaļas) tagad ir drošības jautājums, ne tikai SEO.
- Lietojot AI pētniecībai, lūdz tam vienmēr norādīt avota saiti, lai Tu vari pārbaudīt pirmavotu.
Uz ko skatīties.
- Iespējams, parādīsies vairāk gadījumu, kur mājaslapas ar slēptu tekstu mēģina manipulēt AI atbildes.
- Pagaidām AI atbilžu pārbaude paliek Tavā ziņā.
Šodienas aina
Visus trīs stāstus saista viena strukturāla pārmaiņa: AI aģenti vairs nav tikai palīgs, kas atbild uz jautājumiem — tie darbojas, pieņem lēmumus un piekļūst datiem. Tas padara tos noderīgus ikdienas darbā, bet tieši tāpēc tie kļūst arī par jaunu uzbrukumu un kļūdu avotu. Uzticēšanās vairs nav pašsaprotama — ne pret paša aģentu, ne pret datiem, ko tas apkopo, ne pret uzbrucējiem, kas lieto tos pašus rīkus. Lēmums par to, kādu piekļuvi dot un ko pārbaudīt, ir Tavs.
| Notikums | Sekas |
|---|---|
| Microsoft sauc AI aģentus par iekšējiem draudiem | Dod aģentam minimālas tiesības, ne pilnu piekļuvi |
| Uzlauzējs ar AI aģentu armiju ielaužas vairāk nekā 100 mājaslapās | Pamata aizsardzība (2FA, atjauninājumi) kļūst obligāta |
| WhatsApp slēptie norādījumi AI | AI apkopojumam no svešas lapas nevar akli uzticēties |
Trīs jautājumi Tev:
- Kuriem Tava uzņēmuma datiem AI rīki jau ir piekļuve — un vai tā visa ir vajadzīga?
- Vai visiem svarīgākajiem kontiem ir ieslēgta divpakāpju apstiprināšana?
- Vai komanda pārbauda AI apkopoto informāciju pret oriģinālo avotu, pirms pieņem lēmumu?
Vēl īsumā
- Anthropic un Nscale $45 mljrd. jaudas darījums — Anthropic, kas ražo Claude, ved sarunas par vēl vienu lielu skaitļošanas jaudas līgumu (TechCrunch (2 min lasīšana)). Tā ir Bloomberg ziņa, un sarunas vēl turpinās.
- CoreWeave parāds kļūst par visas AI nozares problēmu — AI jaudas piegādātāja parāds raisa bažas par visu nozari (The Verge (3 min lasīšana)).
- Disney pieņem darbā Character.AI darbiniekus un cenšas iegūt tās tehnoloģiju, bet ne tiesvedības — pēc tiesā iesniegtajiem dokumentiem Disney pieņēma darbā lielāko daļu Character.AI darbinieku un cenšas iegūt licenci uz tās kodu; Character.AI paliktu atbildīga par prāvām. Character.AI 12.10. pieteica bankrotu, un licence tiks izsolīta (Ars Technica).
- Anthropic dod ārējam uzraugam “darbiniekam līdzīgu” piekļuvi — AI uzņēmums ielaiž neatkarīgu uzraugu dziļāk savos procesos (Ars Technica (4 min lasīšana)).
- Fosilā kurināmā atgriešanās ASV enerģētikā — ASV pēdējā laikā būvē vairāk fosilā kurināmā infrastruktūras, un pieprasījumu audzē arī datu centri (The Verge (1 min lasīšana)).
Avoti
- Microsoft says AI agents are like insider threats — TechCrunch (5 min lasīšana)
- A hacker broke into John Deere and SharkNinja with an army of AI agents — The Verge (4 min lasīšana)
- WhatsApp’s help pages hid LLM instructions — redact.dev (13 min lasīšana)
- Nscale and Anthropic $45B compute deal — TechCrunch (2 min lasīšana)
- CoreWeave’s debt is becoming the whole AI industry’s problem — The Verge (3 min lasīšana)
- Disney found a way to buy Character.AI without buying its lawsuits — Ars Technica
- Anthropic gives outside AI watchdog “employee-like” access — Ars Technica (4 min lasīšana)
- The fossil fuel comeback is here — The Verge (1 min lasīšana)
AI ziņas biznesa vadītājiem
Divreiz nedēļā: ko AI jaunumi nozīmē Tavam biznesam. Bez tukšiem solījumiem, ar konkrētiem soļiem.