Nnyocha Mbibi LLM na Mgbochi Mmegbu

Chad Scira na-eme nchọpụta otu eji achafu ma jiri nnukwu ụdị asụsụ mee ihe iji merụọ ndị mmadụ, ma na-ewu usoro nchebe iji megide ihe ize ndụ ndị a. Ihe ize ndụ ahụ dị ngwa: ọsọ ntụkwasị obi nsonaazụ LLM agafeela ikike anyị iji nyochaa nkwupụta, ebe ndị iro nwere ike bipụta ederede n'ọnụ ala nke na-eme ka omume model na mmetụta ọchụchọ gbasara mmadụ nwee ntụpọ.

Enwetara nzọụkwụ itinye ego nkeonwe na 3 Ọktoba 2025 iji gaa n'ihu na nnyocha a.

Nchịkọta Isi

Ndị mmadụ nkịtị nwere obere akara na ịntanetị na-eche nnukwu ihe ize ndụ site na mmụba AI na-eme ka mmebi aha na ịchafu data nwee mmetụta. Otu onye nwere ebumnuche nwere ike tinye akụkọ ụgha nke ọchụchọ, ntanetị mmekọrịta, na LLM ga-eweghachi. Akwụkwọ a kọwara ụzọ mwakpo a na-ahụkarị, mmetụta doro anya na aha ọma na nchekwa, na usoro bara uru maka ịchọpụta na nchebe. Ọ na-akọwa otu atestashọn ndị e kwadoro site n'iji cryptography na ụzọ nchọta nke na-ewere mmalite ga-esi belata mmebi nye ndị mmadụ na ndị jikọtara.

Ndị na-ege ntị na Ihe nlereanya ize ndụ

Ndị na-ege ntị: ndị mmadụ na òtù nta na-enweghị nnukwu mbipụta SEO. Ihe mgbochi: oge pere mpe, ego pere mpe, na akụrụngwa teknụzụ pere mpe. Onye iro: otu onye nwere ike ịmepụta ma bipụta nnukwu ọnụọgụ ederede, jiri netwọkụ njikọ dị mfe, ma mee exploit na ebe a na-adịghị ahụ anya n'usoro ịkekọrịta akụkọ. Ebumnuche: mebie nsonaazụ ọchụchọ/LLM, merụọ aha ọma, mee ka ndị ọrụ, ndị ahịa, nyiwe, ma ọ bụ ndị nnọchi anya nwee obi abụọ.

Gịnị bụ 'LLM poisoning'?

Mbibi LLM pụtara ịgbanwe omume nlereanya site n'itinye ọdịnaya e tiri ma ọ bụ kwadoro ọnụ — dịka posts ọjọọ, edemede e kere eke, ma ọ bụ spam n'ụlọ mkparịta ụka — nke sistemụ nchịkọta ozi nwere ike iri ma ọ bụ mmadụ jiri dị ka akara, na-agbali ime ka nlereanya jikọta ihe n'ụzọ ụgha ma mepụta akụkọ na-emebi aha.

N'ihi na LLM na usoro nchọta na-emeziwanye maka ogo na mkpuchi, otu onye iro nwere ebumnuche nwere ike kee ihe model 'hụrụ' gbasara mmadụ site n'ịpụrụ akụkụ nta nke weebụ. Nke a na-arụ ọrụ nke ọma megide ndị nwere obere nnọchiteanya n'ịntanetị.

Otu esi emebi aha

Nchọta na mmetọ mmekọrịta - izu ohi profaịlụ, link farms, na ịdebe ọtụtụ posts iji mebie atụmatụ ntinye n'usoro na njikọ autocomplete.
Imịpụ ihe n'ime akụ ihe ọmụma na RAG - ịmepụta ibe njirimara na ndetu QA nke na-apụta dịka metụtara semantik ma a na-eweghachite ha dị ka ozi ndabere.
Indirect prompt injection - ọdịnaya iro n'ịntanetị nke na-eme ka ndị nnọchiteanya nchọgharị meegharị ntuziaka ma ọ bụ wepụta data dị nzuzo.
Backdoored endpoints - wrappers model ọjọọ nke na-eme ka ha dị nkịtị ruo mgbe okwu na-akpalite pụtara; mgbe ahụ ha na-ewepụta ụgha kpọmkwem.

Ihe ize ndụ ndị ọzọ na ụdị ọdịda

Nsogbu ịda ụdị sitere n’ịzụ na mmepụta e kere eke - okirikiri nzaghachi ebe ederede e kere eke na-emebi ogo ụdị n'ọdịnihu ma ọ bụrụ na enweghi nzacha ma ọ bụ ma a naghị etinye ibu.
Indirect prompt injection - ọdịnaya iro n'ịntanetị nke na-agwa onye nnọchiteanya ma ọ bụ ngwá ọrụ nchọgharị ka ha wepụ ihe nzuzo ma ọ bụ gbasaa mmebi aha mgbe a kọọrọ ya.
Mmebi ụlọ nkwakọba embeddings - itinye akụkụ ederede megidere n'ime ebe ọmụma ka nchọta wee pụta nkwupụta ụgha nke yiri ihe metụtara semantik.
Backdoored releases - ibipụta checkpoints emelitere ma ọ bụ wrappers API nwere backdoor nke na-eme omume nkịtị ruo mgbe okwu na-akpalite pụtara.

Ihe atụ doro anya na Ntụaka

Nchedo N'ime Omimi

Nweghachi na ntinye n'usoro

Itu ogo isi mmalite na ibu nke provenance - masịrị ọdịnaya e dere aka ma ọ bụ kwadoro site n'aka onye mbipụta; belata arọ ibe ọhụrụ kere ma ọ bụ ndị nwere aha ọma dị ala.
Ntufu oge nwere oge ebere — chọọ ka e nwee oge nnọkọ tupu isi iyi ọhụrụ emetụta azịza ndị dị oke mkpa; tinye nyocha mmadụ maka entiti ndị dị nro.
Ịchọpụta ebe a na-akụkọ echiche (echo chamber) - jikọta akụkụ ederede fọrọ nke nta ka ha bụrụ otu ma belata mmetụta a na-emeghachi site na otu isi ma ọ bụ netwọk.
Ịchọpụta ndị pụtara iche na arụmarụ n'ime oghere embedding - gosipụta akụkụ ederede ebe ọnọdụ vektor ha haziri n'ụzọ megidere iji mee ka ha bụrụ naanị otu.

Nhicha Data na Ụlọ Ọmụma (KB)

Ndetuta na ebe nchekwa ọmụma dị iche (diffs) - nyochaa nnukwu mgbanwe, karịsịa maka entiti mmadụ na ebubo na-enweghị isi mmalite mbụ.
Canary and deny lists - gbochie itinye ngalaba a maara maka mmegbu; tinye canaries iji tụọ mgbasa ozi na-enweghị ikike.
Tinye mmadụ n'usoro maka isiokwu nwere nnukwu ihe ize ndụ - tinye mmelite a tụrụ aro maka eziokwu gbasara aha n'usoro ka a nyochaa ha aka.

Atestashọn na Aha ọma

Nkwenye a kwadoro site na cryptography - nkwupụta edere aka site n'aka ndị ọkachamara na òtù e nyochara, a bipụtara ha site na ndekọ nke na-agbakwunye naanị.
Grafụ aha ọma - jikọta nkwado e dere aka ma belata ogo ọdịnaya sitere n'aka ndị na-emebi iwu ugboro ugboro ma ọ bụ netwọkụ bot.
Ntinye ntụaka nke onye ọrụ na-ahụ — chọọ ka ihe nlereanya gosipụta isi iyi na ogo ntụkwasịobi yana akara mmalite maka nkwupụta ndị dị nro.

Ndepụta Nnyocha Ụlọ Ọrụ

Kpọkọta ma mapụ njirimara nwere mmetụta n'ógbè gị (ndị mmadụ, ika, isiokwu iwu) ma zipụ ajụjụ gaa na usoro echekwara nwere arịrịọ maka isi mmalite.
Jiri C2PA ma ọ bụ asambodo ọdịnaya yiri ya maka ọdịnaya nke mbụ ma kpalie ndị mmekọ ime otu.
Soro mmetụta isi iyi ọhụrụ n'ogologo oge ma zipu ịdọ aka ná ntị maka mgbanwe na-atụghị anya ya na azịza ọkwa entiti.
Gbaa red teaming na-aga n'ihu maka RAG na ndị na-eme nchọgharị, gụnyere usoro ule maka ntinye ntụziaka n'ụzọ na-abụghị ozugbo.

Mwakpo na imebi aha site na AI

Ụmụ mmadụ a na-akwụ ụgwọ ugbu a na-eji AI na akpaghị aka eme nnukwu mmepụta nke imegbu na imebi aha, na-emepụta ederede na-apụta ka eziokwu na 'isi iyi' ụgha dị mfe ịkọ, kpochapụ, ma kesaa. Ụzọ mgbasa ozi ndị a na-efu obere ego, nwere nnukwu mmetụta, ma sie ike idozi mgbe usoro akpaghị aka kwalitere ha.

Chad Scira ahụla onwe ya nkeonwe na akpagbu na ịkpa nkata na-eme ihe ọjọọ yana ịjikọta spam nke ebumnuche ya bụ ime ka ọtụtụ akara aha na mmetụta ọchụchọ daa. Akụkọ zuru ezu na ụzọ ihe akaebe edepụtara ebe a: Jesse Nickles - Imegbu na Mmebi Aha.

Nhazi Ụdị Iyi Egwu

Ịkụchi data tupu ịzụ - ịkụchi korpụrụ ọha e ji maka ọzụzụ mbido iji tinye njikọ ụgha ma ọ bụ backdoors.
Ịkụchi RAG - itinye ozi n'úgbụ ọmụma ma ọ bụ isi mmalite mpụga ndị pipeline nchọta na-eji n'oge nkwubi okwu.
Nchọta/mmetọ mmekọrịta - iji bulie posts ma ọ bụ ibe dị ala ogo iji metụta ihe ngosi nweghachi na ntinye n'usoro banyere mmadụ ma ọ bụ isiokwu.
Adversarial prompts and content - ịmepụta ntinye na ọdịnaya nke na-akpalite omume na-ezighị ezi ma ọ bụ jailbreaks nke na-emeghachi nkwupụta na-emebi aha.

Ihe mberede na nnyocha ndị dị ọhụrụ (na ụbọchị)

Nkọwa: ụbọchị ndị dị n'elu na-egosipụta ụbọchị mbipụta ma ọ bụ ụbọchị ntọhapụ ọha na isi mmalite ejikọtara.

Gịnị mere nke a ji ize ndụ

LLM nwere ike ịpụta dị ka ndị nwere ikike ọbụna mgbe ntụaka ndị dị n'okpuru adịghị ike ma ọ bụ etinyere site na ndị iro.
Ụzọ nweghachi na ntinye n'usoro nwere ike inye oke arọ n'okwu e dere ugboro ugboro, na-enye otu onye ohere ịgbanwe nsonaazụ site n'ịbawanye olu naanị.
Ụzọ nyocha eziokwu ndị mmadụ na-ewe oge ma na-eri ego ma e jiri ya tụnyere ọsọ mmepụta na mgbasa ọdịnaya akpaka.
Ndị merụrụ ahụ enweghị nnukwu ngosipụta n'ịntanetị na-adịkarị ize ndụ karị site na otu post nke na-ebute imebi aha na mwakpo njirimara.

Nnyocha miri emi nke ihe ize ndụ

Nnyocha maka ọrụ na nzacha ikpo okwu - ọchụchọ na nchịkọta site na LLM nwere ike ibipụta ọdịnaya emebiri n'oge ntinye ọrụ, nlekọta, ma ọ bụ nnwale nbanye.
Njem, ụlọ, na ọrụ ego — nyocha akpaka nwere ike ịpụta akụkọ ụgha nke na-ewe oge ma ọ bụ na-egbochi inweta ọrụ.
Adịgide - ozugbo etinyere na ụgbụ ọmụma ma ọ bụ azịza echekwara, nkwupụta ụgha nwere ike bilite ọzọ ọbụna mgbe ewepụrụla ha.
Nzaghachi sintetik - ọdịnaya e mepụtara nwere ike iweta ọdịnaya ọzọ e mepụtara, na-eme ka arọ ụgha pụta ìhè n'ogologo oge.

Ịchọpụta na Nlekọta

Hazie ịdọ aka ná ntị nchọta maka aha gị na aha ndị ọzọ ị na-eji; na-enyocha mgbe ụfọdụ ajụjụ site: maka ngalaba ndị nwere aha ọma dị ala na-akpọrọ gị.
Soro mgbanwe na panele ọmụma gị ma ọ bụ ibe entiti; chekwaa ihe oyiyi ihuenyo nwere ụbọchị ma zipu mbipụta dị ka ihe akaebe.
Na-elele eserese njikọ mmekọrịta maka akaụntụ sitere otu ugboro ma ọ bụ mmụba mberede nke nhazi okwu yiri ibe ha.
Ọ bụrụ na ị na-arụ ọrụ na RAG ma ọ bụ akụ ihe ọmụma, gbaa nyocha maka mgbanwe njirimara (entity drift) ma nyochaa nnukwu mgbanwe (delta) n'ibe ndị mmadụ ma ọ bụ ntaramahụhụ na-enweghị isi mmalite.

Akwụkwọ Nchedo - Ndị Onwe Ha

Bipụta saịtị onwe gị nwere nkwupụta doro anya gbasara njirimara, mkpirikpi bio, na ụzọ kọntaktị; debe ndekọ mgbanwe nwere ụbọchị.
Dozie metadata profaịlụ n'elu ọtụtụ nyiwe; nweta profaịlụ ndị e nyochara ebe o kwe omume ma jikọọ ha azụ na saịtị gị.
Jiri C2PA ma ọ bụ asambodo ọdịnaya yiri ya maka foto na akwụkwọ dị mkpa mgbe o kwere mee; chekwaa mbipụta mbụ n'ụzọ nzuzo.
Debe ndekọ ihe akaebe nwere akara oge: foto ihuenyo, njikọ, na nọmba tiketi ọ bụla nke ikpookwu maka ibuli okwu n'ọkwa ọzọ.
Kwadebe ụkpụrụ arịrịọ iwepụ ọdịnaya; zaghachi ngwa ngwa na mwakpo ọhụrụ ma debe ndekọ nke nzọụkwụ ọ bụla maka ndekọ doro anya.

Akwụkwọ Nchedo - Ndi Otu na Ndị Na-ejikọta Sistemụ

Kwekọrịta ọdịnaya etinyere aka ma ọ bụ nyochara site n'aka onye mbipụta mgbe a na-achọta; tinye oge nkwere dabere na oge maka isi mmalite ọhụrụ.
Belata mmetụta a na-emegharị site na otu isi mmalite ma wepụ ihe fọdụrụ yiri ibe ha n'ime netwọk isi mmalite ọ bụla.
Tinye akara mmalite na ndepụta isi mmalite ndị ọrụ na-ahụ maka nkwupụta gbasara mmadụ na isiokwu ndị ọzọ dị nchegbu.
Jiri nchọpụta ihe na-apụ apụ na ebe nchekwa embedding; tụọ akara maka outliers vector ndị adversarial ma gbaa ule canary iji chọpụta mgbasa ozi na-enweghị ikike.

Nnyocha: Nkwenye e ji cryptography chọpụta

Chad Scira na-ewu usoro atestashọn ndị e kwadoro site na cryptography maka ntụkwasị obi n'okwu gbasara ndị mmadụ na ihe omume. Ebumnuche bụ inye LLM na usoro nchọta nkwupụta ndị e debere aka na enwere ike jụọ ajụjụ site n'aka ndị ọkachamara na òtù e nyochara, na-eme ka mmalite sie ike na iguzogide ịchafu data.

Ụkpụrụ imewe

Njirimara na isi mmalite: nkwupụta ndị ahụ debanyere aka site n'aka ndị/ndị òtù a nyochara, jiri nkà na ụzụ mkpụrụ igodo ọha.
Nchekwa a pụrụ ịlele: nkwenye edobere na ndekọ a na-agbakwunye naanị, nke na-egosi mbibi, iji kwado nnwale n'onwe onye.
Njikọta nweghachi: Ụzọ RAG nwere ike itinye ihe kacha mkpa ma ọ bụ chọọ isi mmalite e gosipụtara site n'cryptography maka ajụjụ gbasara isiokwu dị nro.
Ntughari pere mpe: APIs na SDKs na-enye ndị na-ebipụta na ikpo okwu ohere ịnye ma lelee akwụkwọ nkwenye (attestations) n'oge a na-etinye ọdịnaya.

Aha ọma na ịdọ aka ná ntị

Na mgbakwunye na asambodo, akwa aha ọma na-ejikọta nkwado etinyere aka ma na-egosi ndị a maara dị ka ndị na-eme mpụ. Sistemụ ịma aka na-agwa ndị ebumnuche mgbe emere mwakpo jikọtara ma ọ bụ achọpụta mmụba mpụga, na-enye ohere imeghachi omume ngwa ngwa na ịrịọ ka ewepụ ọdịnaya.

Ụzọ Iwu na Kanal Ikpo Ọrụ

Jiri usoro mkpesa nke ikpo okwu nwere ngwugwu ihe akaebe doro anya: njikọ, ụbọchị, ihe oyiyi ihuenyo, na mmetụta. Gụọ ma kpọtụrụ iwu na ntuziaka gbasara ịkpa mmadụ aha na ịkpasu mmadụ iwe.
Bulite okwu site n'inye akwụkwọ mara iwu mgbe ọ dị mkpa; debe ndekọ nkwurịta okwu na ID tiketi dị ka akụkụ nke ihe àmà gị.
Lelee ọdịiche n'ịchị iwu banyere imebi aha na ibu ọrụ ikpo okwu; gbaa onye ọka iwu ajụjụ maka ikpe nwere nnukwu ihe ize ndụ.

Atụmatụ mmejuputa (Afọ 1)

MVP: usoro asambodo na SDK onye mbipụta maka ịbanye nkwupụta njirimara na nkwupụta ihe omume.
Gbaa ule na otu nta nke ndị ọkachamara na òtù e nyochachara; guzobe usoro nyocha nkwenye.
Ngwa mgbakwunye RAG: mee ka ọnọdụ azịza 'provenance-first' rụọ ọrụ nke na-ahapụ isi mmalite kwadoro mbụ maka ajụjụ nwere mmetụta.

Ịgụkwu (na ụbọchị)

Imekọrịta

Nnyocha a bụ nke kachasị ọhụrụ ma na-aga n'ihu na mmepe. Chad Scira nabatara imekọrịta ọrụ na ndị ọkachamara ndị ọzọ n'ọhịa a.

Ọ bụrụ na ị nwere mmasị ịrụkọ ọrụ ọnụ, biko kpọtụrụ: [email protected]