Stiže moćni čip za AI, s najvećim kapacitetom do sada

"Južnokorejski tehnološki gigant Samsung Electronics objavio je da je razvio novi memorijski čip koji ima "najveći kapacitet do sada" za veštačku inteligenciju (AI)."

Ni blizu tačno, najjači čip sa najviše jezgara i najviše memorije i najveće brzine je Cerebras WSE-2, koji ima 850.000 jezgara, 2600 milijardi tranzistora, nekih 40GB keša sa brzinom protoka od 20 petabita u sekundi.
Samo jedan taj čip omogućava treniranje LLM do 120.000 milijardi parametara, a nude sisteme sa do maksimalno 192 ovakva čipa, s tim da je 16 dovoljno za većinu NLP modela.

Postoji mogućnost iznajmljivanja servisa kod Cirrascale Cloud Services, na kome za oko 2500$ možete da istrenirate ChatGPT-3 za samo 10 sati, dok je za model sa 70 milijardi parametara potrebno čak 85 dana i koštalo bi oko 2.5 miliona dolara.

Na žalost, treniranje velikih jezičkih modela za bilo kakvu realnu primenu sada je u rukama samo nekoliko kompanija i startapova, svi ostali su izbačeni iz igre i mogu samo da se igraju nekim manjim modelima tražeći malo brže algoritme ili kvalitetnije modele, koji će opet za realnu primenu moći da se treniraju samo kod ovih nekoliko kompanija i startapova.

Here we go

Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...

Sto mi ovo lici na film Terminator ?

jel to moze da se ugradi u glavu?ja bi jedan oma!

Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...
(Visoka peć za promašene slučajeve, 01. mart 2024 21:29)
…………………..
@Pećinko:

Pa, gde si, bre, Vonjo stari iBalegaru!? Opet si se pritajio u svom toilet-barbie-world? Moram priznati da najviše volim da čitam tvoje tourette-komentare. Iako uvek isti, nepogrešivo odišu tvojim staništem. Živ nam bio 100 godina, majstore! ;-)))

Osim treniranja, bitni su i podaci sa kojima se trenira. I to ne može da prikupi svako, nego samo bogati i oni koji su u poziciji da uzimaju podatke bez pitanja, vlasnici operativnih sistema, socijalnih mreža, medicinskih ustanova i tome slično (i država naravno može da nas natera da dajemo podatke koji će nekom da korisno posluže). S druge strane, ljudski mozak nije superkompjuter a ipak efikasno trenira svoje neurone. Dakle postoji prostor za dalji napredak tih algoritama i metoda prikupljanja podataka (da se podaci i treniranje decentralizuju ali da rezultati, "znanje" se integriše kao što to ljudi rade kroz knjige itd).

Ovo je DRAM

Kako mozes da treniras AI? Sta tu ima da se trenira? Ili radi ili ne radi. Ne razumem

Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...

jel to moze da se ugradi u glavu?ja bi jedan oma!

"Južnokorejski tehnološki gigant Samsung Electronics objavio je da je razvio novi memorijski čip koji ima "najveći kapacitet do sada" za veštačku inteligenciju (AI)."

Ni blizu tačno, najjači čip sa najviše jezgara i najviše memorije i najveće brzine je Cerebras WSE-2, koji ima 850.000 jezgara, 2600 milijardi tranzistora, nekih 40GB keša sa brzinom protoka od 20 petabita u sekundi.
Samo jedan taj čip omogućava treniranje LLM do 120.000 milijardi parametara, a nude sisteme sa do maksimalno 192 ovakva čipa, s tim da je 16 dovoljno za većinu NLP modela.

Postoji mogućnost iznajmljivanja servisa kod Cirrascale Cloud Services, na kome za oko 2500$ možete da istrenirate ChatGPT-3 za samo 10 sati, dok je za model sa 70 milijardi parametara potrebno čak 85 dana i koštalo bi oko 2.5 miliona dolara.

Na žalost, treniranje velikih jezičkih modela za bilo kakvu realnu primenu sada je u rukama samo nekoliko kompanija i startapova, svi ostali su izbačeni iz igre i mogu samo da se igraju nekim manjim modelima tražeći malo brže algoritme ili kvalitetnije modele, koji će opet za realnu primenu moći da se treniraju samo kod ovih nekoliko kompanija i startapova.

Sto mi ovo lici na film Terminator ?

Here we go

Kako to da vlasnici budjavog iOgriska nisu tako nešto za njihove malomoždane iDebiloide napravili? Mada je malo verovatno da njihovom ultra minimalnom intelektu može pomoći i najbolji AI algoritam i procesor...
(Visoka peć za promašene slučajeve, 01. mart 2024 21:29)
…………………..
@Pećinko:

Pa, gde si, bre, Vonjo stari iBalegaru!? Opet si se pritajio u svom toilet-barbie-world? Moram priznati da najviše volim da čitam tvoje tourette-komentare. Iako uvek isti, nepogrešivo odišu tvojim staništem. Živ nam bio 100 godina, majstore! ;-)))

Kako mozes da treniras AI? Sta tu ima da se trenira? Ili radi ili ne radi. Ne razumem

Ovo je DRAM

Osim treniranja, bitni su i podaci sa kojima se trenira. I to ne može da prikupi svako, nego samo bogati i oni koji su u poziciji da uzimaju podatke bez pitanja, vlasnici operativnih sistema, socijalnih mreža, medicinskih ustanova i tome slično (i država naravno može da nas natera da dajemo podatke koji će nekom da korisno posluže). S druge strane, ljudski mozak nije superkompjuter a ipak efikasno trenira svoje neurone. Dakle postoji prostor za dalji napredak tih algoritama i metoda prikupljanja podataka (da se podaci i treniranje decentralizuju ali da rezultati, "znanje" se integriše kao što to ljudi rade kroz knjige itd).