oss 150 kroner!
Hypen rundt kunstig intelligens, det nå mislykkede amerikanske forsøket på å monopolisere den, og det nylige mottrekket fra Kina, er en leksjon i hvordan man innoverer. De viser også at USA mister evnen til å gjøre det.
Av Moon of Alabama
I midten av 2023, da kunstig intelligens-hypen fikk overskrifter, skrev jeg:
‘Kunstig intelligens’ er (for det meste) glorifisert mønstergjenkjenning
For tiden er det en viss hype om en familie av store språkmodeller som ChatGPT. Programmet leser naturlig språk-inndata og behandler det til noe relatert naturlig språkinnhold. Det er ikke nytt. Den første Artificial Linguistic Internet Computer Entity (Alice) ble utviklet av Joseph Weizenbaum ved MIT på begynnelsen av 1960-tallet. Jeg hadde morsomme samtaler med ELIZA på 1980-tallet, på en stormaskin-terminal. ChatGPT er litt smartere og dens repeterende resultater, det vil si «samtalene» den skaper, kan godt forbløffe noen mennesker. Men hypen rundt det er uberettiget.
…
For tiden er den faktiske korrektheten av resultatene fra de beste store språkmodellene anslagsvis 80 %. De behandler symboler og mønstre, men har ingen forståelse av hva disse symbolene eller mønstrene representerer. De kan ikke løse matematiske og logiske problemer, ikke engang veldig grunnleggende.Det finnes nisjeapplikasjoner, som å oversette skriftspråk, der AI eller mønstergjenkjenning har fantastiske resultater. Men man kan fortsatt ikke stole på at de får hvert ord riktig. Modellene kan være assistenter, men man må alltid dobbeltsjekke resultatene.
Totalt sett er riktigheten til dagens KI-modeller fortsatt altfor lav til at de kan avgjøre noen situasjon i den virkelige verden. Mer data eller mer datakraft vil ikke endre det. Hvis man ønsker å overvinne deres begrensninger, må man finne noen fundamentalt nye ideer.
(En hype er en betegnelse på opphausende og eventuelt manipulerende omtale eller markedsføring, for eksempel reklame som skaper store forventninger til et produkt eller et fenomen ved hjelp av overdrivelser.)
Men hypen fortsatte. En stor KI-modell, ChatGPT, ble levert av en ideell organisasjon, OpenAI. Men administrerende direktør, Sam Altman, luktet snart den store summen dollar han muligens kunne tjene. Et år etter å ha forsvart den ideelle strukturen til OpenAI, raidet Altman effektivt styret og privatiserte organisasjonen:
ChatGPT-produsenten OpenAI jobber med en plan for å omstrukturere kjernevirksomheten til et profittselskap, som ikke lenger vil bli kontrollert av det ideelle styret, sa folk som er kjent med saken til Reuters, i et trekk som vil gjøre selskapet mer attraktivt for investorer.
…
Administrerende direktør Sam Altman vil også motta egenkapital for første gang i for-profitt-selskapet, som kan være verdt 150 milliarder dollar etter restruktureringen, da det også prøver å fjerne taket på avkastning for investorer, la kilder til.
Den store ChatGTP-språkmodellen, OpenAI leverte, var lukket kildekode. En black-box, som kjører i skyen, som man kan betale for å chatte med eller bruke til å oversette, generere innhold eller analysere visse problemer.
Opplæring og vedlikehold av ChatGTP tok store mengder datakraft og penger. Det var dyrt, men det var ingen ny teknologi i det. Algoritmene den brukte var velkjente, og treningsdataene som trengtes for å «programmere» den var fritt tilgjengelig internettinnhold.
Til tross for all hypen om KI, er det ikke en hemmelighet eller til og med ny teknologi. Inngangsbarrierene for enhver konkurranse er lave.
Det er grunnen til at Yves i Naked Capitalism, som pekte på Edward Zitron, spurte: «Hvordan overlever OpenAI?» Det gjør den ikke. Eller har liten sjanse til å gjøre det. Diskusjoner i USA anerkjente aldri disse fakta.
Politikere tenkte på KI som den neste store tingen som ville fremme amerikansk kontroll over verden. De forsøkte å forhindre enhver potensiell konkurranse om ledelsen USA trodde de hadde på det feltet. Nvidea, den siste ledende amerikanske chips-produsenten, tapte milliarder da det ble forbudt å selge de nyeste KI-spesialiserte modellene til Kina.
For to dager siden kunngjorde Trump Stargate, en investering i AI-infrastruktur på 500 milliarder dollar i USA:
Tre toppteknologifirmaer kunngjorde tirsdag at de vil opprette et nytt selskap, kalt Stargate, for å utvide infrastruktur for kunstig intelligens i USA.
OpenAI-sjef Sam Altman, SoftBank-sjef Masayoshi Son og Oracle-styreleder Larry Ellison dukket opp i Det hvite hus tirsdag ettermiddag, sammen med president Donald Trump for å kunngjøre selskapet, som Trump kalte det «største KI-infrastrukturprosjektet i historien».
Selskapene vil investere 100 milliarder dollar i prosjektet i starten, med planer om å pøse opptil 500 milliarder dollar inn i Stargate i løpet av de kommende årene. Prosjektet forventes å skape 100 000 amerikanske arbeidsplasser, sa Trump.
Stargate vil bygge «den fysiske og virtuelle infrastrukturen for å drive neste generasjon KI», inkludert datasentre rundt om i landet, sa Trump. Ellison sa at gruppens første dataprosjekt på 1 million kvadratmeter allerede er under bygging i Texas.
Samme dag, men med mye mindre støy, publiserte et kinesisk selskap en annen KI-modell:
Vi introduserer våre førstegenerasjons resonneringsmodeller, DeepSeek-R1-Zero og DeepSeek-R1. DeepSeek-R1-Zero, en modell trent via storskala forsterkende læring (RL) uten overvåket finjustering (SFT) som et foreløpig trinn, demonstrerte bemerkelsesverdig ytelse på resonnement. Med RL dukket DeepSeek-R1-Zero naturlig opp med en rekke kraftige og interessante resonneringsatferder.
De nye DeepSeek-modellene har bedre referanseresultater enn noen annen tilgjengelig modell. De bruker en annen kombinasjon av teknikker, mindre treningsdata og mye mindre datakraft for å oppnå det. De er billige å bruke og, i motsetning til OpenAI, ekte åpen kildekode.
Amerikanske eksportkontroller på avanserte halvledere var ment å bremse Kinas KI-fremgang, men de kan utilsiktet ha ansporet til innovasjon. Ute av stand til å stole utelukkende på den nyeste maskinvaren, har selskaper som Hangzhou-baserte DeepSeek blitt tvunget til å finne kreative løsninger for å gjøre mer med mindre.
…
Denne måneden ga DeepSeek ut sin R1-modell, ved å bruke avanserte teknikker som ren forsterkningslæring for å lage en modell som ikke bare er blant de mest formidable i verden, men som er helt åpen kildekode, noe som gjør den tilgjengelig for alle i verden å undersøke, modifisere og bygge videre på.
…
DeepSeek-R1s ytelse er sammenlignbar med OpenAIs beste resonneringsmodeller på tvers av en rekke oppgaver, inkludert matematikk, koding og kompleks resonnement. For eksempel, på AIME 2024 matematikkreferanse, scoret DeepSeek-R1 79.8 % sammenlignet med OpenAI-o1s 79.2 %. På MATH-500-referansen oppnådde DeepSeek-R1 97,3 % mot o1s 96,4 %. I kodeoppgaver nådde DeepSeek-R1 96,3-persentilen på Codeforces, mens o1 nådde 96,6-persentilen – selv om det er viktig å merke seg at referanseresultater kan være ufullkomne og ikke bør overtolkes.Men det som er mest bemerkelsesverdig er at DeepSeek var i stand til å oppnå dette i stor grad gjennom innovasjon i stedet for å stole på de nyeste databrikkene.
Nature er også imponert:
En kinesiskbygd stor språkmodell kalt DeepSeek-R1 begeistrer forskere som en rimelig og åpen rival til «resonneringsmodeller» som OpenAIs o1.
…
«Dette er vilt og helt uventet», skrev Elvis Saravia, en KI-forsker og medgründer av det britiske KI-konsulentfirmaet DAIR. AI, på X.R1 skiller seg ut av en annen grunn. DeepSeek, oppstarten i Hangzhou som bygde modellen, har gitt den ut som «åpen vekt», noe som betyr at forskere kan studere og bygge videre på algoritmen. Publisert under en MIT-lisens, kan modellen fritt gjenbrukes, men anses ikke som fullstendig åpen kildekode, fordi treningsdataene ikke er gjort tilgjengelige.
«Åpenheten til DeepSeek er ganske bemerkelsesverdig», sier Mario Krenn, leder for Artificial Scientist Lab ved Max Planck Institute for the Science of Light i Erlangen, Tyskland. Til sammenligning er o1 og andre modeller bygget av OpenAI i San Francisco, California, inkludert den siste innsatsen o3, «i hovedsak svarte bokser», sier han.
Selv langsiktige Internett-investorer, som har sett alt, er imponert:
Marc Andreessen 🇺🇸 @pmarca – 9:19 UTC · 24. januar 2025
Deepseek R1 er et av de mest fantastiske og imponerende gjennombruddene jeg noen gang har sett – og som åpen kildekode, en virkelig gave til verden. 🤖🫡
Nature legger til:
DeepSeek har ikke gitt ut hele kostnaden for opplæring av R1, men den belaster folk som bruker grensesnittet rundt en trettiendedel av hva o1 koster å kjøre. Firmaet har også laget mini «destillerte» versjoner av R1 for å la forskere med begrenset datakraft leke med modellen.
Det fungerer faktisk!
Brian Roemmele @BrianRoemmele – 14:34 UTC · 23. januar 2025
Folkens, jeg tror vi har klart det!
Hvis tester over natten bekreftes, har vi ÅPEN KILDEKODE, DeepSeek R1 som kjører med 200 tokens per sekund på en IKKE-INTERNETT-tilkoblet Raspberry Pi.
En full grense-KI bedre enn «OpenAI», som eies fullt ut av deg i lommen, gratis å bruke!
Jeg vil gjøre Pi-bildet tilgjengelig så snart alle testene er fullført.
Du bare putter den inn i en Raspberry Pi, og du har KI!
Dette er bare starten på kraften som finner sted når du VIRKELIG bruker Open Source i en KI-modell.
Den nyeste Rasberry Pi-maskinvaren starter på $50. Programvaren er gratis.
Dette er et døden for OpenAI:
Arnaud Bertrand @RnaudBertrand – 14:23 UTC · 21. januar 2025
De fleste skjønner sannsynligvis ikke hvor dårlige nyheter Kinas Deepseek er for OpenAI.
De har funnet opp med modell som matcher og til og med overgår OpenAIs nyeste modell o1 på ulike referanseresultater, og den koster bare 3% av prisen.
Det er i hovedsak som om noen hadde gitt ut en mobil på nivå med iPhone, men solgte den for $30 i stedet for $1000. Det er så dramatisk.
Dessuten slipper de den som åpen kildekode, slik at du til og med har muligheten – som OpenAI ikke tilbyr – til å ikke bruke API-en deres i det hele tatt og kjøre modellen «gratis» selv. …
Bakgrunnshistorien til DeepSeek er også fantastisk.
I 2007 satte tre kinesiske ingeniører seg fore å bygge et kvantefond (finansiell spekulasjon) ved hjelp av KI. De ansatte sultne folk, ferske fra universitetene. High-Flyer-fondet deres var til en viss grad vellykket, men gjennom de siste årene begynte den kinesiske regjeringen å slå ned på finansteknikk, kvantehandel og spekulasjon.
Med tid på hånden og ubrukt datakraft på bakrommet, begynte ingeniørene å bygge DeepSeek-modellene. Kostnadene var minimale. Mens OpenAI, Meta og Google brukte milliarder på å bygge KI-ene sine, var opplæringskostnadene for de publiserte DeepSeek-modellene bare 5 til 6 millioner dollar.
Henry Shi @henrythe9ths – 23:20 · 20. januar 2025
7. Lærdommen?
Noen ganger betyr det å ha mindre å innovere mer. DeepSeek beviser at du ikke trenger:
– Milliarder i finansiering
– Hundrevis av doktorgrader
– En berømt karriere
Bare strålende unge sinn, motet til å tenke annerledes og pågangsmotet til å aldri gi opp
En annen lærdom er at briljante unge sinn ikke bør kastes bort for å optimalisere finansiell spekulasjon, men for å lage ting man kan bruke.
DeepSeek demonstrerer hvordan det er umulig å bruke handels- og teknologibarrierer for å holde teknologi unna konkurrenter. De kan, med anstendige ressurser, ganske enkelt innovere rundt disse.
Selv milliarder av dollar, høylytte markedsførere som Trump og selvpromoterende svindlere som Sam Altman, kan ikke lykkes med å konkurrere med et lag av godt trente ingeniører.
Som en forfatter på Guancha bemerker (maskinoversettelse):
I den kinesisk-amerikanske vitenskaps- og teknologikrigen, kommer Kinas unike fordel nettopp fra det amerikanske forbudet. Det kan sies at vår sterke vilje til å overleve ble tvunget ut av Washington, og å maksimere våre begrensede ressurser er hemmeligheten for å bryte gjennom. I historien er ikke denne typen fortellinger nye, det vil si at de svake seirer over de sterke, og de små kjemper mot de store.
Den amerikanske siden vil falle inn i et Vietnam-lignende dilemma – stole for mye på sin egen absolutte fordel, og dermed kaste bort mye ressurser og miste seg selv til internt forbruk.
Hvor lenge tar det før USA (gjen) lærer den leksen?
Postet av b på januar 24, 2025 kl. 15:46 UTC | Permalink
Denne artikkelen er hentet fra Moon of Alabama:
MoA – How The Chinese Beat Trump And OpenAI
Oversatt for steigan.no av Espen B. Øyulvstad
