Naujausias „OpenAI“ modelis gpt-oss-20b leidžia „Mac“ kompiuteryje paleisti „ChatGPT“ stiliaus DI visiškai nemokamai – be prenumeratos, be interneto ir be paslėptų sąlygų.
2025 m. rugpjūčio 5 d. „OpenAI“, po kelerių metų pertraukos, pristatė pirmuosius atvirojo svorio didelius kalbos modelius, leidžiančius „Mac“ naudotojams naudotis „ChatGPT“ tipo įrankiais neprisijungus. Tinkamai sukonfigūravus, dauguma „Apple Silicon“ kompiuterių jau gali savarankiškai apdoroti sudėtingus DI uždavinius – be prenumeratų ir be nuolatinio interneto ryšio.
Anksčiau tokios galios dirbtinio intelekto paleidimas „Mac“ reikalavo mokamų debesijos paslaugų ar sudėtingos serverių programinės įrangos. Nauji „gpt-oss-20b“ ir „gpt-oss-120b“ modeliai šią situaciją iš esmės keičia.
Šie modeliai pateikiami kaip parsisiunčiami moduliai, suderinami su populiariais vietiniais DI įrankiais, tokiais kaip „LM Studio“ ar „Ollama“.
Be to, prieš parsisiunčiant galite juos išbandyti tiesiog naršyklėje – gpt-oss.com siūlo nemokamą demonstraciją, kurioje matysite, kaip modelis rašo, programuoja ar atsakinėja į bendrus klausimus.
Ką reikia turėti?
Minimalūs reikalavimai: bent M2 procesorius ir bent 16 GB RAM atminties. Kuo daugiau RAM – tuo geriau. Jei naudojate M1, geriau rinktis „Max“ arba „Ultra“ lusto versijas turintį kompiuterį. Ypač tinka „Mac Studio“ dėl geresnio aušinimo.
Modelis veiks ir su „MacBook Air“ (M3, 16 GB RAM), tačiau kompiuteris gali stipriai kaisti ir rezultatą grąžinti lėčiau. Žiūrėkite į tai kaip į žaidimų paleidimą „Mac“ – įmanoma, bet „reikalas“ imlus resursams.
Paleidimui reikia vieno iš šių įrankių:
- LM Studio – nemokama programa su patogia grafinė sąsaja.
- Ollama – komandinės eilutės įrankis su modelių valdymu.
- MLX – „Apple“ DI biblioteka, kurią naudoja abi minėtos programos.
Šie įrankiai pasirūpina modelio atsisiuntimu, suderinamumu ir įdiegimu.
Kaip naudoti Ollama
„Ollama“ – lengvas įrankis, leidžiantis greitai paleisti vietinius DI modelius per „Terminalą“.
- Įdiekite „Ollama“ pagal instrukcijas pateiktas svetainėje ollama.com
- Atidarykite „Terminal“ aplikaciją ir joje įveskite:
Tai atsisiųs ir paleis modelį.
ollama run gpt-oss-20b - „Ollama“ automatiškai parinks tinkamą kvantizuotą modelio versiją.
- Po įkrovos pamatysite užklausos laukelį – galite iškart pradėti pokalbį.
Viskas veikia kaip „ChatGPT“, tik be interneto.
Atsisiuntimo laikas priklauso nuo jūsų interneto greičio, nes atsisiunčiamas modulis užima apie 12 GB.
Našumas ir ribojimai
20 mlrd. parametrų modelis yra sumažintas iki 4 bitų formato, todėl jį galima naudoti ir su tik 16 GB RAM turinčiais „Mac“.
Jis tinkamas šioms užduotims:
- Tekstų rašymas ir santraukos
- Klausimų atsakymai
- Programų kodo generavimas ir klaidų taisymas
- Struktūrinis funkcijų kvietimas
Sudėtingesnės užduotys vykdomos lėčiau, nei debesijoje veikiančiu „GPT-4o“, tačiau kasdieniam darbui modelis pakankamai spartus. Didesnis 120b modelis reikalauja net 60–80 GB RAM, tad tinka tik galingoms darbo stotims ar moksliniams tyrimams.
Kodėl verta naudoti vietinį DI?
- Privatumas – duomenys niekur neišeina iš jūsų kompiuterio.
- Jokių prenumeratų – nereikia mokėti už API ar debesiją.
- Mažesnė delsa – nereikia tinklo užklausų.
Kadangi modeliai platinami pagal „Apache 2.0“ licenciją, juos galima derinti savo poreikiams. Tai suteikia galimybę kurti specializuotus sprendimus ar pritaikyti modelį konkretiems projektams.
Patarimai geriausiai patirčiai
- Naudokite kvantizuotas versijas (8 arba 4 bitų). „OpenAI“ „gpt-oss“ modeliai pateikiami 4 bitų MXFP4 formatu, leidžiančiu 20b modelį paleisti su ~16 GB RAM.
- Jei turite mažiau nei 16 GB RAM – rinkitės mažesnius, 3–7 mlrd. parametrų modelius.
- Prieš pradėdami sesiją – uždarykite daug atminties naudojančias programas.
- Įjunkite MLX arba „Metal“ spartinimą.
Išvada
„gpt-oss-20b“ – puikus pasirinkimas, jei norite naudoti DI savo „Mac“ kompiuteryje, be interneto. Jis nemokamas, privatumas užtikrintas, o atsakymai gana patikimi. Pagrindinis kompromisas – greitis ir sklandumas, palyginti su debesijos modeliais.
Kasdieniam rašymui, paprastam kodavimui ar tyrimams šis modelis tiks puikiai. Jei jums svarbiausia privatumas ir kontrolė – tai vienas geriausių sprendimų šiandien. Tačiau, jei norite maksimalios spartos ir tikslumo – debesijos modeliai vis dar yra pranašesni.
į klausimus, tai atsako į klausimus, o va su paveiksliukais nepavyko ;/