По-добри модели от DeepSeek и как да ги инсталирате локално

Някои AI модели можете да инсталирате локално

Преди няколко дни моят партньор Pablinux казах им как да инсталирате локално модерния модел на изкуствен интелект. В тази публикация ще изброя кои смятам за по-добри модели от DeepSeek и как да ги инсталираме и стартираме на нашия компютър.

Като оставим настрана всякакви политически симпатии или антипатии, ходът на китайското правителство беше шедьовър на дипломатическия маркетинг, достоен за Сун Дзъ. За разлика от стила "Elephant in the Chinaware" на Доналд Тръмп, те обявиха модел, който предлага същите функции като ChatGPT безплатно и консумира по-малко ресурси. Това го знаем само тези, които следим темата Има много други модели с отворен код (някои от северноамерикански компании като Meta) от дълго време и производителността на DeepSeek е сравнима с ChatGPT само в най-честите 5% от употребите.

Мащабни езикови модели

ChatGPT, DeepSeek и други се наричат ​​широкомащабни езикови модели. По принцип Те позволяват на потребителя да взаимодейства с компютър на език, подобен на този, използван за комуникация с друго човешко същество. За да постигнат това, те се обучават с големи количества текст и правила, които им позволяват да произвеждат нова информация от това, което вече имат.
Основната му употреба е да отговаря на въпроси, да обобщава текстове, да прави преводи и да възпроизвежда съдържание.

По-добри модели от DeepSeek и как да ги инсталирате локално

Подобно на Pablinux, ние ще използваме Ollama. Това е инструмент, който ни позволява да инсталираме, деинсталираме и използваме различни модели с отворен код от терминала на Linux. В някои случаи браузърът може да се използва като графичен интерфейс, но ние няма да разгледаме това в тази статия.

За да може Ollama да осигури подходящо потребителско изживяване, най-добре е да имате специален графичен процесор.Особено при модели с повече параметри. По-малко мощните обаче могат да се използват на Raspberry Pi и когато дори тествах модели със 7 милиарда параметри на компютър с 6 гигабайта и без специален GPU, компютърът работи без никакви проблеми. Не се случи същото с един от 13 милиарда.

Параметрите са правилата, които моделът използва за изграждане на връзки и конструиране на модели между данните. Колкото повече параметри и данни, толкова по-мощен ще бъде моделът; тези с по-малко параметри говорят испански като Тарзан.

Можем да инсталираме Ollama с командите
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh

Можем да инсталираме модела с командата:
ollama pull nombre_del modelo
И го стартирайте с:
ollama run nombre_del_modelo
Деинсталираме го с помощта на:
ollama rm nombre_del_modelo
Можем да видим инсталираните модели, като напишем:
ollama list

Следва малък списък на моделите, които намирам за най-интересни: Пълният списък на наличните модели може да бъде намерен тук тук:

llama2-нецензурирано

Llama е модел с общо предназначение, създаден от Meta. В тази версия всички ограничения, въведени от разработчиците на оригиналния проект по правни или политически причини, бяха премахнати.. Има две версии, лека, която се справя с 8 GB, и пълна, която се нуждае от 64. Може да се използва за отговаряне на въпроси, писане на текстове или при задачи за кодиране.
Инсталира се с:
ollama pull llama2-uncensored
И работи с:
ollama run llama2-uncensored

кодегема

CodeGemma е селекция от леки, но мощни шаблони, които ви позволяват да изпълнявате различни програмни задачи как да завършите код или да го напишете от нулата. Разбира естествения език, може да следва инструкции и да прави математически разсъждения.

Предлага се в 3 варианта:

  • Инструктирайте: Той трансформира естествения език в код и може да следва инструкции:
  • Код:  Попълнете и генерирайте код от части от съществуващ код.
  • 2b: Задача за по-бързо завършване на код.

Тинилама

Както показва името му, това е по-малка версия на оригиналния модел Meta.. Така че няма да има толкова добри резултати, но ако искате да видите как работи модел с изкуствен интелект на скромен хардуер, струва си да опитате. Той има само 1100 милиарда параметъра.

Използването на модели локално има предимствата на поверителността и достъпа до нецензурирани и безпристрастни версии, които в някои случаи са склонни да се окажат нелепи. Изкуственият интелект на Microsoft отказа да ми създаде образ на дакел, защото сметна термина „кучка“ за обиден. Най-големият недостатък са хардуерните изисквания. Ще бъде въпрос на изпробване на моделите и намиране на такъв, който е достатъчно добър за това, от което се нуждаете, и може да работи с оборудването, което имате.


Оставете вашия коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *

*

*

  1. Отговорен за данните: Мигел Анхел Гатон
  2. Предназначение на данните: Контрол на СПАМ, управление на коментари.
  3. Легитимация: Вашето съгласие
  4. Съобщаване на данните: Данните няма да бъдат съобщени на трети страни, освен по законово задължение.
  5. Съхранение на данни: База данни, хоствана от Occentus Networks (ЕС)
  6. Права: По всяко време можете да ограничите, възстановите и изтриете информацията си.