ТенсорРТ-ЛЛМ доноси локално АИ рачунарство у НВИДИА ГПУ

Оно што треба да знате

• ТенсорРТ-ЛЛМ додаје подршку за ОпенАИ Цхат АПИ за десктоп и лаптоп рачунаре са РТКС ГПУ-има почевши од 8 ГБ ВРАМ-а.
• Корисници могу брже и локално да обрађују ЛЛМ упите без учитавања скупова података у облак.
• НВИДИА ово упарује са „Ретриевал-Аугментед Генератион“ (РАГ), омогућавајући више прилагођених случајева ЛЛМ коришћења.

---

Током данашње Мицрософтове Игните конференције, НВИДИА је најавила ажурирање свог ТенсорРТ-ЛЛМ, који покренут у октобру. Главне најаве данас су да ТенсорРТ-ЛЛМ функција сада добија подршку за ЛЛМ АПИ-је, посебно ОпенАИ Цхат АПИ, који је највише добро познати у овом тренутку, као и да су радили на побољшању перформанси са ТенсорРТ-ЛЛМ како би добили боље перформансе по токену на својим ГПУ-овима.

Постоји терцијарна најава која је такође прилично интересантна. НВИДИА ће укључити Ретриевал-Аугментед Генератион са ТенсорРТ-ЛЛМ. Ово омогућава ЛЛМ-у да користи екстерни извор података за своју базу знања уместо да се ослања на било шта на мрежи – што је веома тражена функција за АИ.

Шта је ТенсорРТ-ЛЛМ?

НВИДИА је недавно представила НВИДИА ТенсорРТ-ЛЛМ, библиотеку отвореног кода која омогућава локално рачунање ЛЛМ-ова на НВИДИА хардверу. НВИДИА рекламира ово да би стекла приватност и ефикасност када се бави великим скуповима података или приватним информацијама. Безбедно је да ли се те информације шаљу преко АПИ-ја као што је ОпенАИ-јев АПИ за ћаскање. Можете сазнати више о НВИДИА ТенсорРТ-ЛЛМ на НВИДИА-ин сајт за програмере.

Промене које су данас објављене за НВИДИА ТенсорРТ-ЛЛМ су додатак ОпенАИ-јевог АПИ-ја за ћаскање и перформанси побољшања за претходно подржане ЛЛМ и АИ моделе као што су Ллама 2 и Стабле Диффусион преко ДирецтМЛ-а побољшања.

Ова технологија и рачунарство се могу обавити локално путем НВИДИА-ин АИ Воркбенцх. Овај „јединствени, једноставан за коришћење комплет алата омогућава програмерима да брзо креирају, тестирају и прилагођавају унапред обучене генеративне АИ моделе и ЛЛМ на рачунару или радној станици“. НВИДИА има страница за рани приступ за оне који су заинтересовани да га користе.

НВИДИА ТенсорРТ-ЛЛМ је библиотека отвореног кода која убрзава и оптимизује перформансе закључивања најновијих великих језичких модела (ЛЛМ) на НВИДИА АИ платформи

Нвидиа такође показује побољшање перформанси по токену за ЛЛМ као што можемо да видимо у овим интерним НВИДИА бенцхмарковима. Као и увек, будите опрезни са референтним вредностима произвођача и тестирањем за тачно извештавање о побољшању перформанси.

Сада када знамо НВИДИА ТенсорРТ-ЛЛМ, зашто је ово посебно или корисно? Углавном, локално покретање на радној станици или рачунару који покреће НВИДИА вероватно ће резултирати истим одговорима на упите, мада вероватно споријим темпом због недостатка рачунарске снаге у облаку.

НВИДИА-ина слика за овај случај употребе се спаја када се расправља о другој најави данас НВИДИА, односно интеграција са новом технологијом или функцијом под називом Ретриевал-Аугментед Генератион.

Шта је проширена генерација преузимања

Термин „генерација са проширеним проналажењем“ скован је у а папир од стране низа аутора, а главни аутор је Патрик Луис. То је назив који је усвојила индустрија за решење проблема са којим су се сусрели сви који су користили ЛЛМ. Застареле или информације које су тачне, али погрешне у контексту дискусије. Детаљни детаљи о томе како РАГ функционише могу се наћи у једној од НВИДИА-е Тецхницал Бриефс.

Генерисање са проширеним проналажењем је техника за побољшање тачности и поузданости генеративних АИ модела са чињеницама преузетим из спољних извора.

Упарујући генерацију са проширеним преузимањем са НВИДИА ТенсорРТ-ЛЛМ, крајњи корисници могу да прилагоде информације којима ЛЛМ има приступ када покреће своје упите. ЦхатГПТ је недавно најавио прилагођени ГПТ које би могле да понуде сличне резултате.

Као што је разматрано у нашем чланку о прилагођеним ГПТ-овима, могућност прављења прилагођених, једнонаменских ЛЛМ инстанци са прилагођеним ГПТ-ом или, у овом случају, ЛЛМ инстанцом која, користећи генерација са проширеним проналажењем, има приступ само свим објављеним делима Чарлса Дикенса и ништа друго, може помоћи у креирању наменски изграђених, смислених и тачних ЛЛМ-ова за различити случајеви употребе.

Да ли ће ТенсорРТ-ЛЛМ бити користан?

Шта све ово заједно значи? Постоје неке стварне могућности да се ово смислено искористи. Колико ће бити лако имплементирати или колико ће подаци бити сигурни? Само ће време показати. Овде постоји потенцијал за побољшање АИ, посебно на нивоу предузећа токове посла, нуде лакши приступ компликованим информацијама и помажу запосленима у изазовни задаци.

Иако ће се ови задаци извршавати локално, они ће и даље пролазити кроз нормалне ЛЛМ АПИ-је, који ће се суочити са истим ограничењима садржаја као и сада. Међутим, како технологије као што је НВИДИА ТенсорРТ-ЛЛМ чине бржим коришћење ЛЛМ ван мреже, неко би могао да га интегрише са нечим попут ЕвилГПТ, који нема ограничења у свом понашању и тренутно се користи за прављење злонамерног софтвера и помоћ у сајбер нападима, потенцијал да АИ направи неку стварну штету само се повећава.

Шта мислите о НВИДИА-иним ажурирањима за ТенсорРТ-ЛЛМ? Можете ли да смислите неку употребу за то које сам пропустио? Јавите нам у коментарима.