Платить за нейронку - детект?

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

как будто функция ничего и не дает разве что сообщения отсылаться будут быстрее

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти, скачай локальную нейронку, да напиши ей профиль, чтобы персонажа имитировала. Могу посоветовать mistral nemo instruct 2407, мне лично зашла своим качеством ответов.

А так можно у кого-нить акк спросить потестить, так с ходу и не скажешь чё там у тебя, этим сервисом не пользовался

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает?

Нажмите, чтобы раскрыть...

Это даëт облегчение твоего кармана

На этом всë

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти

Нажмите, чтобы раскрыть...

Мы в рамках наших экспериментов на работе нормальные результаты получили моделью llama, которая занимала где-то 80 Гб всё, что меньше, было неудовлетворительным шлаком, либо медленно, либо тупо.

Так что, имхо, плата за эти сервисы вполне оправдана, хороший ИИ - это офигеть как дорого

Funcrusher Plus сказал(а):↑

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти

Нажмите, чтобы раскрыть...

Мы в рамках наших экспериментов на работе нормальные результаты получили моделью llama, которая занимала где-то 80 Гб всё, что меньше, было неудовлетворительным шлаком, либо медленно, либо тупо.

Так что, имхо, плата за эти сервисы вполне оправдана, хороший ИИ - это офигеть как дорого

Нажмите, чтобы раскрыть...

Ну вот я и не знаю, действительно ли эта подписка даст буст. Насколько вообще вероятно, что при покупке я получу +вайб от сервиса. Юзаю на бесплатной основе, работает неплохо. В начале чата работает просто превосходно, но чем больше сообщений набирается, тем больше сообщений ии забывает, иногда скатываясь в нелепицу.

Funcrusher Plus сказал(а):↑

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти

Нажмите, чтобы раскрыть...

Мы в рамках наших экспериментов на работе нормальные результаты получили моделью llama, которая занимала где-то 80 Гб всё, что меньше, было неудовлетворительным шлаком, либо медленно, либо тупо.

Так что, имхо, плата за эти сервисы вполне оправдана, хороший ИИ - это офигеть как дорого

Нажмите, чтобы раскрыть...

я не знаю как это было достигнуто, но у 7b версии nemo просто качественное отличие от своих собратьев.

+ему только чатиться а не решать корпоративные задачи, под разные задачи есть конкретные нейронки, можно присмотреть что получше.

Nizza сказал(а):↑

Ну вот я и не знаю, действительно ли эта подписка даст буст

Нажмите, чтобы раскрыть...

Да попробуй на месяц проплатить, слитый косарь - это не самая страшная потеря в жизни однозначно

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти, скачай локальную нейронку, да напиши ей профиль, чтобы персонажа имитировала. Могу посоветовать mistral nemo instruct 2407, мне лично зашла своим качеством ответов.

А так можно у кого-нить акк спросить потестить, так с ходу и не скажешь чё там у тебя, этим сервисом не пользовался

Нажмите, чтобы раскрыть...

интересно, почему всяким нейросеткам именно видеопамять нужна?

SnikeMK сказал(а):↑

+ему только чатиться а не решать корпоративные задачи, под разные задачи есть конкретные нейронки, можно присмотреть что получше.

Нажмите, чтобы раскрыть...

Ну, да, у нас качество и точность ответа имеет значение, я просто как факт говорю, что выделенные ресурсы сильно влияют на качество модели, всё может варьироваться от полной неюзабельности до чего-то офигенно полезного, в духе помощника, который готов качественно отвечать на вопросы по огромной документации 24 часа в сутки всем желающим

Я поэтому не настолько скептически отношусь, что за более качественный сервис кто-то просит скромные $10 в месяц, как бы железо, на котором это всё крутится, стоит в разы дороже (вроде $30к за одну H100), обыватель им просто не может владеть

Funcrusher Plus сказал(а):↑

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти

Нажмите, чтобы раскрыть...

Мы в рамках наших экспериментов на работе нормальные результаты получили моделью llama, которая занимала где-то 80 Гб всё, что меньше, было неудовлетворительным шлаком, либо медленно, либо тупо.

Так что, имхо, плата за эти сервисы вполне оправдана, хороший ИИ - это офигеть как дорого

Нажмите, чтобы раскрыть...

80 гб рамы, или хдд?

Funcrusher Plus сказал(а):↑

я просто как факт говорю, что выделенные ресурсы сильно влияют на качество модели

Нажмите, чтобы раскрыть...

Если уж совсем душнить, то количество параметров и квантование. Модель с меньшим количеством параметров (которая весит меньше) может давать более качественные ответы как раз за счёт степени квантования.

Собственно, почему я и посоветовал nemo - если прочие модели косячат и глючат в текстах, nemo даёт ответы без ошибок почти уровня опенаи (дипсик кста, тоже скачать можно, но для целей ТСа не подойдёт)

SnikeMK сказал(а):↑

Если уж совсем душнить, то количество параметров и квантование

Нажмите, чтобы раскрыть...

Это тоже перебирали, но маленькие модели в любом случае хорошими не бывают, все хорошие либо большие, либо очень большие, а количество параметров / квантование влияло на качество ответов, но там всё неоднозначно

Закись Ашота сказал(а):↑

80 гб рамы, или хдд?

Нажмите, чтобы раскрыть...

видеопамяти

Funcrusher Plus сказал(а):↑

маленькие модели в любом случае хорошими не бывают

Нажмите, чтобы раскрыть...

Бывают

Скачай, посмотри

Алиса про стоит сотку в месяц, может или нет имитировать не знаю

SnikeMK сказал(а):↑

Funcrusher Plus сказал(а):↑

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти

Нажмите, чтобы раскрыть...

Мы в рамках наших экспериментов на работе нормальные результаты получили моделью llama, которая занимала где-то 80 Гб всё, что меньше, было неудовлетворительным шлаком, либо медленно, либо тупо.

Так что, имхо, плата за эти сервисы вполне оправдана, хороший ИИ - это офигеть как дорого

Нажмите, чтобы раскрыть...

я не знаю как это было достигнуто, но у 7b версии nemo просто качественное отличие от своих собратьев.

+ему только чатиться а не решать корпоративные задачи, под разные задачи есть конкретные нейронки, можно присмотреть что получше.

Нажмите, чтобы раскрыть...

Она не 7b, а 12b.

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти, скачай локальную нейронку, да напиши ей профиль, чтобы персонажа имитировала. Могу посоветовать mistral nemo instruct 2407, мне лично зашла своим качеством ответов.

А так можно у кого-нить акк спросить потестить, так с ходу и не скажешь чё там у тебя, этим сервисом не пользовался

Нажмите, чтобы раскрыть...

Без файнтюнов она полностью зацензурена. И хватит даже 6 гб видеопамяти.

Закись Ашота сказал(а):↑

Funcrusher Plus сказал(а):↑

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти

Нажмите, чтобы раскрыть...

Мы в рамках наших экспериментов на работе нормальные результаты получили моделью llama, которая занимала где-то 80 Гб всё, что меньше, было неудовлетворительным шлаком, либо медленно, либо тупо.

Так что, имхо, плата за эти сервисы вполне оправдана, хороший ИИ - это офигеть как дорого

Нажмите, чтобы раскрыть...

80 гб рамы, или хдд?

Нажмите, чтобы раскрыть...

Врам

Funcrusher Plus сказал(а):↑

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти

Нажмите, чтобы раскрыть...

Мы в рамках наших экспериментов на работе нормальные результаты получили моделью llama, которая занимала где-то 80 Гб всё, что меньше, было неудовлетворительным шлаком, либо медленно, либо тупо.

Так что, имхо, плата за эти сервисы вполне оправдана, хороший ИИ - это офигеть как дорого

Нажмите, чтобы раскрыть...

Попробуйте https://huggingface.co/nvidia/Llama-3_3-Nemotron-Super-49B-v1 Хватит 4090/5090

И общаться с нейронками можно только английском, на русском они тупее в разы.

SnikeMK сказал(а):↑

Funcrusher Plus сказал(а):↑

я просто как факт говорю, что выделенные ресурсы сильно влияют на качество модели

Нажмите, чтобы раскрыть...

Если уж совсем душнить, то количество параметров и квантование. Модель с меньшим количеством параметров (которая весит меньше) может давать более качественные ответы как раз за счёт степени квантования.

Собственно, почему я и посоветовал nemo - если прочие модели косячат и глючат в текстах, nemo даёт ответы без ошибок почти уровня опенаи (дипсик кста, тоже скачать можно, но для целей ТСа не подойдёт)

Нажмите, чтобы раскрыть...

Не даёт.

SnikeMK сказал(а):↑

Если есть 8-12ГБ видеопамяти, скачай локальную нейронку, да напиши ей профиль, чтобы персонажа имитировала. Могу посоветовать mistral nemo instruct 2407, мне лично зашла своим качеством ответов.

Нажмите, чтобы раскрыть...

Hathor_Sofit-L3-8B норм модель еще, с 6 битным квантованием (imatrix/weighted) как раз влезает в 12 ГБ VRAM и еще место для 8K контекста остается.

Makson2019 сказал(а):↑

интересно, почему всяким нейросеткам именно видеопамять нужна?

Нажмите, чтобы раскрыть...

Ну llama.cpp умеет выгружать слои на CPU+RAM, только скорость там будет как у черепахи.

Все таки детект. Сообщения не намного быстрее. Память все также не запоминает прошлые сообщения (запоминает чуть больше)

А есть нейронка которая сделает из моего голоса, нежный девичий голосок, что бы я фармил оленей в доте и тг?

fejk2015 сказал(а):↑

А есть нейронка которая сделает из моего голоса, нежный девичий голосок, что бы я фармил оленей в доте и тг?

Нажмите, чтобы раскрыть...

дык Voicechanger'ы существуют с первой доты

0xA50C1A1 сказал(а):↑

только скорость там будет как у черепахи.

Нажмите, чтобы раскрыть...

На сколько умножать от изначальной? Хочу 4080 купить

Лучше поменьше пользоваться ИИ.

Если все же нужно, то в идеале локальным свободным ИИ на устройстве.

Уже менее идеально свободные (или тем более лишь опенсорсные) онлайн-модели.

Ateo сказал(а):↑

fejk2015 сказал(а):↑

А есть нейронка которая сделает из моего голоса, нежный девичий голосок, что бы я фармил оленей в доте и тг?

Нажмите, чтобы раскрыть...

дык Voicechanger'ы существуют с первой доты

Нажмите, чтобы раскрыть...

Дэк они мемные, там нету голосков тяночек

SnikeMK сказал(а):↑

Nizza сказал(а):↑

Дико хочу залить сабжей в c.ai. Что вообще это дает? Не знаю, верить ли тому, что там увеличится память ии. Пахнет скаком каким то.

Нажмите, чтобы раскрыть...

Если есть 8-12ГБ видеопамяти, скачай локальную нейронку, да напиши ей профиль, чтобы персонажа имитировала. Могу посоветовать mistral nemo instruct 2407, мне лично зашла своим качеством ответов.

А так можно у кого-нить акк спросить потестить, так с ходу и не скажешь чё там у тебя, этим сервисом не пользовался

Нажмите, чтобы раскрыть...

ни одна нейронка не может выдавать такого качества как cai

пепел собаки сказал(а):↑

ни одна нейронка не может выдавать такого качества как cai

Нажмите, чтобы раскрыть...

По опыту использования локально разворачиваемых нейронок сейчас говоришь, или сравниваешь с онлайн версиями нейронок по подписке?

Просто я одно время исследовал посты на реддите когда себе нейронку подбирал, и там люди вполне себе находили cai-заменители

Joyfulbeekeeper сказал(а):↑

Если все же нужно, то в идеале локальным свободным ИИ на устройстве.

Нажмите, чтобы раскрыть...

Ты не можешь владеть устройством, на которых топовые бесплатные модели крутятся (ну, окей, можешь, продаёшь свой новенький автомобиль среднего класса и получаешь хорошую бесплатную llama, доступную лично тебе 24 часа в сутки).