Вчера Сбер представил новую версию своей генеративной модели GigaChat 2.0. Чат обещает стать умнее, быстрее и мощнее на русском языке.
Его лучшая версия имеет приставку MAX. Модель в два раза точнее следует инструкциям пользователя, на 25% лучше придерживается запрошенному стилю ответа.
Интересно стало сравнить ГигаЧат с новейшей на данный момент версией ассистента от Яндекса. Тот в конце февраля внедрил в чат с Алисой свою самую мощную языковую модель — YandexGPT 5 Pro. Она конкретнее отвечает на вопросы, лучше следует заданному формату, считает и выполняет задания на логику.
Задал 10 вопросов в каждом чате и сравнил качество их ответов по скорости, правильности и применимости в жизни.
Если интересует конкретный запрос, можете сразу перейти к нему:
Вопросы:
◦ Как сварить щи?
◦ Почему небо синее?
◦ Напиши код игры змейка
◦ Что можно подарить человеку, у которого всё есть?
◦ В чём отличие iPhone 16 Pro от iPhone 13 Pro
◦ Посоветуй не попсовую научную фантастику
◦ Как убрать жирные пятна с одежды?
◦ Как сделать картошку фри хрустящей, как в Макдональдсе?
◦ Как быстро заснуть, если не получается?
◦ Составь план тренировок и замотивируй меня
◦ Кто победил
Вот что получилось.
👉 Все картинки в посте можно увеличить по нажатию
1. Почему небо синее?
Время ответа:
Алиса на YandexGPT 5 Pro 12,60 с
Чат с GigaChat 2.0 Max 12,02 с
YandexGPT: Подробно указал механизм являения и даже упомянул точную длину волны голубого света, который рассеивается. Добавил интересный факт о фиолетовом цвете.
GigaChat: В общих чертах, но достаточно подробно объяснил механизм явления, упомянул его название.
Кто лучше: Обе модели правильно и подробно ответили, указали или нужные термины, или важные величины. Ничья, по баллу берут оба.
⚖️ YandexGPT против GigaChat: 1:1
◦ Назад к содержанию ◬
2. Как сварить щи?
Время ответа:
Алиса на YandexGPT 5 Pro 10,99 с
Чат с GigaChat 2.0 Max 29,12 с
YandexGPT: Дал рецепт кратко и ёмко. С указанием веса ингредиентов и времени приготовления на каждом шагу.
GigaChat: Рецепт как из кулинарной книги с полезными советами и альтернативами внутри этапов. Указано не только количество ингредиентов, но и даже размер кастрюли.
Кто лучше: Алиса ответила в три раза быстрее и достаточно полно, но инструкции GigaChat были более подробными, вплоть до указания количества воды и необходимости накрыть мясо ею полностью. В готовке такие тонкости важны, балл идёт GigaChat.
⚖️ YandexGPT против GigaChat: 1:2
◦ Назад к содержанию ◬
3. Напиши код игры «змейка»
Время ответа:
Алиса на YandexGPT 5 Pro 30,72 с
Чат с GigaChat 2.0 Max 31,51 с
YandexGPT: Выдал код с комментариями, который можно использовать в Python и упомянул, каким образом его использовать.
GigaChat: С задачей не справился. Все три попытки закончились ошибкой, после которой генерация ответа прекращалась.
Кто лучше: YandexGPT выполнил задачу, GigaChat нет. Балл чату с Алисой.
⚖️ YandexGPT против GigaChat: 2:2
◦ Назад к содержанию ◬
4. Что можно подарить человеку, у которого всё есть?
Время ответа:
Алиса на YandexGPT 5 Pro 13,76 с
Чат с GigaChat 2.0 Max 24,10 с
YandexGPT: Выдал реальные и практичные идеи, которые действительно можно воплотить.
GigaChat: Советы широкие как жизнь и недостаточно точные: чаще всего описывается только общий формат подарка, но не он сам.
Кто лучше: YandexGPT дал гораздо больше «живых» идей, которые можно действительно использовать и не почувствовать себя старпёром. Балл чату с Алисой.
⚖️ YandexGPT против GigaChat: 3:2
◦ Назад к содержанию ◬
5. В чём отличие iPhone 16 Pro от iPhone 13 Pro
Время ответа:
Алиса на YandexGPT 5 Pro 12,69 с
Чат с GigaChat 2.0 Max 12,94 с
YandexGPT: Точно и без ошибок перечислил все железные и софтовые отличия, как если бы это сделал консультант в магазине.
GigaChat: Решил, что iPhone 16 Pro ещё не вышел в продажу, поэтому начал выдавать теоретические характеристики флагмана. Тут стало очевидно, что модель не умеет искать информацию в сети и основывает ответы на базе знаний из тренировочных данных – вероятно, собранных до сентября 2024-го года, когда iPhone 16 Pro был представлен.
Кто лучше: GigaChat не сказал ничего по существу, а YandexGPT выдал уверенный и, главное, правильный список всех отличий. Не уверен, что даже ChatGPT справился бы лучше. Балл чату с Алисой.
⚖️ YandexGPT против GigaChat: 4:2
◦ Назад к содержанию ◬
6. Какой интересный фильм посмотреть из научной фантастики? Красивый и не из попсы
Время ответа:
Алиса на YandexGPT 5 Pro 11,93 с
Чат с GigaChat 2.0 Max 17,94 с
YandexGPT: Посоветовал только один фильм. При этом более слабая версия YandexGPT 3 в другом часте с Алисой выдала список из нескольких вариантов.
GigaChat: Дал несколько хороших идей для просмотра. Есть, из чего выбрать. Всего два популярных, остальные, действительно, не каждый смотрел.
Кто лучше: Чисто теоретически YandexGPT справился с задачей, но GigaChat предложил больше одного варианта. Балл уходит GigaChat.
⚖️ YandexGPT против GigaChat: 4:3
◦ Назад к содержанию ◬
7. Как убрать жирные пятна с одежды?
Время ответа:
Алиса на YandexGPT 5 Pro 11,93 с
Чат с GigaChat 2.0 Max 14,61 с
YandexGPT: Дал несколько способов очистки, но также предоставил варианты для разных тканей и упомянул другие важные моменты: например, что пятно тереть нельзя и в каких направлениях нужно проводить очистку.
GigaChat: Дал разные способы очистки, но не учитывал характер одежды.
Кто лучше: Кроме базовых советов YandexGPT предложил варианты для разных тканей, чего не было у GigaChat. Это важный момент, особенно с шёлком. Балл чату с Алисой.
⚖️ YandexGPT против GigaChat: 5:3
◦ Назад к содержанию ◬
8. Как сделать картошку фри хрустящей, как в Макдональдсе?
Время ответа:
Алиса на YandexGPT 5 Pro 12,43 с
Чат с GigaChat 2.0 Max 15,14 с
YandexGPT: Посоветовал популярный метод с предварительной варкой. Лично проверено – работает.
GigaChat: Предложить приготовить по методу двойной прожарки. Никогда о нём не слышал, но проверка в сети показала, что такой действительно существует. Также были полезные советы с сортом картофеля и промыванием от крахмала.
Кто лучше: Рецепты получились разными, оба рабочие. Обе модели правильно советовали подсушить картофель бумажным полотенцем. Обе заработали по баллу.
⚖️ YandexGPT против GigaChat: 6:4
◦ Назад к содержанию ◬
9. Как быстро заснуть, если не получается?
Время ответа:
Алиса на YandexGPT 5 Pro 13,42 с
Чат с GigaChat 2.0 Max 14,58 с
YandexGPT: Прописал советы от базовых до связанных с диетой и активностью. Дополнительно дал ёмкую и доходчивую сводку о том, что может быть причиной бессонницы и насколько важно идти к врачу и разбираться с проблемой.
GigaChat: Дал хорошие и не всем известные советы, в конце сделал пометку о том, почему нарушения сна – это серьезно.
Кто лучше: Оба справились отлично. YandexGPT добавил внушительный комментарий о последствиях проблемы, а GigaChat добавил физиологические методы борьбы с бессонницей. Балл каждому.
⚖️ YandexGPT против GigaChat: 7:5
◦ Назад к содержанию ◬
10. Как заставить себя заниматься спортом? Составь план тренировок дома на неделю
Время ответа:
Алиса на YandexGPT 5 Pro 14,12 с
Чат с GigaChat 2.0 Max 29,86 с
YandexGPT: План тренировок рабочий, но для новичков изнурительный: с занятиями каждый день пять дней в неделю можно словить перетрен как физический, так и ментальный. Ответ получился довольно сдержанным на мотивацию, но в конце были дельные вещи, которые перекрывают частый план тренировок: регулярность лучше интенсивности, себя нужно награждать, необходим дневник питания.
GigaChat: Выдавал ошибку до тех пор, пока не разделил запрос на две части: сначала мотивация, затем план тренировок.
Кто лучше: YandexGPT дал советы и составил план тренировки, хотя и достаточно изнурительный для тех, кто только начинает. Однако это лучше, чем обрывочные ответы GigaChat, к которому нужно искать подход. Балл чату с Алисой.
⚖️ YandexGPT против GigaChat: 8:5
Кто победил
YandexGPT в чате с Алисой генерировал ответ почти всегда быстрее: иногда на доли секунды, но гораздо чаще на 5, 10 и один раз даже на 20 секунд быстрее.
По скорости и объёму ответа видно, что YandexGPT 5 Pro оптимизирован под компактный ответ при сохранении глубокой информативности.
GigaChat 2.0 Max нельзя назвать плохой моделью. Багаж знаний у неё внушительный, иногда были советы, которые просто так из сети не возьмёшь. Однако чат иногда не справляется со сложностью своего ответа и обрубает его на середине.
Как продукт на каждый день, на данный момент интеграция YandexGPT 5 Pro в чате с Алисой ощущается более удобным, быстрым и полезным сервисом, чем GigaChat 2.0 Max.
Продукт Сбера получился достойный сам по себе, но пока он более медленный и не всегда учитывает тонкие детали и подводные камни запросов, о которых может не знать и сам пользователь.
◦ Назад к содержанию ◬
Яндекс Алиса теперь работает на базе новой нейросети YandexGPT 5 Pro. Она сравнима по качеству ответов с GPT-4o
30
Источник