Понимает ли современный ИИ (LLM) смысл слов?
@rf
Да19%
Нет80%
@Dima812 я вообще не знаток LLM, но если я что-то понимаю, то ни просто не могут «понимать» слова как люди, потому что они не имеют как такового интеллекта.
Они наверное могут иметь что-то типа ассоциации после обучения (условно: загрузили в ии-шку миллион фоток разных собак и задали описание, что это все собаки, часть из них - это таксы, другая часть - овчарки и т.д.). Пользователь пишет слово «собака» и ИИ выдает «ассоциацию» на это слово. С текстом скорее всего что-то похожее.
Мб я и не прав, но я это для себя понимаю так
Replying to @lunacharskii@defcon.social
@Dima812 вот что ИИ сказала про себя:
**Токенизация**: текст разбивается на токены — не всегда целые слова, часто части слов (например, "понимание" → "понима" + "ние").
**Эмбеддинги**: каждый токен превращается в вектор чисел (сотни/тысячи измерений), отражающий его значение. Близкие по смыслу слова получают близкие векторы.
**Внимание (attention)**: механизм трансформера позволяет модели смотреть на все токены запроса одновременно и определять, какие из них важны друг для друга. Так слово "банк" в контексте "берег банка" и "деньги в банке" получает разные представления.
**Контекст**: значение слова формируется не изолированно, а через его связи с остальным текстом — модель строит представление всего запроса как единую структуру, а не сумму отдельных слов.
**Важный нюанс**: модель не "понимает" в человеческом смысле (нет сознания, опыта, референции к реальному миру). Она предсказывает статистически вероятные продолжения на основе паттернов, извлечённых из огромного массива текстов при обучении. Результат часто выглядит как понимание, но механизм принципиально другой.