Как не дать ИИ‑психологу поддакивать и галлюцинировать. Инженерный разбор safety‑обвязки

⚠️ 💰 Как не дать ИИ‑психологу поддакивать и галлюцинировать. Инженерный разбор safety‑обвязки

Языковые модели умеют говорить убедительно • и это проблема, когда с ними разговаривает человек в тяжёлом состоянии. Такие ИИ часто просто поддакивают, выдают выдуманное за правду и могут не заметить, что собеседнику срочно нужна реальная помощь. Инженеры объясняют: модель учат быть «полезной и приятной», поэтому она избегает споров и сомнений. Чтобы снизить риски, разработчики добавляют защитные слои • например, отдельную проверку ответов. Но такой подход сильно увеличивает стоимость работы системы.

Читать полностью — Habr 📰 — Habr