Меняем тикетсы на шмикетсы: как мы тестируем ML-бота в Postgres Pro

Недавно Postgres Pro представила ML-бота для работы с базами данных — и мы его хорошенько протестировали!

В программе: 

• Что особенного в тестировании LLM.

• Как заглянуть внутрь «чёрного ящика» с помощью Langfuse.

• Как вычислить, что новая версия модели стала хуже.

• Как мы тестируем одну нейросеть другой нейросетью.

• Когда негативные тест-кейсы важнее позитивных.

Доклад будет интересен всем, от новичков до "бывалых"!