Недавно я подробно разобрал функционал крохотной языковой модели тиндергпт с 3 нейронами на выходе. Но сам чувствовал, что модель порой работает чуть сложнее, а сегодня вообще поразился связному и прикольному посту. Но подпись все расставила по своим местам. Это с нуля поработала большая модель, настоящий гпт.

И тут я сообразил, как крохотной модели удавалось порой имитировать модель размером поболе. Способ называется дистилляцией (не путать с самогоноварением). Суть - малая модель обучается не на данных реального мира, а на ответах большой модели. В результате, не обладая возможностями большой модели, малая учится имитировать мышление большой. Учитывая, что все свободное от феминизма время тиндер проводит, обучаясь у чатагпт, их некоторое сходство получает наконец объяснение.