Происходил из графской ветви рода Толстых.

В кадетском корпусе освоил стрельбу и фехтование. Первая дуэль в 17 лет. Всего 11 убитых. Будучи секундантом одной дуэли, спас своего подопечного с помощью другой (вызвал оппонента и убил).

Любил шалости. Напоив попа, приклеил его бороду сургучом к полу, припечатав казенной печатью. Бороду пришлось отрезать - запугал жертву, что печать ломать нельзя.

Использовал ручного орангутанга для уничтожения путевых записей Крузенштерна. Обвинялся то ли в поедании того же орангутанга, то ли в сожительстве с ним.

Распространил в Москве слух, будто Пушкина перед отправлением в ссылку выпороли в охранном отделении.

Специальный указ Александра I запрещал ему въезд в столицу. Лишился звания поручика, воевал добровольцем. Проявил умения и храбрость, за которые был реабилитирован. В том числе званием полковника.

Любил жульничать в картах. Считал, что "только дураки играют на счастье". Не считал даже крепкую дружбу основанием для честной игры.

Долго жил с цыганской танцовщицей, на которой позже женился. Брак продлился до его смерти. У них было 12 детей, 11 из них погибли. Считал смерть детей наказанием за убитых на дуэлях. Имел список жертв, из которого вычеркивал одно имя после смерти очередного ребенка. Рядом писал "квит".

Прожил 64 года, перед смертью исповедовался несколько часов.