Рыхторовы — дворянский род, происходивший от выходца из "Цесарской земли" Даниила Ивановича Рыхторовы, "мужа честна", въехавшего в Москву служить царю Иоанну IV. Внуки его приняли православную веру. Иван Иванович Рыхторовы был при царе Алексее Михайловиче воеводой в Чугуеве, а потом судьей у татарских мурз и тарханов в Казани. Род Рыхторовы пресекся в начале XVIII в.