W Ryczowie znajdują się ruiny strażnicy wzniesionej prawdopodobnie przez Kazimierza Wielkiego. Twierdza ta uzupełniała lukę w systemie obronnym pomiędzy zamkami w Ogrodzieńcu, w Smoleniu i w Bydlinie. Warownia funkcjonowała zaledwie do XV w., kiedy to została opuszczona, a wcześniej prawdopodobnie wysadzona w powietrze.

Ryczów położony jest w pięknej dolinie między lasami i skałami. W samej miejscowości są pozostałości ruin XIV-wiecznej strażnicy obronnej, usytuowane na skale nazwanej Grodzisko. W pobliżu piękny rezerwat przyrody Ruskie góry.

Szkoła Podstawowa w Ryczowie powstała w 1924 roku. Przez cztery lata była to szkoła jednooddziałowa, w tym okresie dzieci kończyły tylko 4 klasy.