Село Рилци се намира в планински район, в близост до река Струма.
В 1891 година Георги Стрезов пише за селото и за присъединената към него махала Телкиево:
„ Хасърлък, село на С от Джумая, нещо 1/2 час. Разположено до левия бряг от Струма, на една раздалеч по-голяма от 1/2 час. Околност хълмиста, по която има доста лозя; растат и добри овощия. Броят на къщите е 60; само българе