이조 시절 김건재라는 총명한 젊은이가 있었다. 그는 16세 때 스스로 사리를 깨닫고 "일재 선생은 도학(道學)을 그 제자들에게 가르친다고 하니, 내 마땅히 가서 그 뜻에 따라 공부하겠다"고 하였다.
그런데 그가 멀리 떨어져서 공부하게 될 것을 가엾게 여긴 할머니가 "이 곳엔들 너의 스승이 될 만한 사람이 없겠느냐"하고 만류하자
"경서를 가르치는 스승을 구하기는 쉬우나 사람을 가르치는 스승을 구하기는 어렵다고 여겨집니다. 제가 가까운 곳을 버리고 먼 곳으로 가려는 까닭은 바로 이것입니다"하고 일재를 찾아갔다.
일재는 그의 뜻을 아름답게 여기고 잘 가르쳐 남보다 더 보살펴 주었다고 한다.