처사 박인택을 추모하기 위하여 그 후손들이 지은 사당이다. 언제 지었는지 정확한 연도는 알 수 없고, 처음에는 마을에 소규모의 초가를 지어 제사를 지냈다. 그 뒤 현위치로 옮겨 짓고 2차례에 걸쳐 보수를 하였다고 한다.
전하는 바에 따르면, 후손이 병에 걸려 갖가지 약으로도 고치지 못하였는데 꿈에 박인택이 나타나 사당을 짓고 공을 드리면 나을 것이라 하여 그렇게 하자 병이 바로 나았다고 한다.
처사 박인택은 조선 중기에 추자도로 유배와 불교도로 생활하면서, 주민들의 병을 치료해주고 불교 교리도 가르치면서 살았다고 한다.
