成立於1867年的「華陀醫院」落戶於石水渠街的新發展華人社區。醫院經費主要由民眾及商戶資助，並聘請醫師為病者提供廉價診治服務。隨著「東華醫院」於1870年成立，「華陀醫院」的使用率開始減退，並於1886年停辦，原址繼續供奉神醫華佗 (佗為正字)。

1920年代「華陀廟」拆卸改建成唐樓。舊有的石造匾額、對聯及一對福鼠雕塑得以保留，並重置在建築物外牆上，廟宇則被重置於石水渠街72號地舖，至約1950年代停止營運。

至1950年代，由黃飛鴻徒弟林世榮的姪兒林祖將林世榮健身(學)院遷移至「華陀廟」現址，以教授少林洪拳及主治跌打骨科。1960年代由兒子林鎮顯醫師接手經營，繼由妻子陸麗燕師父營運至今。