记载指出，1882年美国通过排华法案后不久，当地最早的一个位于现在市场街Freemont 大旅馆所在的华埠，于1887年5月4日被一场无情而离奇的大火所吞没，迫使在那里定居的华人流浪街头。

　　就在Freemont 大旅馆南端的一堵墙上，镶嵌一块铜制作的标牌，上面用中英文刻着“圣荷西华埠被焚纪念，1887年5月4日”的字样。

　　随后，有位热心的当地德裔商人、也是华人的朋友哈伦威尔(John Heinlen)，全然无视各种迫害甚至死亡的威胁，在第6街附近腾出了一块土地作为华埠，勇敢地收纳了这批无家可归的华人，并用铁丝围墙锁起来，以保护里面居住的华人。不久，幸存的华人就把这一华埠取名为“哈伦威尔”(Heinlenville)。从1887年起，直至1931年后因华埠的东主破产而逐渐没落，最终被市府接收为止，“哈伦威尔”始终是早期华人在圣荷西最具代表性的华埠。

　　虞容议芳在书中写到，虽然当时华人仍然受排华法案影响而遭受歧视，可是，“哈伦威尔”是当年20世纪初华人的商业和文化中心。尽管生活极为艰辛，几乎所有的华人还是自掏腰包，捐钱集资建造了五圣宫，作为华埠祷拜寺庙。

　　中华历史文化协会创办人江罗丽琬(Lilian Gong-Guy)介绍指出，当年的五圣宫共有上下两层，楼上分别供奉着五个圣(神像)，它们分别是观音、关公、财神、天后，和华陀，每个圣都包含并寄托着当年华人对未来美好生活的期待和向往。在楼下，则是作为举行会议、中文学校教学，以及外来华人临时栖息的住宿场所。为此，她把五圣宫形容为当年华人在华埠的“社区中心”。

　　遗憾的是，在美国经济大萧条时期，“哈伦威尔”宣布破产，加之30年代的排华运动，华埠日趋萧条没落。1949年圣荷西市府接收了所有“哈伦威尔”土地，并把当地的建筑统统拆除。圣荷西最后一个华埠随着铁丝围墙的倒塌而消失。不过，幸运的是，在拆除五圣宫时，几位好心工人将其中的神像、雕饰、摆设收藏起来，并没有当作垃圾丢掉。

　　有报道指出，这些当年被工人收藏的古遗物，被堆积在附近的一处足球场观众看台下长达50年，直至1970年在重新施工时才被发现，并作为珍贵古迹陆续送到圣荷西历史博物馆。