A Ming- és Qing-dinasztiák alatt a falu gazdag volt kereskedelme miatt, az innen származó Hui-család a négy legkiemelkedőbb kínai üzletelő klán egyike. Tagjai sok pénzt szedtek össze más tartományokban, majd visszatértek lakóhelyükre, Xidibe, és felépítették luxuskivitelű házaikat. Mivel hegyi faluról van szó, megközelítése régen igen nehéz volt, így a háborúk mindig elkerülték, a hajdani luxuslakások máig nagyon jó állapotban vannak. A falu házai legalább 300-400 évesek.

Az UNESCO 1999-ben vette fel Xidit a világörökségek listájára. A hagyományos népi lakások őrzik a letűnt századok falusi képét. Az utcák, az épületek és a díszítések adják a különleges kulturális örökséget. A turisták számára Xidi egy régi, idillikus álmot testesít meg, amit a modern társadalom már elfelejtett. A falu távol esik a nyüzsgő, zajos várostól, itt aztán igazán lehet élvezni a csendes, nyugodt életet.

A ófaluba 80 jüan a belépő. Repülővel, vonattal vagy gyorsforgalmi úton érkezhetünk Huangshan városba, ahonnan Xidi csak 54 kilométerre fekszik, egy óra alatt odaérhetünk. Jelenleg két négycsillagos szálloda van közel a településhez, a falun belül pedig több falusi szállás is várja az idelátogatókat.

A régi kínai palotaépítészetet Pekingben, a Tiltott Városban, az ősi népi architektúrát pedig Xidiben érdemes megtekinteni.