Hvem der har ejet huset i dets første århundrede vides ikke. Men i år 1704 ejedes huset af slægten Thun, muligvis af pastor Peder Thuns og kobbersmed Lorentz Thuns forældrer. Pastor Peder Thun levede fra 1708-83 og var hører ved latinskolen, mens Lorentz blev gift med en Cecilie Marie. Sidstnævnte overtog huset, og det er Cecilie Thun, der efter fuldmagt, sælger huset ifølge skøde af 27. september i 1762: ”Hus, bestaaende af 8 Fag ud til Torvet, tillige med Vognskur, Værksted, Bryggers og Stald samt Indkørsel gennem Raamand Ussings Gaard for en Købesum af 570 Rigsdaler”. Køberen er Anders Andersen Weis. Familien Weis havde boet og virket i Ribe i en del år da de købte Thuns hus. Familien var indvandret fra syd, men havde bosat sig i en ejendom på Mellemdammen, hvorfra de handlede med lærred.

Anders Andersen Weiss er født den 4. april 1719 i Ribe og han døde den 2. august 1795 sammesteds. Han blev gift med Karen Marie Johansdatter, født den 15. december 1729 og hun døde den 3. maj 1797 i Ribe. I domkirken er opsat en gravsten for Weiss og hustru. Anders Weiss indkøbte bøndernes hjemmevævede lærred, som han senere videresolgte. I et rum vest for skænkestuen som nu er sammenlagt med denne, havde han sit lager. I ægteskabet var der 7 børn, deriblandt Søren Andersen Weiss som er født den 6. maj 1761 i Ribe og som døde sammesteds den 16. december 1853. Han blev gift med Kirstine Pedersdatter, født den 22. marts 1777, og død den 15.juli 1832.

Søren overtog huset fra sin mor ved skøde af 1. november 1796, idet han skulle betale 550 rigsdaler for det.

Den 8. december 1796 fik Søren Weiss borgerbrev som lærredshandler. Hvor længe der havde været drevet værtshusholdervirksomhed i huset står hen i det uvisse, men det var på de tider almindeligt, at folk fra landet, der havde været inde og sælge deres lærredsvarer, selv medbragte deres mad, men på stedt kunne købe øl og snaps. Under alle omstændigheder meddeltes Søren Weiss den 18. december 1830 borgerbrev som ”Brændevinsbrænder og Værtshusholdet i Henhold til Stiftsamtets Bevilling”, uanset at han ikke havde taget den for ”Brændevinsbrændere befalede Eksamen”. At der har været foretaget udskænkning forud for dette tidspunkt er der næppe tvivl om. I 1810 fortælles det, at madam Weiss førte ret hård justits i den gamle skænkestue. Det berettes, at hun afviste at skænke for fulde folk, og at hun i sådanne afvisninger kunne være ganske håndfast.

I 1805 måtte Søren Weiss føre en proces mod naboen, urmager Jens Schultz, om indkørslen til hans gård. Ved dom af 11. februar 1806 tilkendtes der Weiss ret til ind- og udkørsel gennem Schultz’ port i Tingslippe.

I ægteskabet mellem Søren og Kirstine var der fire børn, og af dem blev det Anders Pedersen Weiss, født den 11. oktober 1813 og død den 21. juni 1872, der kom til at føre Weiss værtshuset videre. Han blev i 1848 gift med Ane Kathrine Clemmensen, født den 24. december 1818 og død den 5. marts 1889.