Keď prišiel nový biskup po zriadení biskupstva do mesta, nemal sídlo ani dom v ktorom by mohol bývať. Kráľovná síce určila na kúriu budovu bývalého kolégia zrušenej rehole jezuitov. Keď však biskup budovu osobne prezrel, usúdil, že pre ciele vysokého úradu sa nehodí. Bola stavaná ako kláštor a potrebovala by veľkú adaptáciu. Ponechal ju teda pre byty kanonikom. Ďalšou nevýhodou budovy bolo, že bola vo vedľajšej uličke, blízko mäsiarskej ulice, kde sa zabíjal dobytok a zápach nepríjemne zamoroval celé okolie. Na rohu námestia Lazovnej ulice mala však kráľovská komora starý dom. Požiadal preto, aby mu ho darovali na účely kúrie. Vyhoveli mu a dostal aj 30 000 zlatých z náboženského fondu na jeho adaptáciu. Pri dôkladnej prehliadke sa však zistilo, že dom je v takom stave, že jeho reštaurácia sa nevyplatí, preto ho dal zbúrať a postaviť novú stavbu. S prácou začal hneď. Za ten čas býval v prenajatom bohušovskom dome v Lazovnej ulici.
Zaistenie nákladu na takú veľkú stavbu mu robilo starosti. Základný majetkový fond biskupstva, ktorého jadro tvorilo svätokrížske panstvo bol veľmi chabý na vlastný chod a všetkého personálu, nieto ešte na investície do mnohých budov, ktoré bolo treba vybudovať skoro od základu. Panstvo nemalo majera a nebolo preto z neho náležitého dôchodku. Musel vybudovať všetky hospodárske budovy preň. Lesy, ktorých málo biskupstvo síce dosť, boli iluzórnym bohatstvom, lebo boli vyplienené a drevo nemalo cenu. Pokúšal sa, aby tri possesie, ktoré susedili so svätokrížskym panstvom, Vieska, Horné Opatovce a Lehotka boli pripojené k nemu. Hoci sa to administratívne mohlo stať, predsa na to nedostal súhlas. Žiadal ďalej, aby mu zo šašovského panstva pridelili 215 jutár na vydržiavanie šiestich koní. Štiavnická komora toto odmietla, ale ponúkli mu, že bude dostávať deputát na vydržiavanie koní 240 q ovsa a 300 q sena. To si biskup odmietol s tým, že nebude patriť medzi deputátnikov štiavnickej komory. Potom žiadal polovicu majetkov prepozitúry sv. Štefana v Bzovíku, ale ani to nedostal. Tieto svoje žiadosti osobne predniesol pred panovníčkou, ale nebolo mu vyhovené. Biskup spomínal aj ďalšie problémy, najmä že má na začiatku veľké starosti a preto žiadal, aby mu poskytli aspoň z interkalárnych príjmov neobsadených biskupstiev 20 000 zlatých, ale ani tie nedostal. Odišiel však nakoniec s 14 000 zlatých z interkalarít a z náboženského fondu.
Pomoc mu v tiesni chcela poskytnúť štiavnická komora, ktorá sa mu ponúkla, že ho odbremení počas počiatočných ťažkostí od gazdovania a ponúkla mu ročne 18 000 zlatých arendy za svätokrížske panstvo. To však biskup odmietol, lebo výsledok hospodárenia na panstve počas 10 ročnej vakancie arcibiskupstva bol žalostný.
Po mnohých žiadostiach, ktoré sa ukázali ako márne, sa biskup rozhodol, že veci uskutoční ináč a zriadil úsporné opatrenia. V roku 1778 znížil personál na polovicu. Stavbu sa rozhodol prevádzať postupne, podľa toho, koľko bude prostriedkov. Tak začal postupne stavať dom od zadnej časti smerom k námestiu.
Dom ešte nebol ani dokončený, chýbala frontová časť od námestia, keď prišiel osudný deň, 5 máj 1783. Na poludnie vypukol v mlyne opatrovne požiar a hoci to bolo ďaleko, vietor rozšíril požiar takmer na celé mesto, ktoré okrem dvoch uličiek ľahlo celé popolom. Bolo to toho roku najväčšie nešťastie v celej strednej Európe. Pri požiari prišlo o život viac ako 130 ľudí. V tomto požiari ľahla popolom aj nová biskupská kúria, ktorej časť bola len vlaňajšieho roku dokončená a od biskupa iba necelý rok obývaná. Plamene zničili nie len strechu ale aj izby a ich zariadenie, knižnicu s mnohými vzácnymi knihami a tiež mnohé dôležité listiny. Požiar narušil budovu tak, že druhé poschodie nemohlo byť reštaurované a ostalo potom len ako povala.
Biskup bol toho času vo Viedni, kde sa liečil. Keď mu bola doručená táto smutná správa, hneď sa odobral do Bratislavy, kde na miestodržiteľskej rade predložil svoju smutnú záležitosť. V tejto smutnej situácii nemal inej možnosti ako požiadať najvyššie fórum o pomoc. Predložil rozpočet na rekonštrukciu, ktorý dosahoval náklad 9 200 zlatých. Okrem toho tu bola ešte nedokončená časť stavby, ktorá bola rozpočítaná ma 27 810 zlatých a 35 grajciarov.
Keď Jozef II. prejednával so svojimi ministrami túto záležitosť, chcel biskupovi „pomôcť“ tak, že zruší toto biskupstvo, ktoré nebolo dostatočne dotované, ani ho lepšie dotovať nechceli. Biskupovi ponúkli výnosné rábske biskupstvo. Biskup bol však pevnej vôle, ktorý sa nezľakol ťažkostí. Rábske biskupstvo neprijal, hoci by si hmotne svoje postavenie zlepšil. Rozhodol sa, že vynaloží všetko úsilie, aby aj škodu napravil a aj zbytok diela dokončil. Je to krásny príklad vernosti a obetavosti, lebo už nebol najmladší a v tomto období mu aj choroba uberala silu.
Keď neprijal rábske biskupstvo, ponúkli mu ešte spišské, alebo rožňavské. Hociktorý z týchto biskupov bol ochotný prijať rábske a František Berchtoldt dostal ponuku zobrať si banskobystrické so sebou k spišskému, alebo rožňavskému. Bola to lákavá ponuka a mysleli si, že to biskup prijme. Svedčí o tom listina, ktorú k tomu vydala miestodržiteľská rada. Biskup Okolicsányi však nedovolil listinu odoslať a osobne sa obrátil na panovníka, že biskup sám aj kapitula sa pričiní o to, aby všetko bolo uhradené z vlastných prostriedkov a panovníkovi nebudú v ničom na ťarchu. Škoda by bola začaté dielo zničiť. Keď panovník videl, že sa od neho nežiadajú peniaze, tak dal súhlas.
Skutočnú pomoc Berchtoldtovi poskytol ostrihomský arcibiskup, že mu ponechal doživotne výnos z opátstva v Kapornaku, ktoré mal na prilepšenie v počiatočných ťažkostiach od nastúpenia na biskupský stolec. Dostal ešte aj 8 000 zlatých ma reštauráciu zhorených budov. Prisľúbili mu aj lepšie dotovanie, ak bude po smrti jágerského arcibiskupa nové usporiadanie diecéz. To sa však v budúcnosti neuskutočnilo.