Po smrti zakladateľa a prvého predsedu Matice slovenskej, Štefana Moysesa, bol na banskobystrický biskupský stolec vymenovaný 23. septembra 1871 Arnold Ipoly – Stummer, a to aj napriek tomu, že sa Slováci snažili presadiť na tento post slovenského kandidáta.
Do úradu nastúpil 2. mája 1872. Jeho snahou bola postupná maďarizácia biskupstva. Biskupský seminár museli opustiť národne uvedomelí profesori, slovenskí študenti sa nemohli vzdelávať v rodnom jazyku. V roku 1874 bol predsedom diecéznej vyšetrovacej komisie, ktorej jedinou úlohou bolo zatvorenie slovenského patronátneho gymnázia v Kláštore pod Znievom.
Bol jedným so zakladateľov pamiatkovej starostlivosti v Uhorsku. Arnold Ipoly – Stummer pôsobil v kaštieli od roku 1872 až do roku 1886. Bol milovníkom umenia a počas svojho pôsobenia v kaštieli vybudoval jednu z najväčších zbierok umeleckých predmetov v súdobom Uhorsku.
Podľa Antala Póra, opátskeho kanonika, na stenách kaštieľa viseli gobelíny, police boli preplnené liturgickými nádobami a skrine obsahovali celé kolekcie starej, prevažne uhorskej, keramiky a výšiviek. Knižnica sa rozrástla a zaberala tri sály plné kníh. V jedálni viseli podobizne predchodcov, ostrihomských arcibiskupov Oláha, Verancsicsa, Forgáča, Pazmáňa, Selepčéniho, Lippaja a Sečéniho a prelátov Bartakoviča, Pyrkera a Telekesiho. Doplňovali ich obrazy banskobystrických biskupov.
Ipoly po svojom nástupe vykonal v kaštieli významné úpravy. V kaplnke dal vybudovať oltár a vybavil ju ornátmi v štýle starého umenia, pravdepodobne tu dal inštalovať aj pôvodné stredoveké diela zo svojich zbierok ako aj z blízkeho okolia získané obrazy. Počas jeho pôsobenia bola vybudovaná aj drevená prístavba na južnom krídle kaštieľa, čím zničil pôvodný vstup vybudovaný biskupom Berchtoldom ako aj kamenné barokové schodište, ktoré dal odstrániť a z jeho zvyškov vytvoril plochu, na ktorej vybudoval drevenú nadstavbu.
V roku 1886 biskup Ipoly – Stumer odchádza do mesta Veľký Varadín. Zbierky z kaštieľa presunul do svojho nového, a zároveň posledného pôsobiska, kde toho istého roku 2. decembra 1886 zomiera na porážku. Na jeho žiadosť je v kaplnke sv. Barbory v Banskej Bystrici pochované jeho srdce.
Mgr. Peter Mosný, archeológ
