V rodném domě Karla Varhánka sídlí městský úřad. Podnikatel budovu koncem 19. století odkoupil ve prospěch Polné za 14 tisíc zlatých od svého synovce. To vše poté, co se dověděl, že v nájmu je Žid obchodující s hadry a kostmi.