1938年1月10日,日本第二次侵占青岛,随即拼凑傀儡政权,于1月17日成立了伪青岛治安维持会,行使其行政机关职能。伪青岛治安维持会行政上接受日伪华北临时政府指导监督,实际上维持会完全由日本侵占当局控制指挥,一切由日军顾问主宰。青岛治安维持会的机构设有:秘书处、总务部和警察部。同时还设立了复兴委员会和土地整理委员会以及农林事务所、消防队、水族馆、感化所、屠宰税征收处等。
1939年1月4日,在日本侵占当局的操纵下,成立了青岛特别市公署准备委员会。1939年1月10日青岛特别市公署成立,青岛治安维持会即行解散。青岛特别市公署直隶于“中华民国临时政府”,设置特别市市长、综理全部市政;同时配备顾问、辅佐官,概由日本人充任。青岛特别市公署的行政机构设置为:总务、警察、社会、财政、教育、卫生、建设、海务等八个局,并代管“中央”属之统税、盐务、商检三局及法院。
1940年1月,“中华民国临时政府”并入以汪精卫为首的所谓“中央政府”后,改称“华北政务委员会”,青岛市直隶于伪华北政务委员会。2月青岛特别市公署成立青岛警备总队,由市长直接指挥。1942年6月,增设崂山区办事处,并新设了宣传处;撤销卫生局,原卫生局掌管事项由社会、警察两局分掌;裁撤乡政筹备事务局,其业务划归总务局负责。1943年11月13日,奉伪华北政务委员会指令,青岛特别市公署改称为青岛特别市政府,其所属行政机构不变。1944年增设了经济局。1945年3月成立了防疫委员会,4月成立了卫生处,并恢复了农林事务所。
1945年8月,随着抗日战争的胜利,日本投降,其在青岛的伪政权组织也随之消亡。
青島特別市公署之前是德国胶澳总督府旧址,总督府可以说是青岛风雨百年的见证。1996年国务院已将其列入国家级文物保护单位。市公署现为青岛市人大常委会办公楼。
大楼周围环境的规划设计的十分得体。楼体坐北朝南,楼门前自左向右辐射出6条马路。正南方恰好正对青岛路,并以青岛路为轴线,周围道路呈对称之势。道路两侧原多建有德国高级官员住宅,以及执法机关、洋行、旅馆、饭店等,此外英、法、美、日等国驻青领事馆也设于此,从而使这一带形成了当时以总督府为中心的行政中心。