5月3日，日軍還將國民黨交涉署包圍，強行收繳交涉署槍械。晚9時，又將戰地政務委員會外交處主任兼特派山東交涉員蔡公時及署內職員共18人捆綁起來毒打。蔡公時據理向日軍提出抗議，怒斥日軍暴行，竟被日軍殘無人道地將其耳鼻割去，繼又挖去舌頭眼睛。然后將18人剝光衣服，鞭打后用機槍掃射，除一人僥幸逃出外，蔡公時等17人慘遭殺害。從5月3日夜開始，日軍大舉出動以搜索北伐軍和便衣隊為名，沿街洗劫，瘋狂屠殺中國軍民。
5月4日晨，北伐軍在濟南城抓獲13名走私鴉片的日本毒販，按照中國法律將他們處死。酒井隆借機再次給陸軍省和參謀本部拍電報，夸大事實，宣稱日本無辜僑民被殺害，并將數目擴大了20多倍。國民黨軍全部撤出商埠區。日軍得寸進尺，繼續擴大事態，不斷增兵濟南。5月5日，除李延年、鄧殷藩兩團留守濟南外，其余國民黨軍隊全部撤出濟南。
5月7日，日方向蔣介石發出最后通碟：(一)懲辦華方反日高級將領；(二)立即解除濟南方面華軍的全部武裝；(三)維護中日親善邦交，禁止華方反日、排日及有傷兩國睦誼的一切宣傳活動；(四)膠濟鐵路沿線兩側與濟南城關商埠在20華里以內，不準中國軍隊駐扎；(五)立即將辛莊、張莊兵營全部讓出，作為緩沖，便于嚴密監視華軍行動，并觀察華方有無和平誠意。
5月8日，不待國民黨的正式答復，日軍開始向蔣軍進攻。9日，對濟南城發動了總攻。日軍以猛烈的炮火轟炸南圩子門、桿石橋、林祥門、普利門等各地。當夜，國民黨守軍不得不退入城內，日軍跟蹤前進，并在順河街、西城根各街放火，特別是西城根的一條街，房屋全被焚燒。這條街上的居民被燒死、被強奸投河自殺的，無一幸存。事后，濟南人民為紀念國恥，抗議帝國主義的侵略罪行，1929年5月，這條街改名為“五三街”。
在“五三慘案”中，日本侵略軍喪盡天良，瘋狂殘殺我國軍民，其罪行累累，罄竹難書。5月7日，商埠六大馬路東口李子清家，有百余名難民在內避難，11時，一隊日軍沖進大門，用刺刀刺殺13人，將尸體運走。5月10日，角樓趙家莊，日軍挨戶搜查，見青年或穿草鞋者，不是刺死就是槍斃。遇難者有李明海，崔姓兄弟2人，13歲兒童王小子等，還有22人被日軍活埋。5月11日，西關江家池陸軍醫院內收容蔣軍傷員、病號約百余人，日軍進入，挨屋殺人，醫生、護士均被刺死，每人身上致少被刺l0刀，共殺死82人。
同日，西關東流水一家共18人藏在家中，被日軍搜出，一同拉出全部刺死，血從家里雨溝流出，一直流到河里。在菜市北門里有4名中國警察，被日本人捉住，用鐵絲捆住，用刺刀滿身亂刺，至全身有百余刀痕。
從5月8日到10日，城里的國民黨守軍頑強抵抗，戰斗相持三晝夜。11日，國民黨守軍奉命放棄濟南。李延年、鄧殷藩的兩個團分別由老東門、新東門退出，向仲宮山地轉移。日軍對突圍部隊進行圍攻襲擊，李延年團排長楊冠英率全排士兵為掩護部隊突圍，與日軍展開白刃戰，重創日軍，終因寡不敵眾而全部壯烈殉國。日軍正式占領濟南。
日軍占領內城后，搶劫財物，焚毀建筑，強奸婦女，槍殺戰俘，屠戮百姓，罪惡令人發指。據不完全統計軍民死傷總數達六千余人，財產損失不計其數。直到1929年5月，日軍才在內外壓力下撤離濟南。這是日本帝國主義對中國人民欠下的一筆血債。
“五三慘案”的發生暴露了日本帝國主義蓄謀已久的侵華野心，它使濟南人民蒙受了巨大的痛苦和災難。今天，“五三慘案”雖已過去了86年，但是這沉重的歷史印記卻永遠銘刻在我們心里。近年來，日本的一些右翼勢力和政客在對待侵華戰爭歷史問題上文過飾非，含糊其詞，極力為日本軍國主義的侵略罪行進行辯解和遮掩，他們矢口否認過去那慘絕人寰的侵略罪行，這是全世界人民所決不容忍的。日本侵略者野蠻、殘暴地屠殺中國人民，其罪行累累，鐵證如山?！拔迦龖K案”就是以它血和淚的控訴，對日本侵略者的最有力的見證之一。我們決不允許否認和歪曲侵略歷史，決不允許軍國主義卷土重來，我們要世世代代都要牢記這段歷史，牢記這悲慘的教訓，決不能讓歷史的悲劇重演。
濟南市政府自1999年起，在每年的5月3日上午10時至10時30分，都要在市區內鳴響防空警報，以寄托人們對死難同胞的哀思，警示國人勿忘國恥。
