Τον πυρήνα του Αρχαιολογικού Μουσείου του Πειραιά αποτέλεσε η συλλογή των επιτύμβιων μνημείων από την περιοχή του βόρειου νεκροταφείου της αρχαίας πόλης, που αποκαλύφθηκαν στον κήπο του αρχαιόφιλου Ι. Μελετόπουλου, τα ευρήματα από τις ανασκαφές του Ι. Δραγάτση, που διενεργήθηκαν για λογαριασμό της Αρχαιολογικής Εταιρείας, καθώς και τυχαία ευρήματα από την περιοχή του Πειραιά. Η μικρή, αλλά σημαντική αυτή συλλογή, που συνεχώς εμπλουτιζόταν με νέα ευρήματα αλλά και με δωρεές και παραδόσεις αρχαιοτήτων, φιλοξενήθηκε αρχικά στο γυμνάσιο της πόλης, στην πλατεία Κοραή. Το 1935 ιδρύθηκε το πρώτο Αρχαιολογικό Μουσείο Πειραιά, που στεγάσθηκε στο μικρό κτήριο εκλεκτικιστικής τεχνοτροπίας, στην οδό Φιλελλήνων, στη βόρεια πλευρά του θεάτρου της Ζέας. Έγινε το κεντρικό μουσείο της Εφορείας Αρχαιοτήτων Αττικής και από το 1960 συγκέντρωνε ευρήματα από τις ανασκαφές στον Πειραιά, στην υπόλοιπη Αττική και στα νησιά του Αργοσαρωνικού.

Το σημερινό μουσείο θεμελιώθηκε το 1966 ως επέκταση του παλαιού και άνοιξε τις πύλες του στο κοινό το 1981. Η έκθεσή του οργανώθηκε υπό την επίβλεψη των διαδοχικών Εφόρων Αρχαιοτήτων του Πειραιά, Ευθύμιου Μαστροκώστα, Όλγας Αλεξανδρή και Βασίλειου Πετράκου. Σταθμοί στην ιστορία του μουσείου υπήρξαν τα έτη 1982, όταν έγινε η πρώτη τμηματική ανασύσταση του εντυπωσιακού ταφικού μνημείου της Καλλιθέας, και το 1985, με την επανέκθεση του ιερού της Κυβέλης. Το 1996 ξεκίνησαν εργασίες επανέκθεσης και ανακαίνισης του μουσείου, με αφορμή την πλήρη αναστήλωση του εντυπωσιακού μνημείου της Καλλιθέας από το γλύπτη Σ. Τριάντη. Μέχρι το 1998 η μόνιμη έκθεση ανανεώθηκε υπό την επίβλεψη του Εφόρου Γ. Σταϊνχάουερ και εμπλουτίσθηκε με δύο νέες αίθουσες, μία αφιερωμένη στο ρόλο του Πειραιά στην αρχαιότητα και μία αφιερωμένη στη συλλογή κεραμικής και μικροαντικειμένων, που σχετίζονται με τον ιδιωτικό βίο. Το Νοέμβριο του ίδιου έτους πραγματοποιήθηκαν τα εγκαίνια του νέου μουσείου, ενώ το παλαιό μουσείο μετατράπηκε σε αποθήκη γλυπτών.

Μέχρι σήμερα έχουν πραγματοποιηθεί εργασίες επισκευής των ζημιών που υπέστη το κτήριο κατά το σεισμό του Σεπτεμβρίου 1999, καθώς και διάφορες εργασίες για τη βελτίωση των εγκαταστάσεων. Επίσης, ολοκληρώθηκε η υπαίθρια έκθεση γλυπτών σε στέγαστρο που κατασκευάστηκε στον όμορο προς το μουσείο αρχαιολογικό χώρο του θεάτρου της Ζέας. Το 2003, το Αρχαιολογικό Μουσείο Πειραιά πέρασε στην αρμοδιότητα της νεοσύστατης ΚΣΤ΄ Εφορείας Προϊστορικών και Κλασικών Αρχαιοτήτων, με έδρα τον Πειραιά, ενώ μέχρι τότε υπαγόταν στη Β΄ Εφορεία Προϊστορικών και Κλασικών Αρχαιοτήτων.