Το Επιγραφικό Μουσείο ιδρύθηκε το 1885 και στεγάσθηκε εξ αρχής στο χώρο όπου βρίσκεται μέχρι σήμερα. Τροποποιήσεις και προσθήκες, που έγιναν στο κτήριο τη δεκαετία του 1950 από τον αρχιτέκτονα Πάτροκλο Καραντινό, εξασφάλισαν νέους χώρους στο μουσείο, το οποίο έλαβε έτσι τη σημερινή του μορφή.

Τον πρώτο πυρήνα των συλλογών του αποτέλεσαν οι επιγραφές, που με συγκινητική αυταπάρνηση και ζήλο συγκέντρωνε σε διάφορα σημεία των Αθηνών ο Κυριακός Πιττάκης. Σε αυτές προστέθηκαν οι επιγραφές των παλαιών συλλογών της Αρχαιολογικής Εταιρείας - Βαρβακείου, καθώς και ευρήματα από τις ανασκαφές της Ακροπόλεως των Αθηνών. Βαθμιαία, οι συλλογές του μουσείου εμπλουτίζονταν με νέα ευρήματα από ανασκαφές ή περισυλλογές, κυρίως από την Αττική αλλά και από άλλα μέρη της Ελλάδας. Λόγω έλλειψης χώρου, όμως, ο εμπλουτισμός του μουσείου διακόπηκε γύρω στο 1960, και έκτοτε προστίθενται ελάχιστες επιγραφές από δωρεές, καθώς και ενεπίγραφα θραύσματα από άλλα μουσεία των Αθηνών (κυρίως από την Αρχαία Αγορά), τα οποία συνανήκουν με επιγραφές που φυλάσσονται ήδη στο Επιγραφικό Μουσείο.

Η πρώτη ουσιαστική ταξινόμηση των συλλογών του μουσείου πραγματοποιήθηκε από το Βασίλειο Λεονάρδο, στα τέλη του 19ου - αρχές 20ού αιώνα. Καθώς η ταξινόμηση συνέπεσε περίπου με την έκδοση της σειράς Inscriptiones Graecae, οι επιγραφές καταγράφονταν στα ευρετήρια του μουσείου κατά ενότητες, ανάλογα με το περιεχόμενό τους, και τοποθετούνταν στις αίθουσες με την ίδια σειρά. Την ίδια αρχή τήρησε σε γενικές γραμμές και ο Μάρκελλος Μιτσός στη ριζική επανέκθεση του μουσείου, που πραγματοποιήθηκε μετά τον πόλεμο και ολοκληρώθηκε από την Κωνσταντίνα Δελμούζου. Στη δεκαετία του 1990 πραγματοποιήθηκε από τον Χαράλαμπο Κριτζά η ανακαίνιση του προθαλάμου και των δύο νεότερων αιθουσών (9η και 11η), η έκθεση των οποίων έγινε με σύγχρονες μουσειολογικές αντιλήψεις και έχει κυρίως εποπτικό και διδακτικό χαρακτήρα. Στην προσπάθεια εκσυγχρονισμού της μόνιμης έκθεσης σύμφωνα με αυτή την αντίληψη, σταδιακά αντικαταστάθηκαν και εμπλουτίσθηκαν οι δίγλωσσες (ελληνικά-αγγλικά) ενημερωτικές πινακίδες των εκθεμάτων.

Σε παρακείμενο του Μουσείου χώρο έχει διαμορφωθεί αίθουσα περιοδικών εκθέσεων, όπου έχει πραγματοποιηθεί η εκθέση επιγραφών ''Καττάδε έδοξε τοις Λακεδαιμονίοις. Επιγραφές δημόσιου χαρακτήρα από την Σπάρτη του 5ου αιώνα'' με τη συνεργασία της Ελληνικής Επιγραφικής Εταιρείας και η έκθεση ''Πολιτεύεσθαι τούς Κείους κατά πόλεις. Η διάσπαση ως μέσον πολιτικού ελέγχου'' με τη συνεργασία του Κέντρου Ελληνικής και Ρωμαϊκής Αρχαιότητος του Εθνικού Ιδρύματος Ερευνών. Ακόμα έχουν πραγματοποιηθεί εκθέσεις ζωγραφικής ελλήνων εικαστικών με θέματα εμπνευσμένα από την ελληνική γραφή και τις αρχαίες επιγραφές.


Στον ίδιο χώρο έχει διαμορφωθεί αίθουσα για την πραγματοποίηση επιστημονικών συνεδρίων και διαλέξεων και του "Επιγραφικού Εργαστηρίου", που πραγματοποιείται σε τακτά χρονικά διαστήματα με τη συνεργασία της Ελληνικής Επιγραφικής Εταιρείας, της Γαλλικής Αρχαιολογικής Σχολής και της Βρετανικής Σχολής Αθηνών.