Theo các cụ cao niên và cuốn Ngọc Bảo cổ truyền còn lưu giữ tại đền cho biết, đền thờ ông tổ nghề khảm trai là Trương Công Thành “xưa kia phường Ngọ thuộc huyện Quảng Nguyên (tên cũ của huyện Phú Xuyên) là một làng nổi tiếng đất đai bằng phẳng, non nước hữu tình. Trong làng có vợ chồng ông Trương Huy và bà Trần Thị Ba vốn hòa thuận, hay làm điều thiện. Một đêm, bà nằm mộng thấy hào quang sáng rực, một con rồng trắng bay vào nhà hóa thành bông sen hương thơm ngát, bà hái lấy bông sen đó và coi như vật báu và được báo mộng sau này sẽ sinh được một quý nhân. Quả nhiên về sau, ngày 9 tháng Giêng bà sinh được một mụn con trai. Ông bà đặt tên là Thành, thuở nhỏ, Trương Công Thành đã thông minh, ham học. Lớn lên, ông đi thi đỗ Thái Học sinh, rồi lại đỗ Khoa Bác học Hoành từ, được Lý Đạo Thành gả con gái Lý Tố Hương.
Thời vua Lý Nhân Tông, Trương Công Thành có công giúp Lý Thường Kiệt đánh hai châu Ung và Liêm, được vua ban thưởng. Nhà Tống vô cùng tức giận xui các chúa Chiêm Thành và Chân Lạp cướp phá nước Nam. Vua sai Lý Thường Kiệt thống lĩnh đạo quân phía tây để đánh giặc. Giặc Tống kéo sang nước ta, hai ông cầm quân chống giặc ở sông Như Nguyệt, sông Cầu ngày nay. Sau khi chiến thắng quân Tống, nhà vua sai mở tiệc ăn mừng, khen thưởng tướng sĩ. Tướng công Trương Công Thành tâu rằng: "Đất nước đã thanh bình, nay thần xin lui về chốn nhà tranh, tháng ngày đọc kinh niệm Phật. Nhà vua ưng thuận, ban cho Trương Công Thành chiếc ấn, lệnh cho tăng ni địa phương lo việc phụng dưỡng”.
Sau khi về quê, những lúc nhàn rỗi, tướng công thường đi dạo chơi, thấy vỏ trai có vân ngũ sắc thường ngắm nghía, nhặt về và chắp thành hình, thành chữ. Ông gọi dân đến dạy, lúc đầu gọi là xà cừ công nghệ, xưa kia dân quen gọi là khảm xà cừ. Sau khi ông qua đời, những người thợ khảm ở nơi đây thờ ông làm thành hoàng làng, tôn ông làm tổ nghề. Nghề khảm trai ra đời, ông được tôn thờ là tổ sư. Ông được ban mỹ tự Phổ Quảng Thượng sĩ linh nhân hiển ứng Trương Công Lý Thành tự Phả An thụy Phổ Quang tự Huyền Chân bồ tát.
Đền thờ tổ nghề khảm trai Trương Công Thành được xây dựng từ lâu đời, tọa lạc trên doi đất cao giữa làng, ngoảnh hướng Đông Nam. Khu di tích gồm những công trình kiến trúc chính như cổng vào, nhà bia, nhà tiền tế và hậu cung. Nhà bia mới được làm sau khi di tích được Nhà nước xếp hạng. Kiến trúc cổ của ngôi đền chủ yếu là nhà tiền tế và hậu cung nằm trên một mặt bằng tổng thể làm theo kiểu chữ Đinh. Nhà tiền tế là ngôi nhà bán mái, cấu trúc xây hai tường đầu hồi, tạo mái dốc chảy lợp ngói mũi. Kiến trúc gỗ có hai hàng cột, chân kê tảng, đầu cột xẻ để khớp bộ vì xà với bộ chồng rường xuôi chiều tạo nên mái nhà dốc. Mặt bằng xây dựng nhà tiền tế gồm ba gian, chiều dài 6,20m, chiều rộng 3,30m đủ để đặt hương án và những đồ thờ mộc mạc đơn sơ.
Hậu cung là công trình kiến trúc được xây bằng gạch, đấu chữ Đinh vào tiền tế, có hai tường bên và đầu hồi bít đốc. Bờ nóc xây bờ đinh, vì dáng vóc hình chữ Đinh, ở đầu tường hậu là trụ đấu, kiến trúc theo kiểu hai tầng bốn mái lợp ngói mũi mỏng. Kiến trúc bên trong nhà không làm bằng gỗ mà cuốn vòm theo kiểu gôtích của phương Tây.
Trong đền còn lưu giữ được nhiều hiện vật có giá trị như hương án, hoành phi, câu đối, long ngai bài vị, 1 bát hương gốm, 1 bản khảm khắc tên tuổi chức sắc của tổ nghề. Đặc biệt, đền còn lưu giữ được cuốn Ngọc bảo cổ truyền viết bằng chữ Hán là tư liệu quý có niên đại tháng Tám niên hiệu Sùng Hưng Đại Bảo thứ 3 (1051) phụng ghi, ngày 5 tháng giêng niên hiệu Hồng Đức nguyên niên (1470) ghi lại và niên hiệu Chiêu Thống thứ 2 (1788), Nguyễn Hiền phụng sao ghi chép về sự tích vị tổ nghề khảm trai Trương Công Thành.
Trải qua nhiều thế kỷ hình thành và phát triển, đến nay, nghề tranh khảm trai ở Chuyên Mỹ đã phát triển đến đỉnh cao với việc xuất hiện một lớp nghệ nhân khảm vẽ truyền thần chân dung. Việc khảm vẽ theo tích cổ, vốn chiếm phần lớn công việc ở làng nghề, thì chỉ cần công phu luyện rèn là có thể thành nghề, nhưng những nghệ nhân tài hoa thật sự phải là người theo việc khảm vẽ truyền thần, sáng tạo những mẫu tranh mới về phong cảnh hoặc làm tranh theo ý tưởng của khách hàng...
Với những giá trị của mình, đền thờ Tổ nghề khảm trai được công nhận là Di tích Quốc gia năm 1995.