Đường Thiên Lôi vốn là một đường cổ nổi tiếng đã được sách Đại Nam Nhất thống chí, Đồng Khánh Địa dư chí lược và Hải Dương toàn hạt dư địa chí chép và xếp vào mục cổ tích xứ Hải Dương xưa. Nội dung đại lược như sau: “Đường Thiên Lôi (Thiên Lôi lí) ở địa phận hai xã An Dương và Vĩnh Niệm huyện An Dương. Xưa Phạm Tử Nghi người xã Vĩnh Niệm có sức khỏe từng đắp con đê dài 3 dặm, lại đắp hai đống đất cao 5 thước ở hai đầu trên mặt đê, sau đó cầm gậy chạy đến chỗ đống đất thét to như tiếng sấm, gạt một nhát thì quét sạch đống đất. Đê nay vẫn còn, hàng trăm dân sở tại bồi đắp để ngăn nước mặn”.

Như vậy, đường Thiên Lôi cũ gồm đường Thiên Lôi và đường Niệm Nghĩa hiện nay. Các bản đồ thời Pháp thuộc vẽ đường Thiên Lôi từ điểm mút đường Nguyễn Hữu Thu tức Hồ Sen đến sát đầu cầu Rào cũ, cách cầu hiện nay vài trăm mét về phía thượng lưu. Như vậy đường Thiên Lôi xưa vốn là đê ngăn mặn bảo vệ một phần đồng đất, dân cư của cả ba tổng An Dương, Đông Khê, Trung Hành huyện An Dương. Thời thuộc Pháp, được sửa lại, rải đá để làm đường cho xe vận tải thô sơ không được hoạt động trong nội thành. Tuy ở gần khu ven nội, nhưng lại ở gần bãi bồi cửa sông Lạch Tray, sú vẹt, năn lác mọc bạt ngàn, dân cư thưa thớt, nên đường này thường vắng vẻ. Bọn lưu manh trộm cướp thường tụ tập gây tội ác. Trước cách mạng tháng Tám 1945, Thế Lữ đã viết một tập truyện mang tên Bên đường Thiên Lôi khá hấp dẫn.