Theo Việt Nam văn hóa sử cương cho biết, ngay từ thời nhà Lý nước ta đã có cơ quan giám sát. Nhà Lý thì đặt quan Tả hữu Gián nghị đại phu, nhà Trần đặt Ngự sử đài, nhà Nguyễn đặt Đô sát viện.

Thời Lê sơ ngay từ buổi đầu đã thiết lập nên cơ quan Ngự sử đài theo quan chế cũ của nhà Trần. Vai trò của Ngự sử đài được xem là rất lớn như lời Phan Huy Chú ghi: “Ngự sử đài giữ phong hóa pháp độ, chức danh rất trọng”. Bởi chăng, chức năng cơ quan này, cũng thường được gọi là ty Phong hiến, được vua Lê Thái Tổ xác định ngay từ khi được lập là trình bày, đàn hặc ngay những việc của thi hành pháp lệnh hà khắc, thuế khóa nặng nề, thưởng phạt không công minh của vua, hiện tượng không giữ phép nước, ăn của đút, nhũng nhiễu làm hại dân của đại thần, quan lại trong Kinh sư ngoài các đạo.