Phan Văn Ái làm quan nổi tiếng là thẳng thắn và cương trực. Sử sách còn chép lại thời gian ông làm Tri huyện Hương Trà đã lệnh cho lính đánh cả chú ruột của vua là đức ông Hồng Dật vi phạm luật của triều đình, đi đêm không mang theo đèn. Có lần ông đến thăm nhà một viên quan đã về hưu, vốn khét tiếng tham nhũng lúc đương quyền, đã già, móm mém, muốn thết tiệc ông, cho ông tự chọn món ăn, ông chỉ chọn món ngô rang. Viên quan bảo ông: "Ông xỏ ta đấy ư, ngô rang thì ông ăn được chứ ta, răng còn đâu mà ăn ngô rang". Ông đáp: "Đến bạc nén, cứng như thế mà cụ còn ăn được, huống chi là ngô rang".
Phan Văn Ái nổi tiếng về văn học, có công góp phần vào sự phát triển của dòng văn học tiếng Việt nửa cuối thế kỷ XIX. Ông từng trông coi báo Đại Nam Đồng Văn (sau đổi là Đăng Cổ tùng báo), thơ của ông được truyền tụng nhiều. Ông còn là một dịch giả tài hoa. Bản dịch Tỳ bà hành của Bạch Cư Dị (thể song thất lục bát) là một bản dịch thành công của ông có thể so sánh được với bản dịch lâu nay vẫn tương truyền là của Phan Huy Vịnh.
Tác phẩm chính của ông là Đồng Giang Ất tiến sĩ Phan Tướng công tạc cảo, Đồng Giang phó bảng Phan Công Văn Ái thi tập và Phượng Minh thi tập(vừa thơ chữ Hán vừa thơ Nôm)
Ông mất năm Mậu Tuất (1898), hưởng thọ 49 tuổi.