Theo truyền thuyết, Chử Đồng Tử quê ở làng Chử Xá (nay thuộc xã Văn Đức, huyện Gia Lâm, thành phố Hà Nội). Chàng trai nghèo họ Chử là kết quả cuộc nhân duyên giữa ông Chử Cù Vân và bà Bùi Thị Gia. Vợ mất sớm, ông Chử Cù Vân ở vậy một mình nuôi con. Không may một lần bị hỏa hoạn, hai cha con chỉ còn duy nhất một cái khố, mỗi khi có việc ra ngoài hai cha con phải thay nhau dùng. Chẳng bao lâu Chử Cù Vân bị bệnh nặng, trước khi qua đời, ông dặn Chử Đồng Tử: “Cha chết đi, con giữ cái khố lại mà che thân, cho thiên hạ khỏi chê cười”. Không đành lòng để cha chết trần, chàng vẫn chôn cha cùng với cái khố. Không có quần áo che thân, hằng ngày chàng ngâm mình dưới nước bắt cua, bắt cá để kiếm sống qua ngày.
Thuở ấy, vua Hùng thứ 18 có người con gái nhan sắc tuyệt trần, tên là Tiên Dung. Vào một ngày đẹp trời, thuyền của công chúa Tiên Dung dạo chơi dọc sông Hồng. Lúc đó, Chử Đồng Tử đang ngâm mình bắt cá dưới sông, nhìn thấy từ xa đoàn thuyền dong buồm đi tới, sợ quá chàng liền chạy lên bờ nhằm khóm lau vùi mình xuống cát. Ngắm phong cảnh hữu tình, công chúa Tiên Dung cho dừng thuyền, sai tỳ nữ lên bờ quây màn tắm bên một khóm lau, chẳng ngờ lại đúng nơi chàng trai họ Chử giấu mình. Nước dội cát trôi, phút chốc nàng thấy lộ ra thân hình một chàng trai trẻ cũng không quần áo. Trước người con gái có thân thể như ngọc như ngà, Chử Đồng Tử sợ hãi định chạy trốn. Ngẫm là chuyện trời định, Tiên Dung bình tĩnh nói: “Ta và chàng tình cờ gặp nhau ở đây, đều mình trần như thế này, âu cũng là nhân duyên do trời sắp đặt”. Liền đó, Tiên Dung truyền mang quần áo cho Chử Đồng Tử và cùng chàng làm lễ kết duyên ngay trên thuyền.
Chuyện đến tai vua, Hùng Vương nổi cơn thịnh lộ: “Tiên Dung không biết trọng danh giá, nó đi lang thang để lấy một đứa cùng đinh, còn mặt mũi nào để nhìn thấy ta nữa”. Tiên Dung sợ không dám trở về. Nàng ở lại cùng Chử Đồng Tử sống một cuộc sống bình dị, hạnh phúc. Họ mưu sinh bằng nghề chài lưới và trao đổi hàng hóa trên sông. Dần dần, nơi ấy trở nên phồn thịnh, thuyền bè buôn bán tấp nập. Sau đó, Chử Đồng Tử cùng các nhà buôn đi đến vùng biển để làm ăn buôn bán. Tình cờ, khi tới vùng núi Quỳnh Lãng, chàng được một nhà sư truyền cho đạo pháp. Sau một năm, chàng trở về nhà. Phật Quang cho chàng một cây gậy, một cái nón và dặn: “Những quyền phép màu nhiệm ở cả trong gậy và nón này”. Trở về, chàng truyền đạo cho vợ, hai vợ chồng bỏ nghề buôn bán, cùng nhau học đạo. Một hôm, đang giữa chặng đường xa thì trời tối, Chử Đồng Tử cầm chiếc gậy chụp nón lên để trú tạm, nào ngờ hai vật ấy bỗng chốc biến thành một tòa thành nguy nga tráng lệ, cùng văn võ bá quan như một triều đình. Dân trong vùng thấy sự lạ, kính cẩn dâng lễ vật cho hai vợ chồng.
Tin đồn đến tai vua, Hùng Vương ngỡ con làm phản, sai quân đến hỏi tội. Vợ chồng Chử Đồng Tử không dám cưỡng lệnh cha, chờ chịu tội. Khi binh lính nhà vua gần đến nơi, bỗng chốc một trận cuồng phong nổi lên, cả tòa thành cùng người đều bay lên trời, chỉ còn một dải cát giữa đầm lầy mênh mông. Người đời sau gọi đầm ấy là Đầm Nhất Dạ (Đầm được hình thành trong một đêm) hay Đầm Dạ Trạch (nay thuộc xã Tự Nhiên, Huyện Thường Tín, Hà Nội). Sau này, theo thần tích do Nguyễn Bính soạn vào thế kỷ XVI có kể lại rằng, trên đường đi truyền đạo, vợ chồng Chử Đồng Tử bỗng gặp một người con gái có nhan sắc tuyệt trần, người làng Đông Tảo (Nay thuộc xã Đông Tảo, huyện Khoái Châu, tỉnh Hưng Yên), vốn là tiên nữ Tây Cung giáng trần. Tiên Dung cùng nàng kết nghĩa chị em rồi se duyên cho Chử Đồng Tử. Lúc đó, ở ấp Ông Đình, thuộc địa phận huyện Đông Anh có người chết vì dịch bệnh. Chử Đồng Tử lấy gậy chỉ vào người chết thì sống lại, còn Tây Cung lấy một tờ giấy trắng, viết chữ lên rồi đốt, lấy tàn cho những người bị bệnh uống, hàng trăm người đều khỏi bệnh. Mọi người đến bái tạ, Chử Đồng Tử dùng gậy, nón hóa phép ra đền miếu trao cho dân địa phương đèn hương để thờ cúng. Sau cả ba người đều bay về trời.
Cảm động trước mối tình bất tử, đền thờ Đức thánh Chử Đồng Tử và Tiên Dung công chúa được nhân dân thờ phụng nhiều nơi trên địa bàn đồng bằng và trung du Bắc bộ, chủ yếu là các làng ven sông Hồng, nhưng đền thờ chính, nổi tiếng nhất là đền Đa Hòa thuộc xã Bình Minh, huyện Khoái Châu, Hưng Yên. Ngôi đền này năm 1894 được Tiến sĩ Chu Mạnh Trinh, người làng Phú Thị, tổng Mễ Sở hưng công xây dựng lại. Toàn thể khu đền được xây dựng trên một khu đất cao và bằng phẳng, rộng 18.720m² có cảnh quan rất đẹp, mặt quay hướng chính Tây nhìn thẳng sang bãi Tự Nhiên, gồm 18 nóc nhà lớn, nhỏ lợp mái ngói với các bờ nóc, đầu đao được vát cong tựa như những mũi thuyền, tượng trưng cho 18 đời vua Hùng. Nơi đây gồm 2 khu: khu ngoài không có tường bao rộng chừng 7.200m², nổi bật ngôi nhà bia hai tầng tám mái nằm dưới bóng đa cổ thụ có cửa trổ ra 4 hướng. Từ đây một lối đi lát gạch rộng 8m dẫn tới Ngọ môn, hai bên lối đi có nhà chuông và nhà khánh. Hiện nay đền còn lưu giữ được nhiều cổ vật, trong đó có tượng thờ Chử Đồng Tử và nhị vị phu nhân. Nơi đây hằng năm diễn ra lễ hội kéo dài trong 3 ngày, từ ngày 10 đến 12 tháng 2 âm lịch. Vào ngày hội, những dòng người khăn áo đủ sắc màu, nườm nượp theo đê hoặc bơi thuyền từ bên kia sông Hồng sang, nô nức trẩy hội tình yêu.
Lễ hội Chử Đồng Tử - Tiên Dung (hay còn gọi là lễ hội Đa Hòa - Dạ Trạch) được tổ chức ở hai ngôi đền là đền Đa Hòa (xã Bình Minh) và đền Hóa (xã Dạ Trạch) cùng huyện Khoái Châu. Mở màn lễ hội là các làng thuộc tổng Mễ tổ chức đội hình rước kiệu thánh từ đình làng về đền Đa Hòa. Đi đầu đoàn rước là con rồng dài trên 20 mét được ba chục thanh niên khỏe mạnh thay nhau múa theo điệu trống thúc liên hồi khiến cuộc rước thật tưng bừng. Tiếp theo sau là hai hàng các bà, các chị, các cô trang phục đủ sắc màu rực rỡ tay cầm cờ hội, chống chiêng, cùng ngựa hồng, ngựa bạch, gươm trường bát bửu, phường đồng văn, đội múa sinh tiền, đội múa nón, đội nhạc lễ. Tiếp đến là nghi thức rước nước từ sông Hồng về lễ thánh. Đám rước uy nghi, rồng vàng dẫn đầu; hội rước cờ, trống, phường bát âm, múa sinh tiền, kiệu long đình, kiệu chóe nước, kiệu đặt nón gậy, kiệu “Bế ngư thần quan”, ba kiệu rước Chử Đồng Tử, Tiên Dung công chúa, Tây Sa công chúa đi sau. Sau khi lấy nước ở sông Hồng về, các kiệu trở về đền Hóa lễ thánh. Đi đầu là hai bô lão cùng hai nam, hai nữ dâng nước vào đền. Theo tục lệ, nước được dùng để cúng phải là nước lấy ở giữa sông Hồng. Người đại diện cho dân làng lấy nước là cụ già có đức độ trong làng. Dâng nước là hình thức tâm linh cầu nguyện một năm mưa thuận gió hòa, mùa màng tươi tốt bội thu. Trong thời gian diễn ra lễ hội còn có nhiều trò chơi dân gian, các hoạt động văn hóa văn nghệ đặc sắc mang đậm nét văn hóa của nền văn minh sông Hồng.
Rước nước trên sông Hồng. Ảnh tư liệu
Lễ hội Chử Đồng Tử - Tiên Dung hàng năm đều được tổ chức nhưng với quy mô tổng (tổng Mễ xưa có 9 làng) thì 3 năm một lần. Ngày khai hội, các làng tổ chức rước kiệu Thánh Bản thổ của làng mình về đền Đa Hòa trình Đức Thánh với sự tham gia của hàng ngàn người xiêm y rực rỡ, cờ xí, lọng tía rợp trời. Khi đoàn rước kiệu của các làng về đến sân đền trình Đức Thánh, lễ khai hội bắt đầu. Mọi người cùng nhau ôn lại truyền thuyết về mối tình Chử Đồng Tử, Tiên Dung. Sau lễ khai mạc là lễ dâng hương. Ngày thứ hai là lễ rước nước và du thuyền trên sông, trong đó, nước cúng phải được lấy ở giữa dòng sông Hồng. Lực lượng tham gia lễ rước được chia thành các đội như đội tế nam gồm các vị trung niên trở lên, đội tế nữ là các bà trung niên, đội múa sênh tiền gồm các thiếu nữ từ 13, 14 tuổi… đều có trang phục lễ hội rực rỡ. Đám rước uy nghi, rồng vàng dẫn đầu; dẫn đoàn rước kiệu là hai hàng các bà, các cô trong đội tế nữ. Đi sau là ban nhạc lễ, kiệu Thánh, cùng bát bửu, chấp kích, kiệu chóe. Hàng ngàn người trong trang phục lễ hội theo đám rước tới bờ sông Hồng, trên bãi cát Tự Nhiên, nơi Chử Đồng Tử và Tiên Dung gặp gỡ. Đám rước đến bến Tuần thì dừng lại, làm lễ rước nước và du thuyền trên sông, tức là lấy nước từ sông Hồng về Đền. Người được chọn giao múc nước là một người già đức độ, khỏe mạnh, mặc lễ phục, tay cầm gáo dừa đổ vào chóe cho tới khi đầy. Sau lễ dâng hương là nhiều trò chơi dân gian, các hoạt động văn hóa nghệ thuật đặc sắc mang đậm nét văn hóa của nền văn minh sông Hồng.
Lễ hội Chử Đồng Tử - Tiên Dung mang giá trị văn hóa sâu sắc, là bức tranh về đời sống hết sức phong phú, sinh động của người Việt cổ vùng đồng bằng, trung du Bắc bộ trong việc khai phá đầm lầy, phù sa ven sông Hồng từ hàng ngàn năm về trước. Đây không chỉ là huyền thoại về tình yêu mà còn là bài ca về lòng hiếu thảo, về đạo làm người, là minh chứng của nền văn minh lâu đời của dân tộc Việt Nam. Lễ hội Chử Đồng Tử - Tiên Dung là lễ hội tình yêu độc đáo nhất cả nước, không chỉ là nơi thờ cúng tâm linh mà còn là điểm du lịch tham quan không thể thiếu của du khách trong tua du lịch đồng bằng sông Hồng.