ตามประวัติเดิม วัดสว่างอารมณ์นี้สร้างมาแต่สมัยใดไม่ปรากฎชัด แต่เท่าที่มีผู้จำได้ประมาณปี พ.ศ. 2506 ท่านเจ้าคุณพระราชสิทธิมุนี พระอาจารย์ใหญ่ฝ่ายวิปัสสนาธุระ ณ วัดยุวราชรังสฤษฏิ์ คณะ 5 พระนคร ได้ส่งพระวินัยธรสุภาพ สุวฑฺฒโน มาสร้างสำนักวิปัสสนา ที่วัดราชสิทธิธรรมมาราม (วัดสว่างอารมณ์)
วัดนี้เป็นวัดร้างมากกว่า 50 ปีเศษ ตั้งอยู่หมู่ที่ 4 ตำบลขุนแก้ว อำเภอนครชัยศรี จังหวัดนครปฐม เดิมมีเนื้อที่เก่าอยู่ 4 ไร่ 3 งาน 20 วา ส่วนซากศาลาหรือกุฏิก็ไม่มีเหลืออยู่ จนหมดสภาพที่เป็นวัด แม้นชื่อและประวัติของวัดเป็นมาอย่างไร ประชาชนรุ่นหลังก็จำกันไม่ค่อยได้ ต่อมาพระวินัยธรสุภาพ สุวฑฺฒโน และประชาชนในพื้นที่ได้ทำการบูรณะวัดร้างแห่งนี้ ครั้งแรกเริ่มสร้างกุฏิ 1 หลัง มีผู้ศรัทธาซื้อที่ดินถวายวัด 10 ไร่ 3 งาน 79 วา และมีผู้ศรัทธาจัดสร้างกุฏิถวาย 3 หลัง ในปี พ.ศ. 2508 มีผู้ศรัทธาจัดซื้อถวายอีก 9 ไร่ 80 วา ในปี พ.ศ. 2509 มีผู้ศรัทธาสร้างศาลา 1 หลัง และทำการโรยลูกรังจากถนนใหญ่ถึงวัด ในปี พ.ศ. 2510 คณะผู้ศรัทธาจัดสร้างกุฏิถวาย 1 หลัง ขณะนี้มีกุฏิ 7 หลัง ส่วนที่ดินของวัดขณะนี้รวมทั้งที่ใหม่และที่เก่ามี 30 ไร่เศษ
ในวันพุธที่ 30 มีนาคม พ.ศ. 2511 ปีวอก เริ่มวางศิลาฤกษ์อุโบสถ การบูรณะวัดร้างแห่งนี้มีการเจริญขึ้นเป็นลำดับ
ยุคที่มีการก่อสร้างเป็นวัดมีอุโบสถเป็นครั้งแรก
เมื่อวางศิลาฤกษ์แล้ว พระวินัยธรสุภาพ สุวฑฺฒโน และประชาชนก็ได้ร่วมทำการก่อสร้างพระอุโบสถจนแล้วเสร็จใน พ.ศ. 2516 ได้ทำการปิดทองฝังลูกนิมิต ผูกพัทธสีมา และได้ทำการสังฆกรรมสงฆ์มาจนถึงทุกวันนี้
การพัฒนาวัดที่มีสืบกันมาโดยลำดับ
เมื่อพระวินัยธรสุภาพ สุวฑฺฒโน ได้มรณภาพลงแล้ว ในช่วง พ.ศ. 2517 ถึง พ.ศ. 2524 ก็ได้มีพระภิกษุอีกหลายรูปเช่น พระอาจารย์บุณไห้ , พระอาจารย์ทองอยู่ , พระอธิการบุญมี มาปกครองวัด รักษาการดูแลวัด ตลอดจนร่วมกันพัฒนาวัด และสอนการปฏิบัติธรรมให้กับประชาชน
การพัฒนาวัดในปัจจุบัน
เมื่อพระอธิการสมทรง ธมฺมทินฺโน (ปัจจุบันเป็นพระครูยติธรรมานุยุต) มารับตำแหน่งเป็นเจ้าอาวาส ก็ได้พัฒนาวัดสว่างอารมณ์ โดยการอบรมปฏิบัติธรรมแก่พุทธศาสนิกชน และได้จัดการในเรื่องถาวรสถาน และถาวรวัตถุ สิ่งศักดิ์สิทธิ์มากมายเพื่อให้ประชาชนได้กราบไหว้สักการะบูชา
