Das Schloss besteht aus zwei Teilen, dem Pavillon (Wohnhaus) und dem Ökonomiebau (Nebengebäude).
Ursprünglich war das Schloss Besitz des Fürstbischofs von Würzburg und wurde als Lehen an verschiedene Adelige vergeben. Das älteste Datum, das im Zusammenhang mit den "Schlouß" bekannt ist, ist das Jahr 1454. Damals wurden Anton und Heinrich von Erthal mit dem Hofgut Elfershausen belehnt.
1562 wurde der Pavillion von Christoph Heinrich von Erthal neu erbaut, ein zweigeschossiger Barockbau mit überhöhtem Erdgeschoss und Mansardendach. Die Tafel über dem Eingang zeig die Wappen des Erbauers Georg Heinrich von Erthal und seiner Gemahlin Regina Kunigunde von Rosenberg. Der Eingang zum Schloss, 1705 geschaffen, ist ein großes Rundbogentor mit einer Rustica (Mauerwerk aus Quadersteinen), von pfeilartigen Formelementen flankiert mit einem Dreiecksgiebel. Im Giebelfeld halten Putten das Ehewappen der Erthal und Aufseß.
Das Schloss diente nach dem Krieg als Unterkunft für Vertriebene und Flüchtlinge. Im Jahre 1968 begann die Gemeinde, sich im Schloss einige Räume einzurichten, für einige Jahre praktizierte ein Arzt (Dr. Felix Schwab) in einer in den Schlossräumen untergebrachten Praxis.
Heute ist das Erthalsche Schloss Sitz der Gemeindeverwaltung und der Verwaltungsgemeinschaft. In dem Nebengebäude ist der gemeindliche Bauhof untergebracht.
Der historische Schlosskeller dient Veranstaltungen der Vereine, vor allem aber dem Markt- und Heimatfest, das im Schlossbereich Elfershausen jährlich um Maria Himmelfahrt (15. August) durchgeführt wird.
