وجود دو اثر تاریخی در روستای کلم بر روی یکی از تپه های روستا باعث شده این روستا قدمت تاریخی داشته باشد. این دو اثر تاریخی به مرور زمان به طرز شدیدی تخریب شده اند.

وجود این آثار تاریخی که یکی از آنها طبق شواهد یکی از قلعه تاریخی مربوط به دوره ساسانی است نشان می دهد که حکمرانان ساسانی به این منطقه خوش آب و هوا توجه خاصی داشته اند و از این منطقه برای زندگی استفاده کرده اند.علاوه بر این قلعه تاریخی آثار دیگر نیز در روبروی این قلعه وجود دارد که متاسفانه این اثر نیز تخریب شده است و مسئولان به آثار تاریخی روستا هم توجه نکرده اند.