Строительство лагеря было приказано начать еще весной, но в июле, когда прибыли военнопленные, в Цайтхайне было сооружено всего лишь 12 деревянных бараков для лагерного лазарета. Пленные спали под открытым небом, без какой-либо защиты от непогоды. Из-за нехватки воды они пили дождевую воду из луж. Голодные отеки, цинга и хроническая диарея быстро распространились среди пленных.

Недостаток уборных и мест для мытья, а также неэффективная дезинсекция привели осенью к катастрофическому санитарному состоянию. Несмотря на это, пленные должны строить помещения для охраны и хозяйственные здания. Лишь с сентября они начали возведение жилых бараков для себя. К октябрю 1941 года было построено около 50 бараков.  Они были безнадежно переполнены.

Один из офицеров охраны вспоминал:  

«Из неотопленных бараков слышались жуткие звуки, похожие на громыхание подземного вулкана или же на голодное рычание диких животных. Неудивительно: эти умирающие от голода и холода “недочеловеки” боролись против замерзания постоянным движением, приближаясь тем самым к другой смерти — смерти от недомогания, обессиленные от непосильного ежедневного <...> труда».

Полностью строительство лагеря завершилось лишь к концу 1942 года.

Главной причиной массовой гибели военнопленных было недостаточное питание. Согласно приказу Верховного командования вермахта от сентября 1941 года советские военнопленные должны были получать около 2 300 калорий в день. Для истощенных мужчин, занятых тяжелым физическим трудом, этого было совершенно недостаточно. Несмотря на увеличение продовольственных норм в ходе войны, они оставались слишком низкими и всегда были значительно меньше, чем у военнопленных из других стран. 

Катастрофические условия в лагере привели к эпидемиям дизентерии и тифа. С декабря 1941 года по март 1942 года лагерь находился на карантине. К февралю 1942 года карантин был распространен и на охрану лагеря, чтобы предотвратить распространение эпидемии среди солдат вермахта и  населения окрестных деревень. Тяжелобольные пленные были фактически оставлены на произвол судьбы. Лишь медицинский персонал Красной армии заботился о них, несмотря на острую нехватку медикаментов.

Из 10 677 пленных, находившихся в лагере в начале карантина, к концу апреля 1942 года в живых остались лишь 3 729 человек.

Кроме того, с сентября 1941 года по май 1942 года в лагерях для военнопленных Германии проводились систематические «чистки». Все политкомиссары Красной армии («политруки»), коммунисты, члены массовых организаций и государственные служащие — а также военнопленные-евреи — передавались лагерной администрацией Службе безопасности СС (СД, нем. Sicherheitsdienst des Reichsführers-SS), поскольку считались угрозой национал-социалистическому режиму. Группами по 40–50 «отобранных» человек военнопленных отправляли в концентрационные лагеря — например, в Бухенвальд, Заксенхаузен, Дахау и Гросс-Розен. Согласно документальным свидетельствам, их казнили выстрелом в затылок — либо в специально переоборудованной бывшей конюшне, либо на стрельбищах СС. Только в Бухенвальд из Цайтхайна за этот период не менее 1 000 военнопленных были депортированы и казнены.