Bruegelowska wieża Babel w pierwszym i drugim przypadku przypomina kształtem rzymskie Koloseum, co prawdopodobnie jest skutkiem faktu, że autor był zauroczony pozostałościami starożytnego amfiteatru podczas swego pobytu we Włoszech.
W wersji obrazu znajdującej się w Wiedniu wieża przypominająca rzymską budowlę zajmuje większą część malowidła, ale w tle widać miasto wraz z jego murami połączonymi z wieżą systemem podziemnych korytarzy. W prawym dolnym rogu znajduje się port ze statkami dostarczającymi materiały potrzebne do budowy. W lewym dolnym rogu została uwieczniona scena, której centralną postacią jest król, który przybył, aby sprawdzić postępy w budowie. Jest nim najprawdopodobniej władca babiloński Nimrod. Malarz przedstawił go jako człowieka wyjątkowo pysznego, któremu kłaniają się wszyscy, których napotyka na swej drodze.
Rotterdamska wersja obrazu różni się nieco od wiedeńskiej. Wieża zajmuje tam większość miejsca. Reszta właściwie stanowi tło. W prawym dolnym rogu również odnajdujemy port ze statkami. Nie ma tam jednak dodatkowych scen, jak na większym obrazie. Znaczne są również różnice kolorystyczne. Obraz wiedeński pokazuję wieżę w jasnych tonacjach z użyciem ochry, natomiast budowla na drugim dziele przedstawiona jest w tonacjach ciemnych, podkreślonych w otaczających ją chmurach i przygnębiającej atmosferze. Podczas gdy Mała Wieża Babel ukazuje moment przerwania budowy, obraz wiedeński ukazuje chwilę, gdy zapanował chaos i zbliżała się kara boska. Ten drugi obraz jest bardziej udramatyzowany i wskazuje na to, co dopiero ma nadejść
