La Torre del Martello o Torre della Linguella, subito riconoscibile all’entrata del porto di Portoferraio per la sua forma ottagonale, deve la sua costruzione agli inizi del cinquecento dai Medici, signori di Portoferraio. È un esempio supremo di architettura militare a difesa del porto.

Utilizzata nel tempo come magazzini del sale, successivamente come magazzini della tonnara e luogo di conservazione dei tonni, fu trasformata nel 700 dai Granduchi di Lorena in carcere.

Dopo anni di degrado, nel 1977 durante i lavori di ristrutturazione che la riportarono al suo splendore originale, vennero alla luce i resti di una antica villa romana. Costruita direttamente sugli scogli, si presenta con la parte superiore della struttura della torre nettamente più sporgente di quella inferiore, culminando nella sommità con possenti beccatelli che delimitano la terrazza originariamente utilizzata per le funzioni di avvistamento.

Al centro della torre è presente una piccola struttura a base circolare non visibile dall'esterno del complesso. La torre del martello, o torre della linguella si trova a Portoferraio, è visitabile gratuitamente durante l’estate in quanto spesso sede di mostre di pittura.

La torre del martello è anche nota come torre di Passannante, anarchico lucano che il 17 novembre del 1878 a Napoli, in occasione della visita del re Umberto I di Savoia, attentò alla vita del re, colpendolo di striscio senza ucciderlo. A causa di questo attentato fu rinchiuso in una cella della torre e legato ad una pesante catena che gli impediva di muoversi di più di un metro. I marinai che passando nelle vicinanze della torre udivano i suoi lugubri e continui lamenti, iniziarono a chiamarla torre di Passannante.

Nel 1933 nella stessa Torre della Linguella, fu carcerato in attesa di essere processato per oltraggio ad una guardia carceraria, anche Sandro Pertini. Un procedimento giudiziario dovuto a fatti avvenuti l'anno precedente, mentre era detenuto politico nel carcere di Pianosa quale noto antifascista.