Para podermos usar o disco rígido, primeiro devemos formatá-lo. Formatar significa dividir logicamente o disco em setores endereçáveis, permitindo que os dados possam ser gravados e posteriormente lidos de maneira organizada.
     Existem dois tipos de formatação: a formatação física, ou formatação de baixo nível, e a formatação lógica. Foi abordado anteriormente sobre a organização do disco em trilhas, setores e cilindros. Esta organização é necessária para que se possa ler e gravar dados no disco. A divisão do disco em trilhas, setores e cilindros é chamada de formatação de baixo nível, ou formatação física.
     Os discos mais antigos, padrão ST-506 e ST-412 (que há mais de uma década deixaram de ser usados, sendo substituídos pelos discos padrão IDE e SCSI), eram muito mais simples do que os atuais, permitindo que a formatação física fosse feita pelo próprio usuário através do Setup. Inclusive, estes discos precisavam ser periodicamente reformatados fisicamente. Isso acontecia por um problema simples: quando lidos pela cabeça de leitura, os setores do disco esquentavam e se expandiam, esfriando e se contraindo logo em seguida. Esta expansão e contração da superfície do disco, acabava por alterar a posição das trilhas, causando desalinhamento e dificultando a leitura dos dados pela cabeça magnética, sendo necessária uma nova formatação física para que as trilhas, setores e cilindros, voltassem às suas posições iniciais.
     Para piorar, nesses discos obsoletos era utilizado um motor de passo para movimentar as cabeças eletromagnéticas (semelhante ao usado nos drives de disquetes) que, por não ser completamente preciso, sempre acabava causando algum desalinhamento também.
     Os HDs IDE e SCSI, usados atualmente, já são muito mais complexos do que os discos antigos, sendo quase impossível determinar sua disposição de trilhas, setores e cilindros para possibilitar uma formatação física. Eles também não possuem o problema de desalinhamento , de modo que neles a formatação física é feita somente uma vez na fábrica.
     Qualquer tentativa indevida de formatar fisicamente um disco moderno simplesmente não surtirá efeito, podendo em alguns casos, até mesmo inutilizar o disco, salvo quando feita usando algum programa específico e sob orientação do fabricante.
     Concluindo, todos os HDs do padrão IDE ou SCSI não precisam ser formatados fisicamente, não sendo aconselhada qualquer tentativa. Existem alguns programas, como o Maxtor Low Level Format, que são usados por alguns usuários como formatadores físicos.
     Na verdade, a maioria destes programas são simplesmente ferramentas de diagnóstico e correção de erros, na mesma linha do Scandisk, que checam o disco marcando setores defeituosos, permitindo também visualizar muitos outros erros lógicos no disco e corrigi-los. De qualquer maneira, a ação destes programas é apenas a nível lógico.
     Outros programas como o Zero Fill fazem um tipo de formatação irreversível, preenchendo todos os setores do disco com bits 0. A única diferença deste tipo de formatação, para a feita pelo comando "Format" é que não é possível recuperar nenhum dos dados anteriormente gravados no disco.
     Finalmente, temos alguns programas antigos, assim como a opção de "Low Level Format" encontrada em BIOS mais antigos que se destina a formatar fisicamente os antigos HDs padrão MFM e RLL.
     Quando usado em um HD IDE ou SCSI, este tipo de formatação simplesmente não funciona. Quando muito é apagado o Defect Map e o setor de Boot do HD. Algumas pessoas tentam usar placas mãe mais antigas, que possuem no Setup a opção de formatação de baixo nível para formatar fisicamente seus discos rígidos IDE a fim de eliminar setores danificados no disco.
     Este procedimento, além de poder causar danos ou mesmo a inutilização do disco rígido, não traz vantagens. Um setor danificado é uma pequena falha na superfície magnética do disco rígido, onde não se pode gravar dados com segurança. Estes danos na superfície do HD podem surgir devido a algum impacto forte, ou mesmo devido ao desgaste da mídia magnética, o que costuma ocorrer em HDs com muito uso.