Siguiendo las indicaciones del W3C (consorcio internacional que se ocupa de normalizar el uso del HTML) Doctype debe ser el primer elemento que abra un documento. Esto quiere decir que debería preceder a <html>.
Se trata de una marca que no necesita cierre y cuya función es facilitar información al servidor web que aloja la página. La información facilita por DOCTYPE se refiere al tipo de documento visualizado además de ser necesaria para la comunicación entre navegador y servidor.
Al decir "tipo de documento" nos referimos al tipo de HTML, que como habrás deducido, no es único y universal. Existen diferentes HTML. Veamos algunos usados en la antiguedad y también actualmente:
Doctype XHTML 1.0 strict
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
Doctype XHTML 1.0 transitional
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
Doctype XHTML 1.0 frameset
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Frameset//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-frameset.dtd">
Doctype HTML 4.01 strict
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
Doctype HTML 4.01 transitional
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
Doctype HTML 4.01 frameset
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Frameset//EN" "http://www.w3.org/TR/html4/frameset.dtd">
Veamos por encima qué diferencias hay entre HTML, XHTML, strict y transitional.
El lenguaje html, xhtml, etc... tiene unas reglas. En el caso del xhtml strict, estas son más estrictas, y en el transitional más laxas.
El caso del "frameset", en desuso y completamente obsoleto, se utilizaba para "embeber" varias webs en una sola y mostrarla en marcos, véase el ejemplo: aquí.
En HTML5, el doctype se ha simplificado mucho, y simplemente nos sirve con escribir <!DOCTYPE html> para declarar que nuesrto documento, es decir, nuesrta web, está en HTML5
Más información en: https://www.w3schools.com/tags/tag_doctype.asp