O erro "Invalid floating point operation" no caso da raiz quadrada é em razão da disposição do calculo. Basta na verificação do delta<0, não verificar as raízes, pois o visual ao calcula-las com o delta negativo retorna o erro.
Veja um exemplo:
Algoritmo "Raiz quadrada"
// Disciplina : [Linguagem e Lógica de Programação]
// Professor : Edgar Ribeiro
// Descrição:
// Desenvolver um algoritmo que leia os coeficientes (a , b e c) de uma equação
// do segundo grau e calcule suas raízes. O programa deve mostrar, quando
// possível, o valor das raízes calculadas e a classificação das raízes.
// Autor(a) : xxxx
// Data atual : 26/01/2018
Var
// Seção de Declarações das variáveis
a, b, c, delta, x1, x2 : real
Inicio
// Seção de Comandos, procedimento, funções, operadores, etc...
Escreva ("Informe os coeficientes a,b e c, da equação: ")
Leia (a)
Leia (b)
Leia (c)
delta <- (exp(-b,2)- 4*a*c)
se delta = 0 então
x1 <- (-b + raizQ(delta))/(2 * a)
x2 <- (-b - raizQ(delta))/(2 * a)
Escreva ("A equação possui raizes reais iguais: X1=X2 = ",x1)
senao
se delta > 0 então
x1 <- (-b + raizQ(delta))/(2 * a)
x2 <- (-b - raizQ(delta))/(2 * a)
Escreva ("A equação possui duas raizes reais distintas: X1=",x1, " e X2=",x2)
senao
se delta < 0 então
Escreva ("A equação não possui raizes reais")
fimse
fimse
fimse
Fimalgoritmo