Чтобы использовать двойные кавычки, оставьте весь текст одиночными кавычками:
sed -i '34i "some text"' name_of_file.txt