Попробуйте выполнить компиляцию следующим образом:
gcc -I/usr/include/mysql mysqldb.c -o mysql -lmysqlclient