1
(1) 二阶连续可微的下凸函数，满足 $f''(x)\geq 0$，这说明 $f'(x)$ 单调递增，而如果存在 $x_0$ 使得对任意 $x>x_0$ 都有 $f(x)\geq f(x_0)>0$，那么 $f(x)$ 无界，矛盾。所以 $f'(x)\leq 0$ 恒成立，从而 $f(x)$ 是有界单调递减函数，存在极限。
(2) 计算反常积分，先形式地有
$$\begin{darray}{ll}\int^\infty_0 xf''(x)\mathrm dx&=\int^\infty_0x\mathrm df'(x)\\[6pt]&=xf'(x)\big|^\infty_0-\int^\infty_0f'(x)\mathrm dx\\[6pt]&=\lim_{x\to\infty}xf'(x)-\lim_{x\to \infty}f(x)+f(0)\\[6pt]&=\lim_{x\to\infty}xf'(x)+f(0)-A\end{darray}$$此外注意到，$f'(x)$ 是单调递增函数，所以
$$f(2x)-f(x)=\int^{2x}_xf'(t)\mathrm dt\leq xf'(x)\leq 0$$取极限即可，说明最终结果为 $f(0)-A$.
2
(1) 因为 $f'(x)\neq 0$，分类讨论。当 $f'(x)>0$ 时，$f(x)$ 单调递增，所以
$$f(x)(2) 待证不等式等价于
$$\ln (1+a) +\ln f(a)\leq \ln (1+b)+\ln f(b);\quad \ln f(b)+\ln (1-b)\leq \ln f(a)+\ln (1-a)$$定义辅助函数 $g(x)=\ln f(x)+\ln (1-x)$ 和 $h(x)=\ln f(x)+\ln (1+x)$.
分类讨论。当 $f'(x)>0$ 时，有
$$x+\dfrac {f(x)}{f'(x)}>x\geq -1$$结合条件推出
$$x+\dfrac {f(x)}{f'(x)}\geq 1,\iff 0<\dfrac {f'(x)}{f(x)}\leq \dfrac {1}{1-x}$$此时 $g'(x)\leq 0$，另一方面 $f'(x)>0$ 说明
$$\dfrac {f(b)}{f(a)}>1>\dfrac {1+a}{1+b}$$另一种情况同理。
3
对于原来的级数
$$\begin{darray}{ll} f(x)=\sum^\infty_{n=0}\dfrac {f^{(n)}(x_0)}{n!}(x-x_0)^n&=\sum^\infty_{n=0}\dfrac {f^{(n)}(x_0)}{n!}(x-x_0+x_0-x_1)^n\\[6pt]&=\sum^\infty_{n=0}\dfrac {f^{(n)}(x_0)}{n!}\sum^n_{k=0}\binom nk(x-x_1)^k(x_1-x_0)^{n-k}\\[6pt]&=\sum^\infty_{k=0}\dfrac 1{k!}\left(\sum^\infty_{n=k}\dfrac {f^{(n)}(x_0)}{(n-k)!}(x_1-x_0)^{n-k}\right)(x-x_1)^k \end{darray}$$其中的求和交换，需要验证绝对收敛性
$$\sum^\infty_{n=0}\dfrac {|f^{(n)}(x_0)|}{n!}\sum^n_{k=0}\binom nk|x-x_1|^k|x_1-x_0|^{n-k}=\sum^\infty_{n=0}\dfrac {|f^{(n)}(x_0)|}{n!}(|x-x_1|+|x_1-x_0|)^n<\infty$$上述收敛性在
$$|x-x_1|\leq r_0-|x_0-x_1|$$时成立，根据题设，可以选取这样的 $r_1\in [\frac 12(r_0-|x_0-x_1|),r_0-|x_0-x_1|]$，使得 $f$ 在 $B(x_1,r_1)$ 内解析。在最后的展开式中
$$\sum^\infty_{n=k}\dfrac {f^{(n)}(x_0)}{(n-k)!}(x_1-x_0)^{n-k}$$也是收敛的，再根据幂级数的唯一性，得到题目要求的形式。
4
存在可逆矩阵 $P$ 使得 $P^{-1}AP=\mathrm {diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)$，其中 $\lambda_i$ 两两不同。在线性子空间 $\{BA-AB\}$ 上，有同构
$$BA-AB\mapsto P^{-1}(BA-AB)P=PBP^{-1}PAP^{-1}-PAP^{-1}PBP^{-1}$$所以不妨设 $A$ 已经是对角矩阵，记 $PBP^{-1}=(b_{ij})$，则
$$PBP^{-1}PAP^{-1}-PAP^{-1}PBP^{-1}=\left(\begin{array}{cccc}0&(\lambda_2-\lambda_1)b_{12}&\cdots&(\lambda_n-\lambda_1)b_{1n}\\(\lambda_1-\lambda_2)b_{21}&0&\cdots&(\lambda_n-\lambda_2)b_{2n}\\\vdots&\vdots&\ddots&\vdots\\(\lambda_1-\lambda_n)b_{n1}&(\lambda_2-\lambda_n)b_{n2}&\cdots&0\end{array}\right)$$所以 $\{BA-AB\}$ 的维数为 $n^2-n$.
5
(1) 考虑表示矩阵，选取 $M_{n\times n}(\mathbb C)$ 的一组基底 $E_{ij}$，其中 $E_{ij}$ 的 $(i,j)$ 元素为 $1$，其他元素为 $0$。则不难发现
$$AE_{ij}=\sum^n_{k=1}a_{ki}E_{kj},\quad E_{ij}B=\sum^n_{k=1}b_{jk}E_{ik}$$所以题设线性算子的表示为
$$TE_{ij}=AE_{ij}B=\sum^n_{k=1}\sum^n_{l=1}a_{ki}b_{jl}E_{kl}$$则取迹，这里的迹关心的对角线元素是 $TE_{ij}$ 中 $E_{ij}$ 的系数，所以
$$\mathrm{tr}(T)=\sum^n_{i=1}\sum^n_{j=1}a_{ii}b_{jj}=\mathrm{tr}(A)\cdot \mathrm{tr}(B)$$(2) 对于复方阵，可以考虑标准型，幂零性质在相似下不变。如果 $A,B$ 中至少有一个幂零，那么
$$T^n(M)=A^nMB^n=O,\quad \forall M\in M_{n\times n}(\mathbb C)$$对某个足够大的 $n$ 成立，所以 $T$ 是幂零的。反过来，反证，如果 $T$ 是幂零的，但 $A,B$ 都不是幂零的，那么
$$O=T^n(M)=A^nMB^n,\quad \forall M\in M_{n\times n}(\mathbb C)$$此时考虑标准型变换 $A,B\mapsto PAP^{-1},QBQ^{-1}$，不妨 $M\mapsto P^nM(Q^{-1})^n$，其中 $P,Q$ 都是可逆矩阵。根据假设知道 $A,B$ 分别至少有一个非零 Jordan 块，在相似变换时不妨将其放在左上角；由于 $M$ 的任意性，可以选取 $M$ 的左上角元素为 $1$，其他元素为 $0$，从而
$$O=\begin{pmatrix}\lambda_1^n&\cdots\\O&\ddots\end{pmatrix}\begin{pmatrix}1&O\\O&O\end{pmatrix}\begin{pmatrix}\mu_1^n&\cdots\\O&\ddots\end{pmatrix}=\begin{pmatrix}\lambda_1^n\mu_1^n&\cdots\\O&\ddots\end{pmatrix}$$矛盾。
6*
(1) 考虑 $A$ 的奇异值分解，$A=U\Sigma V^\top$，其中 $U,V$ 都是正交矩阵，$\Sigma$ 是对角矩阵，对角线元素为 $A$ 的奇异值。则
$$A=U\Sigma V^\top=UV^\top V\Sigma V^\top$$其中 $UV^\top=P$ 是一个正交矩阵，$V\Sigma V^\top=H$ 是对称正定阵。另一方面
$$A^\top A=H^2$$考虑到 $H$ 是对称正定阵，所以存在正交相似 $MM^{-1}=I$，使得
$$H=M\Lambda M^{-1},\quad \Lambda=\mathrm{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)$$这里的 $\lambda_i$ 降序排列。如果存在另一个满足 $A^\top A=H'^2$ 的对称正定阵 $H'$，同样存在正交相似 $NN^{-1}=I$，使得
$$H'=N\Lambda' N^{-1},\quad \Lambda'=\mathrm{diag}(\lambda'_1,\lambda'_2,\cdots,\lambda'_n)$$同样的，$\lambda'_i$ 也是降序排列。不难说明 $\Lambda=\Lambda'$，进一步
$$N^{-1}M\Lambda^2=\Lambda'^2N^{-1}M=\Lambda^2N^{-1}M$$记 $N^{-1}M=Q=(Q_{ij})$，则 $Q\Lambda^2=\Lambda^2Q$ 推出
$$\lambda_i^2Q_{ij}=\lambda_j^2Q_{ij},\quad \forall i,j$$即
$$(\lambda_i-\lambda_j)Q_{ij}=0,\quad \forall i,j$$这里用到了正定性。从而可以推出
$$N^{-1}M\Lambda=\Lambda N^{-1}M$$得证唯一性。
(2) $PH=HP$，当且仅当 $U\Sigma U^\top =V\Sigma V^\top$，当且仅当 $V\Sigma^2 V^\top=U\Sigma^2 U^\top$，当且仅当 $AA^\top =A^\top A$.
关键一步参见 (1) 的证明。