个人认为tf2.0会成为主流
CaffeCaffe是一个清晰而高效的深度学习框架，也是一个被广泛使用的开源深度学习框架，在Tensorflow出现之前一直是深度学习领域Github star最多的项目。主要优势为：上手容易，网络结构都是以配置文件形式定义，不需要用代码设计网络。训练速度快，组件模块化，可以方便的拓展到新的模型和学习任务上。但是Caffe最开始设计时的目标只针对于图像，没有考虑文本、语音或者时间序列的数据，因此Caffe对卷积神经网络的支持非常好，但是对于时间序列RNN，LSTM等支持的不是特别充分。
Caffe由低到高依次把网络中的数据抽象成Blob, 各层网络抽象成Layer ，整个网络抽象成Net，网络模型的求解方法抽象成Solver。
Blob表示网络中的数据，包括训练数据，网络各层自身的参数，网络之间传递的数据都是通过Blob来实现的，同时Blob数据也支持在CPU与GPU上存储，能够在两者之间做同步。
Layer是对神经网络中各种层的抽象，包括卷积层和下采样层，还有全连接层和各种激活函数层等。同时每种Layer都实现了前向传播和反向传播，并通过Blob来传递数据。
Net是对整个网络的表示，由各种Layer前后连接组合而成，也是所构建的网络模型。
Solver 定义了针对Net网络模型的求解方法，记录网络的训练过程，保存网络模型参数，中断并恢复网络的训练过程。自定义Solver能够实现不同的网络求解方式。
TensorFlow 2.0TensorFlow 2.0中有多处更改，以使TensorFlow用户使用更高效。TensorFlow 2.0删除冗余 APIs,使其更加一致，并通过Eager execution模式更好地与Python集成。
相比于TensorFlow
1.x
，2.0的极大优势如下1. 默认状态的Eager Execution
首先，eager execution是运行TF代码的默认方式。
为了在TF1.x中构建一个神经网络，需要定义一个名为图形（Graph）的抽象数据结构。另外，如果试图打印其中一个图节点，将看不到期望值，却可以看到对图节点的引用。实际上，要运行图形，需要使用一个名为会话（Session）的封装。使用Session.run()法，可以将Python数据传给图形，并对模型进行实际训练。
现在，TensorFlow代码可以像普通的Python代码一样运行。这意味着可以迅速创建并评估操作。
2. API清理
许多API，如tf.gans、tf.app、tf.contrib、tf.flags，会被清理或移动到单独的存储库。
然而，最重要的清理之一涉及到大家如何构建模型。TF1.x中有超过1或2种不同的构建/训练ML模型的方法。尽管许多API性能良好，但似乎并没有收敛出一种通用的开发方式。此外，如果在其中一个API中训练模型，那么使用其他API来再利用该代码并不简单。
在TF2.0中，tf.keras是推荐的高级API。可以看到，目前正试图利用KerasAPI解决所有可能的用例。
3. Keras-Tuner
Keras-tuner是一个对Keras模型进行超参数调整的专用库。在撰写本文时，该库处于α之前的状态，但是使用tf.keras和TensorFlow 2.0β可以在Colab上很好地运行。
这个概念非常简单。首先，需要定义一个返回编译后的Keras模型的建模函数。函数接受一个名为hp的参数作为输入。通过使用hp，可以定义一个候选值的范围，对超参数值进行采样。
然后创建一个调谐器对象。在这种情况下，会实现随机搜索策略。最后可以使用search() 开始优化。它具有与 fit()相同的签名。
最后，可以检查调谐器的结论，并选择最佳模型。请注意，训练日志和模型检查点都保存在目录文件夹(my_logs)中。此外，最小化或最大化目标（验证精度）的选择是自动推断的。
4.定义培训回路在TF2.0中训练模型的最简便方法是使用 fit() 。fit()支持序列化模型和子类化模型。如果使用模型子类化，唯一需要调整的就是重写compute_output_shape()分类方法。除此之外，应该能够将fit()与tf.data.Dataset 或标准NumPynd-arrays一起输入。
但是，如果想清楚地了解梯度或丢失的情况，可以使用梯度带。这在研究中格外有效。
使用梯度带，就可以手动定义训练过程的每个步骤。可分别应用于训练神经网络的每个基本步骤，如:
正推法
损失函数求值
逆推法
梯度下降法
可以直观地了解神经网络是如何训练的。也可以直接输出损失值
w.r.t
、模型权重或梯度向量本身来进行检查。梯度带提供了更大的灵活性。但是，就像子类化与序列化一样，灵活性越大，额外的成本越高。与fit()相比，需要手动定义一个训练回路。作为一个自然结果，它使代码的漏洞更加突出，并且更难调试。这是一个很好的折衷，和那些对开发新产品感兴趣的研究人员相比，更适合代码工程师（寻找标准化的代码）。5. EagerCode的提取性能
如果选择使用梯度带进行模型训练，性能会显著下降。
执行TF代码有助于理解，但性能不佳。为了避免这个问题，TF2.0引入了tf.function。
基本上，如果用tf.function修饰Python函数，TensorFlow会接收函数并将其转换为一个TF高性能抽象。
这意味着该函数将标记为JIT编辑，以便TensorFlow将其作为图形运行。因此，可以获得
TF1.x
（图形）的性能优势，如节点修剪、内核融合等。简而言之，TF2.0旨在将代码设计为更小的函数。然后，可以使用
tf.function
对所需的代码进行标记以获得额外的性能。最适用于修饰表示最大计算瓶颈的函数。这些通常是训练回路或模型的正推。6.其他方面
首先，向序列化模型或子类化模型添加更多层是非常简单的。尽管TF覆盖了Conv2D、TransposeConv2D等层，但总会出现不可用的情况。对于论文再现或研究来说尤为如此。
好消息是，可以开发自定义层。通过遵循相同的Keras API，可以创建一个类并将其扩展到tf.keras.Layer。实际上，可以按照非常相似的模式创建自定义激活函数、正则化层或测度。
此外，还可以将现有的TensorFlow 1.x代码转换为TF2.0。为此，TF团队创建了tf_upgrade_v2。