我在集群上使用Keras和Tensorflow后端(创建神经网络).我如何在集群上(在多个内核上)以多线程方式运行它,或者这是由Keras自动完成的?例如,在Java中,可以创建几个线程,每个线程运行在一个内核上.

如果可能,应该使用多少芯?

推荐答案

Tensorflow自动在一台机器上可用的尽可能多的核上运行计算.

如果您有分布式集群,请确保按照https://www.tensorflow.org/how_tos/distributed/中的说明配置集群.(例如,正确创建tf.ClusterSpec等)

为了帮助调试,您可以使用会话上的log_device_placement个配置选项,让Tensorflow打印出实际放置计算的位置.(注意:这适用于GPU和分布式Tensorflow.)

# Creates a session with log_device_placement set to True.
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))

请注意,虽然Tensorflow的计算布局算法适用于小型计算图,但通过在特定设备中手动放置计算,您可能能够在大型计算图上获得更好的性能.(例如,使用with tf.device(...):个区块.)

Python-3.x相关问答推荐

使用Pandas 阅读Excel定义的名称和单元格值(&Q;)

如何从枚举中获取某个值?

从另一个云函数调用带有仅允许内部流量标志的云函数时出现问题

Pandas教程:如何更新行内数值的位置

pip install saxonche v 12.1.0 产生 FileNotFoundError

Pandas groupby 然后 for each 组添加新行

pytorch 中 mps 设备的 manual_seed

Pandas 按值和索引对 DF 进行排序

使用 selenium 加速网页抓取

如何融化具有自定义名称的Pandas

Python:获取未绑定的类方法

使用 Python 解析 JSON 嵌套字典

运行 PyCharm 测试时如何解决django.core.exceptions.ImproperlyConfigured:找不到 GDAL 库?

如何调试垂死的 Jupyter Python3 内核?

AttributeError:系列对象没有属性iterrows

在不关心项目的情况下运行生成器功能的更简单方法

计数大于Pandas groupby 中的值的项目

如何从Pandas 中的字符串中提取前8个字符

如何使用 Celery 和 Django 将任务路由到不同的队列

在 PyCharm 中配置解释器:请使用不同的 SDK 名称