Как обеспечить согласованность версий программного обеспечения в бессерверных вычислениях AWS SageMaker?

Я изучаю AWS SageMaker, который должен быть бессерверной вычислительной средой для машинного обучения. Кто должен обеспечивать согласованность программных пакетов и обновлять версии в этом типе бессерверной вычислительной среды?

Например, я запустил демонстрационную программу deepar_synthetic, поставляемую с SageMaker. Во второй ячейке выполняется следующее:! Conda install -y s3fs

Однако я получил следующее предупреждающее сообщение:

Среда решения: done ==> ПРЕДУПРЕЖДЕНИЕ: существует более новая версия conda. ‹== текущая версия: 4.4.10 последняя версия: 4.5.4 Обновите conda, запустив $ conda update -n base conda

Поскольку это бессерверные вычисления, должен ли я сам обновлять программные пакеты?

Другой пример выглядит следующим образом. Я написал несколько простых строк, чтобы узнать версии пакетов в блокноте Jupyter:

платформа для импорта

импортировать тензорный поток как tf

печать (platform.python_version ())

печать (tf. версия)

Однако я получил следующие предупреждающие сообщения:

/home/ec2-user/anaconda3/envs/tensorflow_p36/lib/python3.6/importlib/_bootstrap.py:219: RuntimeWarning: время компиляции 3.5 модуля tensorflow.python.framework.fast_tensor_util не соответствует возврату версии 3.6 среды выполнения f (* args, ** kwds) /home/ec2-user/anaconda3/envs/tensorflow_p36/lib/python3.6/site-packages/h5py/<▪init .py: 36: FutureWarning: преобразование второго аргумента issubdtype от float до np.floating устарело. В будущем он будет считаться np.float64 == np.dtype(float).type. из ._conv импортировать register_converters как _register_converters

Отпечатки все еще работали, и я получил результаты, показанные ниже:

3.6.4 1.4.0

Мне интересно, что мне нужно сделать, чтобы получить согласованный пакет, чтобы я не получал предупреждающих сообщений. Спасибо.


person David293836    schedule 21.05.2018    source источник


Ответы (1)


Сегодня экземпляры SageMaker Notebook являются управляемыми экземплярами EC2, но пользователи по-прежнему имеют полный контроль над экземпляром Notebook как root. У вас есть все возможности для установки недостающих библиотек через терминал Jupyter.

Чтобы получить доступ к терминалу, откройте свой экземпляр Notebook на домашней странице и щелкните раскрывающийся список в правом верхнем углу: «Новый» -> «Терминал». Примечание. По умолчанию conda устанавливается в корневую среду.

Ниже приведены инструкции, которым вы можете следовать https://conda.io/docs/user-guide/tasks/manage-environments.html о том, как устанавливать библиотеки в конкретной среде conda.

В общем, вам понадобятся следующие команды,

conda env list 

который перечисляет все ваши среды conda

source activate <conda environment name> 

например источник активировать python3

conda list | grep <package> 

например список conda | grep numpy list какие текущие версии пакетов

pip install numpy 

Or

conda install numpy 

Примечание. Команда SageMaker периодически выпускает новые версии библиотек для экземпляров Notebook. Чтобы получить новые библиотеки, вы можете остановить и запустить свой экземпляр Notebook.

Если у вас есть рекомендации по библиотекам, которые вы хотели бы видеть по умолчанию, вы можете создать сообщение на форуме в разделе https://forums.aws.amazon.com/forum.jspa?forumID=285. Кроме того, вы можете загрузить свои экземпляры Notebook с конфигурациями жизненного цикла для установки пользовательских библиотек. Подробнее здесь: https://docs.aws.amazon.com/sagemaker/latest/dg/API_CreateNotebookInstanceLifecycleConfig.html

person Pranav Chiplunkar    schedule 20.07.2018