使用 Cloudera Manager parcels#
Anaconda Enterprise 4 Repository 提供了一种与 Cloudera Manager 集成的方式,用于将您的 Anaconda 数据科学工件分发到您的 Hadoop 集群。
创建 parcels、管理包和安装程序#
您可以创建自定义 Cloudera Manager parcels,其中包含您想要的软件包,包括您自己的软件包。
注意:创建自定义 parcels 需要 Anaconda 软件包的本地镜像。
创建 parcel 时,Repository 会生成一个 64 位 Linux 安装程序,其中包含指定的软件包和一个名为 construct.yaml
的文件,该文件可以与 conda constructor 一起使用。
要创建自定义 parcel、管理包或安装程序
从视图按钮中,选择安装程序。
单击创建新安装程序按钮。
注意:安装程序名称中仅使用字母、数字、短划线和下划线。
创建 parcel 时,Anaconda Enterprise 4 Repository 会生成一个 64 位 Linux 安装程序,其中包含指定的软件包,以及一个名为
construct.yaml
的文件,该文件可以与 conda constructor 一起使用。

要仅创建安装程序脚本,请单击创建安装程序;要创建 parcel,请单击创建 parcel。
通过选择软件包创建 parcel#

单击从软件包创建选项卡。
将从中获取软件包的频道添加到“搜索频道”框中。通过单击“搜索频道”框旁边的绿色 +(加号)按钮添加每个频道。
注意:默认情况下会添加
anaconda
用户。将软件包名称添加到“搜索软件包”框中。通过单击“搜索软件包”框旁边的绿色 +(加号)按钮添加每个软件包。
使用软件包名称旁边的列表设置每个软件包的版本要求。
通过选择环境创建 parcel#

单击从环境创建选项卡。
输入环境名称,然后单击绿色复选框按钮。
从环境名称旁边的列表中选择环境版本。
单击创建管理包按钮、创建 parcel 按钮或创建安装程序按钮。
注意:默认情况下,conda 不包含在自定义 parcel 中。要向您的环境添加其他软件包,您可以使用 Repository Web UI 添加它们。
生成的 parcel 的前缀为 /opt/cloudera/parcels/PARCEL_NAME
。这是激活的 parcels 加载的默认位置。如果您在不同的目录中部署 parcels,则可以使用 PARCELS_ROOT 配置设置更改此前缀。
查看自定义 parcel 中的软件包列表#
要查看自定义 parcel 中包含的软件包列表,请参阅
/opt/cloudera/parcels/PARCEL_NAME/meta/parcel.json
注意:将 PARCEL_NAME 替换为所需 parcel 的名称。
分发自定义 parcels#
创建自定义 parcel 后,您可以通过添加 http://<repository ip>:<port>/USERNAME/installers/parcels/
作为 远程 Parcel 仓库 URL,将其分发到您的集群。
注意:将 <repository ip>
替换为 Repository IP 地址,<port>
替换为端口地址,USERNAME
替换为您的用户名。
Cloudera Manager 检测 Repository 上托管的 parcels,并提供下载和分发 parcels 的选项。
默认情况下,Repository 为每个 兼容的分发生成一个 parcel 文件。
您可以通过配置 PARCEL_DISTRO_SUFFIXES 配置设置来自定义创建哪些 parcel 分发。
注意:如果您已在服务器上通过 ~/.condarc
配置 conda 以使用代理(例如,在代理后镜像),则必须禁用 Repository 的代理。有关更多信息,请参阅 conda 文档。
示例
proxy_servers:
https: http://proxy.corp.example.com
http: http://proxy.corp.example.com
'http://<repository ip>': false
从以前的版本创建#
创建安装程序后,您可以返回此页面并从特定版本创建管理包或 parcel。使用从以前的版本创建选项选择您要使用的版本。由于您已经创建了安装程序,因此创建安装程序按钮将被禁用。如果您已经为这些版本创建了管理包或 parcels,则其他按钮将被禁用。
下拉列表中列出的版本是成功创建安装程序的版本。创建管理包或 parcel 需要安装程序,因此不会列出失败的版本。
