使用 Cloudera Manager parcels#

Anaconda Enterprise 4 Repository 提供了一种与 Cloudera Manager 集成的方式,用于将您的 Anaconda 数据科学工件分发到您的 Hadoop 集群。

创建 parcels、管理包和安装程序#

您可以创建自定义 Cloudera Manager parcels,其中包含您想要的软件包,包括您自己的软件包。

注意:创建自定义 parcels 需要 Anaconda 软件包的本地镜像。

创建 parcel 时,Repository 会生成一个 64 位 Linux 安装程序,其中包含指定的软件包和一个名为 construct.yaml 的文件,该文件可以与 conda constructor 一起使用。

要创建自定义 parcel、管理包或安装程序

  1. 从视图按钮中,选择安装程序。

  2. 单击创建新安装程序按钮。

    注意:安装程序名称中仅使用字母、数字、短划线和下划线。

    创建 parcel 时,Anaconda Enterprise 4 Repository 会生成一个 64 位 Linux 安装程序,其中包含指定的软件包,以及一个名为 construct.yaml 的文件,该文件可以与 conda constructor 一起使用。

要仅创建安装程序脚本,请单击创建安装程序;要创建 parcel,请单击创建 parcel

通过选择软件包创建 parcel#

  1. 单击从软件包创建选项卡。

  2. 将从中获取软件包的频道添加到“搜索频道”框中。通过单击“搜索频道”框旁边的绿色 +(加号)按钮添加每个频道。

    注意:默认情况下会添加 anaconda 用户。

  3. 将软件包名称添加到“搜索软件包”框中。通过单击“搜索软件包”框旁边的绿色 +(加号)按钮添加每个软件包。

  4. 使用软件包名称旁边的列表设置每个软件包的版本要求。

通过选择环境创建 parcel#

  1. 单击从环境创建选项卡。

  2. 输入环境名称,然后单击绿色复选框按钮。

  3. 从环境名称旁边的列表中选择环境版本。

  4. 单击创建管理包按钮、创建 parcel 按钮或创建安装程序按钮。

注意:默认情况下,conda 不包含在自定义 parcel 中。要向您的环境添加其他软件包,您可以使用 Repository Web UI 添加它们。

生成的 parcel 的前缀为 /opt/cloudera/parcels/PARCEL_NAME。这是激活的 parcels 加载的默认位置。如果您在不同的目录中部署 parcels,则可以使用 PARCELS_ROOT 配置设置更改此前缀。

查看自定义 parcel 中的软件包列表#

要查看自定义 parcel 中包含的软件包列表,请参阅

/opt/cloudera/parcels/PARCEL_NAME/meta/parcel.json

注意:将 PARCEL_NAME 替换为所需 parcel 的名称。

分发自定义 parcels#

创建自定义 parcel 后,您可以通过添加 http://<repository ip>:<port>/USERNAME/installers/parcels/ 作为 远程 Parcel 仓库 URL,将其分发到您的集群。

注意:将 <repository ip> 替换为 Repository IP 地址,<port> 替换为端口地址,USERNAME 替换为您的用户名。

Cloudera Manager 检测 Repository 上托管的 parcels,并提供下载和分发 parcels 的选项。

默认情况下,Repository 为每个 兼容的分发生成一个 parcel 文件。

您可以通过配置 PARCEL_DISTRO_SUFFIXES 配置设置来自定义创建哪些 parcel 分发。

注意:如果您已在服务器上通过 ~/.condarc 配置 conda 以使用代理(例如,在代理后镜像),则必须禁用 Repository 的代理。有关更多信息,请参阅 conda 文档

示例

proxy_servers:
    https: http://proxy.corp.example.com
    http: http://proxy.corp.example.com
    'http://<repository ip>': false

从以前的版本创建#

创建安装程序后,您可以返回此页面并从特定版本创建管理包或 parcel。使用从以前的版本创建选项选择您要使用的版本。由于您已经创建了安装程序,因此创建安装程序按钮将被禁用。如果您已经为这些版本创建了管理包或 parcels,则其他按钮将被禁用。

下拉列表中列出的版本是成功创建安装程序的版本。创建管理包或 parcel 需要安装程序,因此不会列出失败的版本。