大数据迁移方案
前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇大数据迁移方案范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。
大数据迁移方案范文第1篇
【关键词】 云计算 迁移
一、迁移概述
迁移前业务系统调研可从5个方面进行：
1、整体硬件构成。需了解迁移上云系统目前硬件系统构成，包括服务器数量、应用部署、硬件配置。
2、整体系统架构。如常见的采用符合JavaEE（Java Enterprise Edition）技术规范的B/S/S（浏览器/应用服务/数据库服务）系统架构等。
3、数据库调研。使用的数据库类型、应用系统与数据库数据交互模式、数据库备份模式等。
4、系统安全策略。如防火墙现状，安全策略要求，安全硬件配备及配置情况等。
5、联通情况调研。本系统平台是否与上级平台业务系统有连接要求等。
云业务迁移可分为应用级、系统级、文件级和存储级的迁移方式，根据业务系统特点选择最佳的迁移方式将客户物理服务器上或其他虚拟化平台上的业务系统迁移至虚拟化平台上，以实现高效、可靠的整体业务迁移。
①存储设备迁移
存储利旧或搬迁的数据量很大时，可以通过卷管理软件（磁盘管理）功能迁移，如LVM mirror、VxVM mirror；硬件层面通过存储功能软件实现迁移，如Hyper LUN copy、Hyper_mirror。
②服务器虚拟化迁移（P2V/V2V）
可通过一些专用工具进行迁移，如华三的迁移工具H3C_CAS_Converter将PC服务器或是其他虚拟化平台，通过在线或离线方式迁移到云平台。
支持异构虚拟化平台虚拟机通过V2V方式迁移至云平台。
③文件系统迁移
应用层文件迁移，可通过操作系统提供的文件管理功能迁移，如：rsync、Robocopy、dd等。
④数据库迁移
使用数据库应用自身机制和工具进行数据迁移。如oracle data guard、sql server log shipping、导入导出等。也可使用云端ETL工具，通过数据传输方式迁移数据。
项目实施过程中，迁移集成方需要负责风险控制、质量管理、容量管理、资源准备、施实施管理、进度管理、合同变更确认等工作。而客户需要保证业务迁移配合人员安排以及其他业务迁移中需要使用到的相关资源，并负责业务备份、业务验证、业务恢复、业务切换等配合工作。
在项目实施过程中，需要双方协商确定或共同完成的工作有：客户IT系统信息统计、迁移方案及风险应对、验证标准的制定、实施进度的确认、IT资源联调测试、业务切换等。双方有责任共同制定项目进度、验证标准，并对硬件安装环境、设备数量进行确认。在项目调测阶段，双方必需共同完成业务的对接调测。在项目完成后，双方需按照合同标准完成项目验证。
二、业务迁移评估
一般业务架构较简单的应用业务系统迁移，如以一台应用服务器下接一台数据库服务器，用户通过浏览器直接访问应用的为例。可先将应用服务器进行迁移部署，再进行数据库服务器部署，将生产数据导入新数据库服务器，完成应用与数据库的对接，业务功能，流程等y试，最后同步数据进行应用切换上线。但如果系统平台包括的业务模块数量较多，各模块之间强关联性，建议采用一次性全部迁移，调试成功后再对数据库数据进行同步，切换上线。
一般依据如下原则对业务系统进行迁移：①应用和数据库一次性迁移部署；②迁移时公网IP无法迁移，内网IP需保持不变；③不改变现有业务网络拓扑；④选择业务负载低时间段迁移；⑤迁移过程对系统保持只读操作，迁移过程具有可回退性。
业务迁移作为一项专业服务，包括调研评估、迁移方案设计、迁移实施要点几个标准阶段。
四、调研评估
迁移评估环节包括：收集业务系统现状信息和迁移需求；IT环境评估；应用分析、组件分析和应用关联关系分析；迁移风险分析。
迁移的一般性原则主要是两方面：待迁移的业务系统满足虚拟化的条件；待迁移的业务系统满足迁移工具支持的条件。
具体展开分析：
业务系统兼容性评估主要依赖三个方面：虚拟化平台支持的业务场景；迁移工具支持的业务场景；业务系统对某一功能指标的特殊需求及可能的性能瓶颈（视频播放、高IO访问、有外设需求等目前都不适合虚拟化部署）
虚拟化性能评估时需要关注不适合虚拟化的场景，如：物理服务器为小型机、非X86系统；对软硬件平台有特殊要求的应用（如：特殊的硬件卡或者加密狗）；USB设备连接需求（如果不适用，可采用外置USB设备代替，需经过测试）；即使在高配置的服务器上仍然具有很高负载的应用（IOPS大于2000的重载数据库；高性能集群系统不适合虚拟化，如 Oracle的RAC系统）
迁移批次的划分要考虑各系统的关联性，具有强关联性的系统应尽量放在同一批次。迁移网络环境评估时则需关注迁移源端、目的端网络互通。迁移业务风险评估时重点为上层业务调测、信息安全、业务中断时间等。
五、迁移方案设计和实施要点
迁移方案设计需根据待迁移平台目前系统使用情况，规划虚拟服务器台数，并进行应用服务器、数据库服务器等功能分配。应用和数据同步则由软件提供商部署实施。
应用部署顺序一般如下：待迁移业务平台应用软件上传到应用虚拟机；待迁移业务平台应用软件环境准备；待迁移业务平台应用软件的部署；待迁移业务平台应用软件连接配置。数据迁移主要是指对应用系统中的核心数据库的数据进行在线或离线迁移。在整个应用系统的迁移过程中，数据的迁移是至关重要的步骤，迁移后数据的完整性和一致性将直接影响应用系统的可用性；迁移过程中稍有差错，可能将会带来重大的损失。
①数据迁移方法及流程：为了确保数据迁移过程的可靠性，在进行迁移之前，需充分的需求分析和方案设计，并制定严格的数据迁移规范和流程。
IT架构分析：了解迁移前和迁移后业务系统环境，应重点关注迁移前后主机操作系统版本、数据库版本是否存在异构的情况。
数据容量评估：确定需要迁移的数据量大小，可用于执行迁移的网络带宽，从而估算出迁移所需要的时间，作为迁移时间窗口的评估输入。
业务连续性评估：评估客户对停机时间的容忍度，以及对业务连续性的保持需求，确定可用于执行迁移的停机时间窗口。
迁移方案设计和选型：对迁移实施过程中的风险点进行分析，并提出控制预案和回退方案。
迁移实施和测试：严格按照迁移方案的步骤，进行迁移。迁移完成后应进行数据的完整性和一致性校验工作，确认成功后，进行应用系统的切换。
②数据迁移方案设计原则
为了确保迁移过程的可靠性，以及迁移后业务系统的可用性，降低数据迁移对应用系统正常运行所带来的风险，建议尽量采用同构迁移的原则，即迁移前后的数据库版本尽量保持一致，操作系统版本则可根据实际情况进行调整。
迁移前后操作系统和数据库均保持同构场景：即操作系统和数据库类型、版本均保持一致，则可直接通过数据库备份和恢复的方式进行迁移，对于Oracle数据库可通过RMAN实现。为了减少数据库的停机时间，可以通过在线数据库全备份+离线增备的方式进行恢复。
迁移前后操作系统异构、数据库同构场景：即操作系统类型或版本不一致，数据库类型一致，而数据库版本相同或不同的场景，例如同Oracle数据库的情况下，则可通过数据库的导出/导入方式进行迁移。
迁移前后操作系统和数据库均为异构的场景：为了充分保障迁移后数据的一致性和完整性，建议选择业界成熟且有官方技术支持的数据库复制或迁移工具如Oracle GoldenGate进行异构平台、异构数据库之间的迁移。
迁移完成后，首先需要对应用与数据库联通性进行配置，调试。之后进行充分业务功能和流程测试确认。完成后进行新库中的数据清除。最后进行割接上线。
创建虚拟机前，要对业务系统迁移至虚拟化平台后的虚拟机进行计算、存储和网络资源的预估，并根据评估值设定虚拟机相关参数。
对于虚拟机虚拟资源评估的原则是，如果希望业务系统迁移后，业务系统能够保持与原系统一致的体验，建议虚拟机的计算能力与原物理服务器的计算能力保持一致；如果客户希望通过迁移后，提高资源的利用率，建议虚拟机的计算能力可以相比原先进行一定程度的压缩。对虚拟机内存、CPU、存储和网络进行计算后，可得出每个业务虚拟机的设定参数。
迁移计划制定原则为：本着简单、影响小的业务先迁移，有关联的业务系统一起迁移的原则，并在与维护人员协商后，再决定业务迁移的顺序。
业务系统迁移前，建议进行健康检查，对于重要业务，建议配合用户做数据备份后再进行迁移。
一般迁移步骤示例如下：
1、虚拟机准备及安装操作系统
2、配置网络、安全相关策略；
3、测试生产环境与云环境中政务网连通性；
4、迁移工具软件安装及应用安装部署
5、数据迁移
6、业务联通性调试
7、业务功能和流程测试
8、数据再次同步
9、割接上线，与客户协商后确定
10、试运行阶段，与客户协商后确定
11、验收，试运行完后进行验收，完成交付。
大数据迁移方案范文第2篇
但新旧系统平台的转型和迁移是一个整体系统工程，金融系统对稳定性要求可以用极致来形容。为了给客户良好的体验，就有无数个应用在运转，无数次升级叠加、无数种操作系统、无数台服务器、IT架构的复杂性完全可以想象出来。
说到底，银行业是容不得试错的。在同业竞争日益激烈的环境下，大连银行用创新思维撬动业务发展，建设新一代基础数据平台，实现商业智能。
在这个过程中，大连银行也成为第一位吃螃蟹者，选择了天梭K1+DB2的解决方案，从商业智能的核心数据仓库入手，通过对数据的挖掘，洞察业务，迅速决策，继而实现业务快速开发和创新。
I+O为何传统保守
2008年，大连银行的启动基础数据平台建设，由国外小型机和Oracle数据库共同组成基础软、硬件平台，在当时还可以满足银行业务的需求。但最近几年，大连银行总资产一直保持平稳增长，不断推出“九钻完美贵宾卡”、“电子银行”、“贸易服务”等金融业务，分行数量不断增多，而“I+O”就是需要进行突破的环节。比如原有的系统平台架构，就采用两台小型机与共享存储的方式构建，这样的架构一般都用于这种交易型的业务类型。对于管理类的业务，通过Share-Disk的架构，当业务规模不断扩大的时候，整个系统的扩展性和性能都会受到很大的制约。
2012年，大连银行迈出了创新的第一步。当时大连银行和浪潮合作了国家课题，将天梭K1替代了国外小型机，运行过程中K1不仅稳定，性能也有所提升。
大连银行希望在K1基础之上，找到一款合适的数据库产品，把整个平台的体系架构做一次大的升级，解决原有架构中的以下瓶颈：
第一，计算资源的瓶颈。由于平台硬件架构过老，计算资源不足，CPU、内存资源严重不匹配，计算资源性能下降，并且计算资源不能实现平稳扩展，故障率较高，运维难度大等系列挑战。
第二，业务性能瓶颈。原有数据平台不能满足系统业务性能需求，综合信息服务平台跑批时间历时13个小时，汇总层业务历时近11个小时，远远不能满足业务对数据展现的时效性要求。在此背景下，企业内部经营管理和面向监管层面的数据报送压力就十分巨大。为此，大连银行要建设新一代基础数据平台必须具备以下的特质：稳定可靠、弹性伸缩的计算的资源、实现跑批作业的并行处理、存储过程并行效率优化。
对于大连银行来说，最大的挑战是如何找到比Oracle数据库还有竞争力的解决方案，并实现新旧系统的顺利迁移。
K1+DB2 如何胜任关键运营
在与供应商的不断沟通和验证后，大连银行选择天梭K1+DB2的解决方案，构建新一代基础数据平台，这个方案当时在国内并没有可以借鉴的案例。
不过这没有阻挡大连银行前进的步伐，是责任也是创新需要，大连银行开始了技术探索和团队的磨砺之路。大连银行首席信息官田野认为：“从国家自主可控的角度，加上之前参与国家课题的经验，以及对K1和浪潮技术的了解，大连银行需要为自主可控和高端产品的国产化作出尝试和创新。”
由此，浪潮成立了专门的实施团队与IBM、文思海辉等合作伙伴共同配合，为大连银行提供相应服务。
看商业智能的正解
在新一代基础数据平台方案中，浪潮K1 承担核心数据库服务器的角色，DB2作为主要的基础数据库，利用DPF数据库分区功能，实现MPP系统架构，满足企业未来分布式计算以及扩展的需要。
第一，在硬件架构中，浪潮天梭K1 930服务器配备了16颗处理器，通过四个物理分区实现了业务隔离。其中两个分区用于部署数据库和生产，另外两个分区用于业务测试。
第二，新旧系统迁移的过程主要分为评估、计划、验证、测试和上线五个阶段，其中的重点是数据迁移和应用改造以及POC验证三大部分。
迁移的工作是重中之重，此次迁移包括平台迁移，数据库迁移和业务的迁移。
比如数据迁移，大连银行本来就有两大疑虑：此前没有案例可以借鉴；从Oracle到DB2的跨平台的迁移，数据量这么大，会不会丢失？会不会出现平台不一致，数据库无法相融的局面？
三方工程师根据两款数据库的差异，进行了有针对性的调整，提出了三套解决方案进行验证，但测试成绩均不理想。在此过程中，大连银行完全按照迁移时间窗口的最大容忍度要求，制定迁移速率指标，即在12小时内完成1.5T数据量的迁移工作。为达到这一目标，整个项目团队利用了近一个月的时间，开发测试完毕最终的迁移工具。该工具采用标准OCI接口进行开发，支持自定义的并行度设置，从而满足迁移过程中的数据导出要求。从新旧平台测试的性能对比来看，新平台无论在哪个阶段，都比老系统有了明显的提升。
第三，新旧系统平台平滑切换后，以下事实和数据证明，新一代基础数据平台运行时间更短，效率更高。其中，文件加载性能提高76%，基础数据平台处理性能提高60% ，整合处理性能提高88%，汇总处理性能提高34%，数据卸载性能提高38% 。
新一代基础数据平台对原有平台有良好的兼容性，浪潮主机系统事业部工程师孙宁特意指出，很多客户以为迁移的工作量会非常大，特别是代码改写会耗时间耗资源，但通过大连银行的实际迁移来看，代码修改范围仅限于DDL层面，代码修改总量少于1%，整个项目迁移的风险低，是完全可控的。
新平台的“气质”
从大连银行新一代基础数据平台建设来看，选择K1+DB2的方案，只需要在原有系统上扩展完全满足未来业务的需求。
第一，管理提升，实现业务洞察。大连银行通过构建商业智能数据仓库平台，实现业务数据收集、管理与分析；挖掘数据知识与价值，洞察业务，提升业务管理与决策水平。
第二，迅速决策，精准营销。通过数据可以看到，高性能、高扩展的解决方案架构，让大连银行商业智能分析平台得到了近4倍的效率提升。原来的平台通过十几个小时出的报表，现在几个小时就可以出来，借助商业智能，实现即席查询与预测分析，精准定位，主动营销。
大数据迁移方案范文第3篇
〔关键词〕云计算；虚拟化；负载均衡；动态迁移
DOI：10．3969／j．issn．1008－0821．2012．06．013
〔中图分类号〕G25076 〔文献标识码〕A 〔文章编号〕1008－0821（2012）06－0051－04
云计算环境下，数字图书馆具有数据中心云基础设施结构复杂、读者云个性化阅读应用服务质量要求高、数字图书馆建设与运营成本攀升、云操作系统与阅读应用服务系统维护难度大的特点。
目前，部分数字图书馆试图通过增加数据中心物理设备、利用虚拟化技术、压缩图书馆建设与运营成本、增加网络带宽等方法，来解决云计算环境下读者日益增长的阅读服务需求与数字图书馆较低服务保障能力之间的矛盾。但是，随着云计算环境下读者云阅读活动服务需求的高速增长，以及云图书馆阅读、服务保障模式多样化发展，这种读者云阅读应用需求与数字图书馆服务保障能力间的矛盾更加突出。只有将云基础设施、云应用服务、云数据库管理系统、云平台与服务管理系统有效迁移到云计算环境，才能保证云图书馆安全、高效的运营管理与云阅读服务，才能降低云图书馆建设、维护、管理、升级成本，为读者提供安全、优质、经济、可靠的云个性化阅读应用服务［1］。
1 传统数字图书馆云迁移的风险与要求
传统数字图书馆云迁移主要有以下几种方式。首先，数字图书馆可与云服务提供商签署云应用服务协议，以租赁方式租用云服务提供商的云基础设施物理平台与云应用服务，并将传统数字图书馆迁移到云服务提供商的云计算环境下，由云服务提供商负责云平台与云应用服务的运营、管理和维护。其次，数字图书馆也可以建设私有云的方式，将传统数字图书馆的管理、应用、服务与数据迁移到私有云平台上，由数字图书馆负责云平台的维护与读者云阅读应用服务。第三，还可采用公共云与私有云相结合的方法。可根据图书馆读者云服务、云数据安全、运营效率、管理与经济等方面的需求，将云应用服务、数据库、管理与应用系统、安全防护系统迁移到公共云与私有云环境，实现投资收益最优化。
1.1 云迁移中存在的风险
云迁移中，云服务提供商的信誉度、云基础设施与网络拓扑结构科学性、综合技术实力、云系统安全可靠性、企业经济实力，是数字图书馆在选择云服务提供商与云迁移环境时首先应考虑的问题。
云服务提供商云系统拓扑结构与基础设施物理设备的安全、高效、可靠、合理性，以及在云资源与云服务供应、系统安全防护、云租户管理、云操作系统与应用服务系统日常运营维护工作中，能否从图书馆读者云阅读服务需求和云应用服务能力建设出发，是决定云图书馆读者云阅读服务的安全性、效率、质量和经济性的关键。同时，也关系到当云图书馆发生安全问题或者受到攻击时，云服务提供商能否采取有效的运营维护、技术援助和赔偿政策来降低故障影响，确保云阅读应用服务安全、优质、可靠、不间断。
其次，在云迁移过程中，会面临来自互联网的攻击与威胁。同时，网络自身的安全性、可靠性、数据传输质量与迁移成本，也是影响传统数字图书馆云迁移有效性的重要因素。迁移活动所采用的迁移管理策略、安全防范措施、迁移内容与质量要求、迁移结果评估标准，是决定迁移有效性与迁移后云图书馆读者服务保障力的关键因素。
第三，数字图书馆迁移到云计算环境后，与传统数字图书馆系统可用性和读者服务能力相比，是否具有较高的云系统结构科学性和安全可靠性，具有较高的读者云阅读服务效率和较低运营成本，能够为云计算环境下读者个性化云阅读活动提供有效的云服务资源和管理策略保障，是保证读者云阅读活动安全、开放、自由、经济的必要条件［2］。
1.2 云迁移的要求
1.2.1 应用服务程序云迁移的高效、易用性
云计算环境与传统应用软件环境相比，在操作系统、管理工具、网络架构、存储系统、虚拟机配置方式上有很大不同。数字图书馆应用服务程序迁移到云计算环境中，应保证具有较高的安全性、运行效率、可用性、可管理性和用户服务功能，在云平台上易于修改、扩展和补丁。此外，当云平台运营或与第三方软件同时运行时，应具备较强的兼容性和运行效率，能够基于云系统结构特点与读者服务需求而重新构造与升级，且用户易于对修改、升级后的应用程序进行测试和评价，并利用评价结果进行修改和完善。第三，应结合云计算环境下数字图书馆云服务特点和读者云阅读需求，对拟迁移到云计算环境中的应用程序进行评估、判定、选择和扩展，以读者需求为依据按需迁移，确保应用程序云迁移的安全、效率、可靠、经济［3］。
1.2.2 云迁移的风险评估与安全监控
为了提高传统数字图书馆云迁移活动的安全可靠性，降低云迁移后应用系统面临的安全威胁与运行效率下降风险，应对云服务提供商、云迁移方案与过程、迁移后云图书馆的安全性和效率，以及迁移活动的经济性、可靠性、可控性、可操作性进行评估，并依据评估结果选择合适的云服务供应商与云迁移方案。其次，应先将一些小规模、独立性强、易管理、对数字图书馆整体服务性能影响小的应用与数据迁移到云端。通过对已迁移到云端项目的云计算、存储、应用服务、可管理性等方面内容进行监测，并对监测结果进行收集、整理、分析、评估后，利用评估结果完善传统数字图书馆云迁移的方案、内容、步骤与标准，提高云迁移的安全、可靠性。
大数据迁移方案范文第4篇
上海建设银行某业务系统采用的是IBM pSeries小型机，配合EMC Clarrion中端存储，使用IBM CMoD / DB2软件，用于进行账表管理。该系统是典型的数据库与文件组合的应用，数据库保存账表数据和CMoD数据索引，文件保存CMoD数据内容，每年有大约200G的数据增量，历史数据需要永久保留。自2002年系统开始上线，累积至今已经达到2T左右的空间，并且在不断增加中。由于数据量巨大，历史数据都采用成本过高的在线保存方式，因此自2005年开始，对3年前的历史数据采用归档处理，用户无法即时查询到历史数据。
另一方面，从业务层考虑，该系统的数据要求在任何时候都能被查询到，因此目前采用的方式是当有访问需求时，需要后台管理人员进行手工操作，将归档数据上线，并打开限制开关，前台用户才能访问到历史数据，这种方案显然造成成本过高，而且不灵活。
发现问题
经过对建行某业务系统的研究，发现业务系统可以很好地应用ILM（信息生命周期管理）技术中的一些概念，实现信息管理，满足业务的要求。该业务系统需要解决的一些问题如下：
1.数据量随着时间累积越来越多，需要成本更低的数据保存方案；
2.历史数据访问量很低，没有性能要求，但是如果采用完全离线处理，在有访问的时候需要人工操作实现数据在线―离线之间状态转换，工作量较大；
3.数据访问时间阶段性比较强，通常历史数据不会被访问，但可能在某个时间段需要连续访问数据；
4.数据类型包括数据库和文件两种有代表性的数据，都存在数据历史保存和在线访问的问题。
三种技术方案
在建行某系统实施ILM技术，我们采用了数据分离、数据访问监控、存储分级和策略化迁移的方案。在具体实现过程中，我们遇到了很多实际实施的问题，例如在进行数据分离的时候，数据库本身没有自动对数据按照时间进行分离；数据库和操作系统也都没有直接的命令收集数据访问频度。策略化迁移则需要自己去设定策略和程序实现，目前尚没有软件能够自动实现建行需要的迁移功能。
数据分离技术
为了能恰当地进行数据分离，我们引入了DB2 V9的最新功能数据分区表技术，数据分区技术让DB2可以在不同表空间之间按照某些特定规则进行数据存放。此技术在进行表空间数据存放的时候，可以在不同容器之间进行hash，实现最分散化的数据保存，以期达到最佳访问性能。数据分区表技术则是按照特定的规则，将数据按照规则“集中”存放，符合特定规则的数据保存在物理可分离的位置，这样可以配合其他的技术进行数据迁移。
数据访问频度收集技术
在AIX系统直接提供一些命令用于收集逻辑磁盘（LUN）的访问情况，但并没有显示某个逻辑卷（对应于数据库的表空间）的命令。为收集这些数据，我们引入了AIX的trace功能。在AIX操作系统中提供了许多Hook，在程序每次进行系统调用操作，例如逻辑卷读、写，都会调用特定的操作系统程序，而这些程序提供了Hook接口，可以让外部程序记录该调用的类型和次数。通过trace命令，可以针对特定的系统调用进行收集，从而记录下Hook的数据，再对这些数据进行分析，即可实现对任何需要的系统数据的收集。
考虑到trace本身也要消耗一些系统资源，特别是在I/O比较繁忙的时候，因此在实际编程中，并非收集所有的I/O信息，而是间断地收集几秒钟的瞬时信息，然后全天累加，进行统计。数据收集时间也应当可以控制，对于特定的时间，例如备份，将不进行收集，以减少统计误差。由于备份执行时间不固定，因此考虑在备份执行命令脚本中增加控制访问数据收集的开关，备份前关闭开关，备份结束后打开开关。
迁移策略和方式
建行现有系统采用EMC Clariion作为高端存储，STK SATA磁盘作为低端存储，STK VTL作为虚拟磁带库，SUN C4作为磁带库。这四种存储中，磁盘存储按高、低端保存数据，迁移策略应当尽量确保使用所有划分给系统使用的高端存储，这样可以最大限度利用高端存储资源；迁移策略应当对所管理的逻辑卷表空间进行访问频度排序，用其中访问频度最高的逻辑卷去填充高端存储，直到高端存储空间用尽，剩余的则保存在低端存储；迁移策略应能控制哪些逻辑卷被管理，哪些不被管理；随着迁移的执行，逻辑卷在存储上的分布会越来越凌乱，尽管现有的磁盘都使用RAID技术，操作系统看到的磁盘是逻辑磁盘，并非物理磁盘，但过于零乱的数据也会对管理造成影响，所以自动迁移程序中应当有对应的逻辑卷重整的处理（使用AIX提供的reorgvg命令）。迁移方式采用AIX提供的migratepv命令，可以实现某个特定的逻辑卷从高端组到低端组（或反之）的迁移。
几个关键点操作
由于本文篇幅所限，无法详细对程序进行全文解释，现只对程序的一些关键点作简单介绍分析。该程序采用KSH编程，由于使用操作系统高级命令明码编程，因此可以更快速地适应系统的新要求，对于程序的bug也能更方便地处理。
数据收集
根据系统调用Hook分析，我们采用了0x10B这个接口点，该接口点是操作系统对逻辑卷进行的所有操作，包括读、写、打开、关闭，同时每个操作还有起始时间和结束时间。为了简化操作，减少对系统造成的额外压力，我们仅对单位时间内的读、写操作进行跟踪，记录下读写操作的次数，进行统计。
收集单位时间逻辑卷裸设备（表空间）访问数据：
#!/bin/ksh
trace "10B"
逻辑卷迁移
migratepv -1 lv_name source_pv target_pv1 target_pv2 target_pv3…
此命令将lv_name这个逻辑卷从source_pv迁移到target_pv1…3 等pv（操作系统观察到的磁盘，如果采用了EMC的多路径管理软件，则应当是hdiskpowerx的格式）组中。此处要注意migratepv的限制：所有迁移的磁盘都应当在同一个VG（卷组）中。
前期规划和注意事项
虽然进行数据迁移不是比较危险的操作，但进行大量的数据搬运依然要考虑到很多细节，特别是由程序完成这项工作，要注意其中不能有任何失误，而如果系统处于某些不稳定状态时，也建议不继续迁移动作。这些情况包括：
卷组中最多磁盘数的限制：AIX中普通卷组只能支持32个物理磁盘，因此建议使用Big VG（支持128个磁盘）或者Scalable VG（支持1024个磁盘）模式。
大数据迁移方案范文第5篇
【关键词】水利水电工程；移民安置；监督评估移民安置监督评估的概念
监督评估是一种管理手段，是项目管理中的一个有效组成部分。其职能简单地说就是通过监测、督促，诊断项目实施过程中存在的问题以及可能产生的后果，对项目的实施情况和效果作出评价预测，针对存在的问题和值得推广的经验，及时地把信息传递到管理者手中，以便管理者进行决策，使项目达到最佳效果。
根据《移民条例》的规定，国家对移民安置实行全过程监督评估，由监督评估单位对移民搬迁进度、移民安置质量、移民资金的拨付和使用情况以及移民生活水平的恢复情况进行监督评估。移民安置监督评估，是监督评估单位通过对农村移民安置、城（集）迁建、工业企业处理、专业项目处理、库底清理等移民安置权过程实施情况进行监测，并对监测中发现的问题进行督促、协调，从而对移民搬迁进度、移民安置质量、移民资金的拨付和使用、移民生活水平的恢复进行评价和预测。
一、农村移民安置实施情况监督评估
农村移民安置工作主要有：编制农村移民安置方案，工程占地和淹没土地移交，实施农村移民生产生活安置，实施移民搬迁，以及农村移民安置资金的拨付、使用和管理。因此，农村移民安置实施情况的监督评估内容包括：农村移民安置方案编制情况，工程占地和淹没土地移交情况，农村移民生产生活安置实施情况，农村移民搬迁情况，以及农村移民安置资金拨付、使用管理情况。
1.农村移民安置方案监督评估的内容。主要包括：监督检查农村移民户籍核对和人口复核工作；监督检查农村外迁集中安置移民对接及其安置方案；监督检查后靠农村移民安置方案；监督检查投亲靠友农村移民相关手续；监督检查农村外迁安置移民的户口及党团关系的迁移以及军烈属、五保户、农村低保、新农合等有关手续的转出情况；监督检查迁安两地以及移民村的职责分工；评估农村移民安置方案的落实与执行情况。
2.工程占地和淹没土地移交情况监督评估内容。主要包括：监督工程占地、淹没影响人口搬迁情况，包括人口数量和搬迁时间等情况；监督房屋及其他附属物拆迁及处理情况，包括房屋及其他附属物的类别、数量及拆迁时间等；监督工程占地、淹没土地的移交情况，包括土地类别、数量、权属、性质及移交时间等；评估农村移民搬迁、工程占地和淹没土地移交情况与移民安置计划和工程建设进度的适宜性。
3.农村移民生活安置实施情况监督评估内容。主要包括：监督检查建设用地的征收与划拨情况；监督检查安置点建设情况，包括选址、占地标准、占地规模、地质稳定场地平整、布局等；监督检查宅基地的划分、房屋的户型选择、建设与分配情况，包括宅基地面积、标准、数量、交付时间和划分情况，房屋户型的确定与选择、建设时间、数量、质量、方式和分配等；监督检查生活设施配套情况，包括供排水、供电、交通设施建设及其功能发挥状况，安置点对外连接路等级、街巷道路标准，商业网点的布设及适宜情况等；监督检查社会事业配套，包括校园面积、校舍结构、生均教室面积，文化娱乐设施种类、数量、面积，医疗卫生站点设置情况，通信设施及广播电视建设情况等；监督检查施工单位、工程监理单位质量体系的建立与执行情况；对照移民安置规划和实施计划，评估农村移民生活安置实施情况。
4.农村移民生产安置实施情况监督评估内容。主要包括：监督检查规划生产用地的数量、质量、距离等标准执行情况；监督检查与安置区居民生产用地协议的签订情况；监督检查生产用地的调整、开发、整理情况；监督检查生产安置方案的编制情况；监督检查生产用地的交付与分配以及承包合同签订情况，包括时间和土地类别、面积、等级、耕作半径等；监督检查农田基本建设情况，包括建设时间、规模和效益发挥情况；监督检查其他生产安置措施落实情况，包括非农安置措施、生产开发措施、劳动力培训以及就业等生产安置措施落实情况；监督检查临时用地的复垦、复种进度，包括时间和数量；监督安置区失地农民的土地调整情况、土地及其附着物的补偿、兑付、使用与管理情况；对照移民安置规划和实施计划，评估农村移民和安置区失地农民生产安置实施情况。
5.农村移民搬迁情况监督评估内容。主要包括：监督检查农村移民搬迁方案的编制与实施情况；监督检查搬迁目标、原则、任务、计划的制定与执行情况；监督检查搬迁准备与搬迁组织情况；监督检查搬迁保障措施、维护稳定措施的制定与执行情况。
二、城（集）镇迁建实施情况监督评估
根据城（集）镇迁建工作，城（集）镇迁建实施情况监督评估内容包括：城（集）镇拆迁和清理情况，城（集）镇迁建实施情况，城（集）镇迁建资金使用管理情况。
1.城（集）镇拆迁和清理情况监督评估的内容包括：监督检查移民搬迁情况，包括常住人口以及因城（集）镇迁建和功能调整需要随迁的人口的数量、时间；监督检查房屋及其他附属物拆迁和清理情况，包括类别、数量、时间等；监督检查城（集）镇行政企事业单位、商业网点、基础设施等拆迁及处理情况，包括名称、数量、时间；监督检查淹没涉及城（集）镇和镇外企事业单位占用土地移交情况，包括土地类别、数量、权属、性质及移交时间等；对照移民安置规划和实施计划，评估城（集）镇拆迁和清理情况。
2. 城（集）镇迁建实施情况监督评估的内容包括：监督检查城（集）镇新址建设情况，包括新址确认、征地面积、场地平整、占地标准、占地规模、地质稳定，以及市政基础设施、公用服务设施、商业网点建设和功能恢复情况；监督检查城（集）镇搬迁方案编制与执行情况；监督检查移民安置情况，包括房屋建设的数量、时间和方式，移民迁入的数量和时间等；监督检查城（集）镇行政企事业单位、商业网点的建设和迁入情况，包括名称、数量、时间；了解城（集）镇移民就业情况；对照移民安置规划和实施计划，评估城（集）镇迁建实施情况。
3. 城（集）镇迁建资金使用管理情况监督评估的内容包括：检查城（集）镇迁建协议的签订情况；检查城（集）镇移民个人财产补偿费的兑付情况；检查城（集）镇行政企事业单位补偿费的兑付情况；检查市政基础设施、公用服务设施、商业网点等项目施工合同签订情况及其补偿投资拨付情况；对照移民安置规划和实施计划，评估城（集）镇迁建资金使用管理情况。
三、工矿企业迁建实施情况监督评估
工矿企业迁建监督评估内容包括：工矿企拆迁情况、工矿企业迁建和处理情况、工矿企业迁建补偿费的兑付情况。
1.工矿企业拆迁情况监督评估的内容包括：监督工矿企业拆迁进度；对照移民安置实施计划，评估工矿企业拆迁情况。
2.工矿企业迁建和处理情况监督评估的内容包括包括：监督检查工矿企业处理方案实施情况；了解工矿企业迁建和处理涉及的职工安置情况；对照移民安置规划和实施计划，评估工矿企业迁建和处理情况。
3工矿企业迁建补偿费兑付情况监督评估的内容包括：检查工矿企业迁建协议签订情况；检查工矿企业迁建补偿费兑付情况；评估工矿企业迁建补偿费兑付情况。
四、专业设施迁建或复建实施情况监督评估
专业设施迁建或复建实施情况监督评估内容包括：专业设施拆迁情况、专业设施迁建或复建实施情况、专业设施迁建或复建补偿费的兑付情况。
1.专业设施拆迁情况监督评估的内容包括：监督专业项目拆迁进度；对照移民安置实施计划，评估专业设施拆迁情况。
2.专业设施迁建或复建实施情况监督评估的内容包括：监督专业项目处理方案实施情况；了解实施单位质量保证体系建立及运行情况；了解迁建、复建专业项目工程建设数量和功能恢复情况；参与专业项目验收，提出监督评估意见；对照移民安置规划和实施计划，评估专业设施迁建或复建情况。
3.专业设施迁建或复建补偿费兑付情况监督评估的内容包括：检查专业设施迁建或复建协议签订情况；检查专业设施迁建或复建补偿费兑付情况；了解专业设施迁建或复建资金管理情况；评估专业设施迁建或复建补偿费兑付情况。
五、库底清理及工程建设区场地清理监督评估
库底清理及工程建设区场地清理监督评估内容包括清理的实施情况以及清理资金的拨付使用情况。
1.库底清理及工程建设区场地清理实施情况监督评估的内容包括：检查建（构）筑物清理、林木清理、卫生清理、固体废弃物清理情况；评估库底清理及工程建设区场地清理实施情况。
2.库底清理及工程建设区场地清理资金的拨付使用情况监督评估的内容包括：检查清理资金的拨付使用情况；评估清理资金拨付使用情况。
六、移民生活水平恢复情况监督评估
移民生活水平恢复情况监督评估内容包括：农村移民生活条件、生产条件和收入水平，城（集）镇移民生活条件、就业情况和收入水平。
1.农村移民生活条件恢复情况监督评估的内容包括：居民点位置、布局、用地规模，交通、供水、供电、排水、防洪、环保、广播电视、通信及文化、教育、卫生、商业服务等基础设施和公共设施的建设、配置情况；移民宅基地面积、住房面积和结构；移民家庭生活耐用品拥有量；评估农村移民生活条件恢复情况，并对存在的问题提出处理建议。
2.农村移民生产条件恢复情况监督评估的内容包括：人均土地面积、质量、耕作半径、种植结构；农田水利基本建设情况；劳动力培训及就业情况；二、三产业发展情况；可开发利用资源；评估农村移民生产条件恢复情况，并对存在的问题提出处理建议。
3.农村移民收入水平恢复情况监督评估的内容包括：家庭收入水平及构成；家庭支出水平及构成；评估农村移民收入水平恢复情况，并对存在的问题提出处理建议。
4. 城（集）镇移民生活水平恢复情况监督评估的内容包括：商业服务设施和公共服务设施的配套情况及便利程度；移民家庭的居住条件；移民劳动力就业情况；城（集）镇居民可支配收入；评估城（集）镇移民生活水平恢复情况，并对存在的问题提出处理建议。
