批处理操作指南

批处理操作指南

批处理原则

• 在构建批处理解决方案时，应考虑以下关键原则和注意事项。
• 批处理体系结构通常会影响体系结构
• 尽可能简化并避免在单批应用程序中构建复杂的逻辑结构
• 保持数据的处理和存储在物理上靠得很近（换句话说，将数据保存在处理过程中）。
• 最大限度地减少系统资源的使用，尤其是I / O. 在internal memory中执行尽可能多的操作。
• 查看应用程序I / O（分析SQL语句）以确保避免不必要的物理I / O. 特别是，需要寻找以下四个常见缺陷：
  • 当数据可以被读取一次并缓存或保存在工作存储中时，读取每个事务的数据。
  • 重新读取先前在同一事务中读取数据的事务的数据。
  • 导致不必要的表或索引扫描。
  • 未在SQL语句的WHERE子句中指定键值。
• 在批处理运行中不要做两次一样的事情。例如，如果需要数据汇总以用于报告目的，则应该（如果可能）在最初处理数据时递增存储的总计，因此您的报告应用程序不必重新处理相同的数据。
• 在批处理应用程序开始时分配足够的内存，以避免在此过程中进行耗时的重新分配。
• 总是假设数据完整性最差。插入适当的检查和记录验证以维护数据完整性。
• 尽可能实施校验和以进行内部验证。例如，对于一个文件里的数据应该有一个数据条数纪录，告诉文件中的记录总数以及关键字段的汇总。
• 在具有真实数据量的类似生产环境中尽早计划和执行压力测试。
• 在大批量系统中，数据备份可能具有挑战性，特别是如果系统以24-7在线的情况运行。数据库备份通常在在线设计中得到很好的处理，但文件备份应该被视为同样重要。如果系统依赖于文件，则文件备份过程不仅应该到位并记录在案，还应定期进行测试。